Orizzonte Sistemi Navali, azienda di riferimento nell’ingegneria di sistema in ambito navale, propone un’attività di tesi magistrale dedicata alla validazione di chatbot basato su Intelligenza Artificiale per il supporto alla consultazione di manuali tecnici e documentazione manutentiva in contesti navali complessi. L’obiettivo è definire, testare e classificare le diverse metodologie per valutarne qualità e affidabilità.
La risorsa dovrà definire, implementare e sperimentare metodologie di validazione per valutare affidabilità, correttezza, coerenza e robustezza delle risposte del chatbot rispetto alle fonti originali (ground truth), con particolare attenzione al dominio tecnico-industriale. La risorsa si occuperà delle seguenti attività:
· Studio e selezione di metriche e metodologie di validazione per chatbot basati su LLM
· Progettazione di un piano di test strutturato con scenari realistici e domande rappresentative di attività manutentive/operative
· Implementazione di strumenti di confronto automatico tra risposte e contenuti originali (es. cosine similarity su embedding, retrieval accuracy)
· Valutazione qualitativa e quantitativa in termini di:
- Accuracy (aderenza ai contenuti tecnici)
- Relevance (adeguatezza alla domanda)
- Clarity (chiarezza e concisione)
- Confidence estimation (affidabilità stimata/percepita)
· Analisi di robustezza (domande ambigue/incomplete/out-of-scope) e attività di confidence calibration
· Analisi e presentazione dei risultati ottenuti
