Orizzonte Sistemi Navali, azienda di riferimento nell’ingegneria di sistema in ambito navale, offre l’opportunità di svolgere un’attività di tesi dedicata alla validazione di chatbot basati su AI in contesto tecnico-industriale. Il progetto si inserisce in un programma di digitalizzazione del supporto e manutenzione di sistemi navali complessi. L’obiettivo è supportare la consultazione di manuali tecnici tramite un chatbot AI e definire metodologie solide per valutarne qualità e affidabilità.
La risorsa dovrà sviluppare una mappatura strutturata dello stato dell’arte sulle metodologie di validazione di chatbot/LLM in contesti informati da documentazione specifica (manuali, procedure, knowledge base), con particolare attenzione al dominio tecnico-industriale. La risorsa si occuperà delle seguenti attività:
· Raccolta e classificazione di approcci/metriche per la valutazione di chatbot (automatiche, umane, ibride)
· Focus su concetti chiave: accuracy vs relevance, semantic similarity, robustezza a query ambigue/out-of-scope, aspetti di affidabilità/confidence
· Implementare strumenti di confronto automatico tra le risposte del chatbot e i contenuti originali (ground truth) tramite tecniche di semantic similarity e retrieval accuracy.
· Eseguire un’analisi comparativa (pro/contro, prerequisiti dati, costi, ripetibilità)
Produrre un report finale contenente una proposta di “validation framework” applicabile al contesto aziendale.
