Orizzonte Sistemi Navali, une entreprise leader en ingénierie des systèmes dans le domaine naval, propose une activité de thèse de master dédiée à la validation de chatbots basés sur l'intelligence artificielle pour soutenir la consultation de manuels techniques et de documentation de maintenance dans des contextes navals complexes. L'objectif est de définir, tester et classer les différentes méthodologies afin d'évaluer leur qualité et leur fiabilité.
La ressource devra définir, mettre en œuvre et expérimenter des méthodes de validation pour évaluer la fiabilité, l'exactitude, la cohérence et la robustesse des réponses du chatbot par rapport aux sources d'origine (vérité sur le terrain), en accordant une attention particulière au domaine technico-industriel. L'étudiant s'occupera des activités suivantes :
· Étude et sélection de métriques et de méthodes de validation pour les chatbots sur la base du LLM
· Conception d'un plan de test structuré avec des scénarios réalistes et des questions représentatives des activités de maintenance/opérationnelles
· Mise en œuvre d'outils de comparaison automatique entre les réponses et le contenu original (par exemple, similarité cosinus lors de l'intégration, précision de récupération)
· Évaluation qualitative et quantitative en termes de :
o Précision (respect du contenu technique)
o Pertinence (adéquation à la demande)
o Clarté (clarté et concision)
o Estimation de la confiance (fiabilité estimée/perçue)
· Analyse de robustesse (questions ambiguës, incomplètes ou hors du champ d'application) et activités d'étalonnage de la confiance
· Analyse et présentation des résultats obtenus
