Orizzonte Sistemi Navali, une entreprise leader en ingénierie des systèmes dans le domaine naval, offre la possibilité de réaliser une activité de thèse dédiée à la validation de chatbots basés sur l'IA dans un contexte technico-industriel. Le projet fait partie d'un programme de numérisation du support et de la maintenance de systèmes navals complexes. L'objectif est de soutenir la consultation de manuels techniques par le biais d'un chatbot IA et de définir des méthodologies solides pour évaluer leur qualité et leur fiabilité.
La ressource doit développer une cartographie structurée de l'état de l'art sur les méthodologies de validation des chatbots/LLM dans des contextes éclairés par une documentation spécifique (manuels, procédures, base de connaissances), en accordant une attention particulière au domaine technico-industriel. L'étudiant s'occupera des activités suivantes :
· Collecte et classification des approches/métriques pour l'évaluation des chatbots (automatiques, humains, hybrides)
· Concentrez-vous sur les concepts clés : précision par rapport à la pertinence, similitude sémantique, robustesse aux requêtes ambiguës ou hors de portée, aspects de fiabilité/confiance
· Mettre en œuvre des outils de comparaison automatique entre les réponses des chatbots et le contenu original (vérité fondamentale) grâce à des techniques de similarité sémantique et de précision de récupération.
· Réaliser une analyse comparative (avantages/inconvénients, données requises, coûts, répétabilité)
Produire un rapport final contenant une proposition de « cadre de validation » applicable au contexte commercial.
