Multimodal Conversational Assistance for Industrial Scenarios: From Task-Specific Systems to Large Language Models [Assistenza Multimodale e Conversazionale in Scenari Industriali: da Sistemi Task-Specific a Large Language Models]

This thesis investigates the design and deployment of multimodal conversational assistants for industrial scenarios, bridging the gap between task-specific systems and modern Large Language Models (LLMs). Starting from pre-LLM approaches, the research explores natural language understanding, object recognition, and multimodal fusion techniques to support operators in executing complex procedures. The work introduces the HERO system in successive iterations: from a rule-based assistant leveraging egocentric vision, to a mobile version integrating question answering with LLMs, and finally to a zero-shot, LLM-powered architecture with modular components for contextual reasoning. These systems were developed and validated in the ENIGMA Laboratory, an industrial mock-up laboratory used for dataset creation and user studies. The experimental results, which include qualitative evidence from usability tests with real users and quantitative measures such as accuracy and F1-score, demonstrate the effectiveness of combining language and vision to improve task guidance, reduce ambiguity, and enhance operator safety. The proposed solutions contribute to advancing multimodal AI assistance in high-stakes, domain-specific environments, offering a flexible architecture adaptable to future industrial and beyond-industrial applications.

Questa tesi indaga la progettazione e l’implementazione di assistenti conversazionali multimodali per scenari industriali, colmando il divario tra sistemi task-specific e i moderni Large Language Models (LLM). Partendo dagli approcci precedenti agli LLM, la ricerca esplora tecniche di comprensione del linguaggio naturale, riconoscimento degli oggetti e fusione multimodale per supportare gli operatori nell’esecuzione di procedure complesse. Il lavoro introduce il sistema HERO attraverso iterazioni successive: da un assistente basato su regole che sfrutta la visione in prima persona, a una versione mobile che integra il question answering con gli LLM, fino a un’architettura zero-shot potenziata dagli LLM con componenti modulari per il ragionamento contestuale. Questi sistemi sono stati sviluppati e validati nel Laboratorio ENIGMA, un laboratorio mock-up industriale utilizzato per la creazione di dataset e studi con gli utenti. I risultati sperimentali, che includono evidenze qualitative derivanti da test di usabilità con utenti reali e misure quantitative come accuracy e F1-score dimostrano l’efficacia della combinazione di linguaggio e visione nel migliorare la guida nello svolgimento dei task, ridurre l’ambiguità e garantire la sicurezza degli operatori. Le soluzioni proposte contribuiscono all’avanzamento dell’assistenza AI multimodale in ambienti ad alto rischio e domain-specific, offrendo un’architettura flessibile adattabile a future applicazioni industriali.