Bridging Domain Gaps in Industrial Domain: From Synthetic to Real and Exocentric to Egocentric Perspectives [Colmare le lacune nel dominio industriale: dalle prospettive sintetiche a quelle reali e da quelle esocentriche a quelle egocentriche]

The rapid evolution of machine learning and artificial intelligence technologies has revolutionized various industrial sectors by enabling the interpretation and utilization of extensive datasets for innovation and efficiency. However, a significant challenge in this domain is the occurrence of domain shifts, wherein the underlying data distribution changes between training and testing phases. This thesis addresses domain shift challenges in two distinct industrial contexts: the transition between synthetic and real data domains, and the shift from third-person (exocentric) to first-person (egocentric) data perspectives. In the first context, we propose methodologies to utilize synthetic data for tasks such as Panoptic Segmentation and workplace safety. Specifically, we develop a pipeline for generating synthetic datasets tailored for industrial scenarios, facilitating the construction of models trained on synthetic and limited real data. Additionally, we introduce tools for accident prevention and performance improvement in industrial algorithms using synthetic data. In the second context, we introduce a novel approach for adapting temporal action segmentation systems from exocentric to egocentric viewpoints. Leveraging synchronized exocentric-egocentric video pairs, we employ knowledge distillation techniques to transfer knowledge without requiring additional labeled egocentric data. We evaluate our methodology on benchmark datasets, showcasing its effectiveness in different view adaptation scenarios. The contributions of this thesis include the development of synthetic datasets and tools for industrial applications, as well as a novel adaptation methodology for egocentric data analysis. These findings are disseminated through publications in prestigious international conferences, highlighting the relevance and impact of our research in bridging domain gaps in industrial data analysis.

La rapida evoluzione delle tecnologie di machine learning e intelligenza artificiale ha rivoluzionato vari settori industriali consentendo l’interpretazione e l’utilizzo di estesi set di dati per l’innovazione e l’efficienza. Tuttavia, una sfida significativa in questo ambito è il verificarsi di spostamenti di dominio, in cui la distribuzione dei dati sottostanti cambia tra le fasi di training e di test. Questa tesi affronta le sfide del cambiamento di dominio in due contesti industriali distinti: la transizione tra i domini dei dati sintetici e reali e il passaggio dalla prospettiva dei dati in terza persona (esocentrica) a quella in prima persona (egocentrica). Nel primo contesto, proponiamo metodologie per utilizzare dati sintetici per compiti quali la segmentazione panottica e la sicurezza sul lavoro. Nello specifico, sviluppiamo una pipeline per la generazione di set di dati sintetici su misura per scenari industriali, facilitando la costruzione di modelli addestrati su dati reali sintetici e limitati. Inoltre, introduciamo strumenti per la prevenzione degli incidenti e il miglioramento delle prestazioni negli algoritmi industriali utilizzando dati sintetici. Nel secondo contesto, introduciamo un nuovo approccio per adattare i sistemi di segmentazione dell'azione temporale da punti di vista esocentrici a egocentrici. Sfruttando coppie video sincronizzate esocentriche-egocentriche, utilizziamo tecniche di distillazione della conoscenza per trasferire la conoscenza senza richiedere ulteriori dati egocentrici etichettati. Valutiamo la nostra metodologia su set di dati di riferimento, dimostrando la sua efficacia in diversi scenari di adattamento della vista. I contributi di questa tesi includono lo sviluppo di set di dati sintetici e strumenti per applicazioni industriali, nonché una nuova metodologia di adattamento per l'analisi egocentrica dei dati. Questi risultati vengono diffusi attraverso pubblicazioni in prestigiose conferenze internazionali, evidenziando la rilevanza e l’impatto della nostra ricerca nel colmare le lacune di dominio nell’analisi dei dati industriali.