Enhancing User Experiences with Wearable Devices: Mixed Reality and Gaze-Based Approaches for Cultural, Assistive, and Industrial Applications [Migliorare l'Esperienza Utente con Dispositivi Indossabili: Realtà Mista e Tecnologie Basate sullo Sguardo per Applicazioni Culturali, Assistive e Industriali]

Recent advancements in wearable technology and mixed reality (MR) are leading to changes across various sectors, affecting how individuals interact with their environments. This thesis explores the relationship between wearable technology, MR, and gaze sensing, with a focus on developing solutions to assist users in cultural, industrial, and clinical contexts. By leveraging gaze data, this research introduces the task of attended object detection and proposes methods to improve how users interact with their surroundings. In cultural heritage sites, these technologies have the potential to provide more tailored visitor experiences through eye-guided analytics. A contribution of this work is the development of the EGO-CH-Gaze Dataset, which supports the study of gaze-driven, weakly supervised attended object detection in cultural settings. Beyond cultural heritage, the research examines the application of wearable technology and MR in assisting individuals with disabilities. The creation of "Spesa Abile", a smart glass application for grocery shopping, illustrates how MR and egocentric vision can facilitate greater autonomy and social inclusion. In industrial contexts, this thesis addresses the challenge of recognizing human-object interactions without relying on extensive 3D data. It also introduces an unsupervised approach for mistake detection in egocentric videos, presenting a "gaze completion" task and a Gaze-Frame Correlation module to identify deviations in human behaviour. These methods are evaluated using datasets such as EpicTent, HoloAssist, and IndustReal, demonstrating their applicability across different scenarios. Overall, this thesis contributes to the fields of wearable technology, gaze analysis, and augmented reality (AR), offering approaches that may enhance user experiences, support individuals with disabilities, and improve efficiency and safety in a range of environments.

I recenti progressi nella tecnologia indossabile e nella realtà mista (MR) stanno portando a cambiamenti significativi in diversi settori, influenzando il modo in cui le persone interagiscono con il loro ambiente. Questa tesi esplora la relazione tra tecnologia indossabile, MR e rilevamento dello sguardo, concentrandosi sullo sviluppo di soluzioni per assistere gli utenti in contesti culturali, industriali e clinici. Sfruttando i dati dello sguardo, la ricerca introduce il compito di rilevamento degli oggetti osservati e propone metodi per migliorare l'interazione degli utenti con il loro ambiente. Nei siti di patrimonio culturale, queste tecnologie possono offrire esperienze personalizzate ai visitatori attraverso analisi guidate dallo sguardo. Un contributo di questo lavoro è lo sviluppo del dataset EGO-CH-Gaze, che supporta lo studio del rilevamento degli oggetti osservati in modalità supervisionata debole in contesti culturali. Oltre al patrimonio culturale, la ricerca esamina l'applicazione della tecnologia indossabile e della MR per assistere le persone con disabilità. La creazione di "Spesa Abile", un'applicazione per smart glasses dedicata alla spesa alimentare, illustra come la MR e la visione egocentrica possano facilitare una maggiore autonomia e inclusione sociale. In contesti industriali, questa tesi affronta la sfida del riconoscimento delle interazioni umane con gli oggetti senza fare affidamento su ampi dati 3D. Viene inoltre introdotto un approccio non supervisionato per il rilevamento degli errori nei video egocentrici, presentando un compito di "completamento dello sguardo" e un modulo di correlazione Gaze-Frame per identificare deviazioni nel comportamento umano. Questi metodi sono valutati utilizzando dataset come EpicTent, HoloAssist e IndustReal, dimostrando la loro applicabilità in scenari diversi. Complessivamente, questa tesi contribuisce ai campi della tecnologia indossabile, dell'analisi dello sguardo e della realtà aumentata (AR), offrendo approcci che possono migliorare l'esperienza degli utenti, supportare le persone con disabilità e migliorare l'efficienza e la sicurezza in vari ambienti.