Accelerare la Realtà: Generazione di Ambienti Virtuali per la Navigazione di Robot in Ambienti Naturali Tramite Deep Learning

The development and training of autonomous agents for outdoor navigation presents unique challenges, primarily due to the complexities associated with real-world training. These include laborious and costly data collection, the risk of robot damage, limited scene variability, and slow training times. Additionally, safety concerns, as well as ethical and legal constraints, can further complicate the process. These issues underscore the importance of developing robust and realistic simulation environments to train autonomous navigation systems. This thesis, titled ``Accelerating Reality: Virtual Environment Generation for Outdoor Robot Navigation Using Deep Learning'', addresses these challenges by exploring the creation of a realistic simulation environment to train autonomous systems as a viable alternative to training in the real world. However, the effectiveness of these platforms is heavily dependent on their ability to accurately mimic the intricacies and dynamics of the real world, both in terms of physics and visual fidelity. To achieve the latter, this thesis emphasizes the role of computer graphics in enhancing the realism of these environments and delves into the technological advancements needed to create a simulation platform that can accurately mirror the real world. We introduce two novel approaches, SurfaceNet and ControlMat, for estimating spatially-varying bidirectional reflectance distribution functions (SVBRDFs) from single images. Additionally, we introduce MatFuse, a controllable generation model for creating PBR materials. These approaches leverage deep learning models to generate high-quality reflectance maps, thereby contributing to a realistic representation of such materials in computer graphics applications. We also address the processing of 3D meshes, a critical component of the visual environment. We introduce a novel method, MeT, for semantic mesh segmentation. This method leverages transformer-based architectures to recognize and separate the parts of a 3D object, a crucial step in many computer graphics applications. Building upon these approaches, designed to easily capture and process materials and meshes, we propose MIDGARD, a simulation environment for training autonomous systems in unstructured outdoor environments. MIDGARD features a procedural landscape generation pipeline, photorealistic scene rendering based on Unreal Engine, and a Python interface compatible with OpenAI Gym. We explore the application of the developed simulation environment in real-world navigation tasks by proposing a novel method for estimating traversability from RGB input. We demonstrate MIDGARD effectiveness as a training and benchmarking platform for autonomous systems, as well as its sim-to-real capabilities. In conclusion, this thesis makes significant contributions to the field of autonomous systems and their training in realistic simulation environments. It particularly focuses on proposing modern techniques to easily capture real assets (in particular materials) to populate such simulation environments, bridging the gap between real-world and simulation environments for outdoor navigation. The proposed methods and the developed simulation environment, MIDGARD, represent significant strides towards the goal of training autonomous systems in a realistic, sim-to-real-ready environment.

Lo sviluppo e l’allenamento di agenti autonomi per la navigazione all'aperto presenta sfide uniche, principalmente a causa delle complessità associate all’allenamento nel mondo reale. Alcune tra le principali difficoltà sono una raccolta dati laboriosa e costosa, il rischio di danni ai robot, una variabilità limitata delle scene e tempi di addestramento lenti. Inoltre, i problemi di sicurezza, nonché i vincoli etici e legali, possono complicare ulteriormente il processo. Questi problemi sottolineano l’importanza di sviluppare ambienti di simulazione robusti e realistici per addestrare sistemi di navigazione autonomi. Questa tesi, intitolata "Accelerare la Realtà: Generazione di Ambienti Virtuali per la Navigazione di Robot in Ambienti Naturali Tramite Deep Learning", affronta queste sfide esplorando la creazione di un ambiente di simulazione realistico, per allenare agenti autonomi, come valida alternativa al mondo reale. Tuttavia, l’efficacia di queste piattaforme dipende fortemente dalla loro capacità di imitare accuratamente le complessità e le dinamiche del mondo reale, sia in termini di fisica che di fedeltà visiva. Per raggiungere quest'ultimo, questa tesi enfatizza il ruolo della computer grafica nel migliorare il realismo di questi ambienti e approfondisce i progressi tecnologici necessari per creare una piattaforma di simulazione in grado di rispecchiare accuratamente il mondo reale. Introduciamo due nuovi approcci, SurfaceNet e ControlMat, per stimare le funzioni di distribuzione della riflettanza bidirezionale (SVBRDF) da singole immagini. Inoltre, presentiamo MatFuse, un modello di generazione controllabile per la creazione di materiali PBR. Questi approcci sfruttano modelli di deep learning per generare mappe di riflettanza di alta qualità, contribuendo così a una rappresentazione realistica di tali materiali nelle applicazioni di computer grafica. Affrontiamo anche l'elaborazione delle mesh 3D, una componente critica dell'ambiente visivo. Introduciamo un nuovo metodo, MeT, per la segmentazione semantica di mesh. Questo metodo sfrutta architetture basate su transformers per riconoscere e separare le parti di un oggetto 3D, un passaggio cruciale in molte applicazioni di computer grafica. Basandosi su questi approcci, progettati per catturare ed elaborare facilmente materiali e mesh, proponiamo MIDGARD, un ambiente di simulazione per l'addestramento di agenti autonomi in ambienti esterni non strutturati. MIDGARD presenta una pipeline di generazione procedurale del paesaggio, rendering di scene fotorealistiche basato su Unreal Engine e un'interfaccia Python compatibile con OpenAI Gym. Esploriamo l'applicazione dell'ambiente di simulazione sviluppato in attività di navigazione nel mondo reale proponendo un nuovo metodo per stimare la traversabilità da input RGB. Dimostriamo l'efficacia di MIDGARD come piattaforma di formazione e benchmarking per sistemi autonomi, e il loro successivo impiego nel mondo reale. In conclusione, questa tesi fornisce contributi significativi al campo dei sistemi autonomi e al loro addestramento in ambienti di simulazione realistici. Si concentra in particolare sulla proposta di tecniche moderne per catturare facilmente risorse reali (in particolare materiali) per popolare tali ambienti di simulazione, colmando il divario tra il mondo reale e gli ambienti di simulazione per la navigazione all'aperto. I metodi proposti e l'ambiente di simulazione sviluppato, MIDGARD, rappresentano passi significativi verso l'obiettivo di addestrare sistemi autonomi in un ambiente realistico, sim-to-real-ready.