Segmentation and Anomaly Detection in Solar Plants by UAV: A Framework Based on Deep Neural Networks and Multimodal Dataset PV30 [Segmentazione e Rilevamento di Anomalie negli Impianti Fotovoltaici tramite UAV: Un Framework Basato su Reti Neurali Profonde e sul Dataset Multimodale PV30]

The growing global demand for sustainable energy solutions has led to the rapid expansion of photovoltaic (PV) installations across residential, commercial, and utility-scale infrastructures. As these systems scale in size and complexity, ensuring their optimal performance and operational reliability becomes increasingly critical. One of the key challenges in this context is the early detection of faults and performance degradation, which, if left unresolved, can significantly impact the energy yield and lifespan of PV systems. Conventional inspection methods, such as manual visual assessments and handheld thermal imaging, are inherently labor-intensive, time-consuming, and impractical for large-scale deployment. These limitations have catalyzed the adoption of Unmanned Aerial Vehicles (UAVs), or drones, equipped with high-resolution RGB and thermal cameras for aerial inspections. Complemented by advances in artificial intelligence (AI) and deep learning, this technological convergence has enabled the development of automated, data-driven pipelines for PV panel monitoring. Despite the increasing interest in applying computer vision techniques to solar plant inspection, several significant gaps remain in the research landscape. First, the majority of existing studies rely on proprietary or limited-access datasets, which often lack multimodal imaging (RGB + IR), pixel-level ground truth annotations, or sufficient diversity in operational scenarios. Second, performance evaluation of deep learning models is frequently conducted in isolated contexts, without standardized benchmarks or rigorous comparisons across architectures, which hinders reproducibility and fair assessment. This thesis addresses these limitations through two key contributions. Firstly, we introduce PV30, a novel, publicly available dataset comprising over 5,000 high-resolution RGB and thermal infrared images acquired from UAV missions over real-world PV installations. The dataset includes detailed pixel-level annotations for semantic segmentation of solar panels, as well as bounding box annotations for thermal anomaly detection. The acquisition process was meticulously designed to capture a wide range of environmental and operational conditions—including different lighting scenarios, panel orientations, soiling levels, and fault types—ensuring the dataset’s representativeness and utility for both academic and industrial applications. Secondly, we perform an extensive benchmarking of state-of-the-art deep learning architectures across the two primary tasks: semantic segmentation and thermal anomaly detection. For segmentation, we evaluate models such as U-Net++, DeepLabV3+, PSPNet, PAN, and SegFormer, comparing their performance in terms of Intersection-over-Union (IoU), precision, recall, and F1-score. For anomaly detection, we test leading object detection models including YOLOv5/YOLOv11, DINO, Grounding DINO, and GLIP, assessing their mean Average Precision (mAP), inference latency, and robustness to noise and environmental variability. In addition, we propose a reproducible and extensible benchmarking framework that includes automated pipelines for model training, validation, and visualization of results. The framework is designed to support multimodal data fusion, allowing researchers to test early and late fusion strategies between RGB and thermal inputs. This toolset not only facilitates objective performance comparison but also serves as a foundation for future research in smart inspection systems. Overall, this study aims to bridge the gap between academic research and real-world deployment of AI-driven PV inspection solutions. By providing both a robust dataset and a standardized evaluation methodology, this work contributes to accelerating the development of scalable, intelligent, and reliable monitoring systems for next-generation solar energy infrastructure.

La crescente domanda globale di soluzioni energetiche sostenibili ha portato a una rapida espansione delle installazioni fotovoltaiche (PV) su scala residenziale, commerciale e industriale. Con l’aumento della dimensione e della complessità di questi sistemi, garantire prestazioni ottimali e affidabilità operativa diventa sempre più cruciale. Una delle principali sfide in questo contesto è il rilevamento precoce di guasti e degrado delle prestazioni che, se non identificati tempestivamente, possono ridurre significativamente la resa energetica e la durata utile degli impianti fotovoltaici. I metodi di ispezione convenzionali, come le valutazioni visive manuali e l’utilizzo di termocamere portatili, sono intrinsecamente laboriosi, dispendiosi in termini di tempo e poco pratici su larga scala. Queste limitazioni hanno favorito l’adozione di Veicoli Aerei a Pilotaggio Remoto (UAV), comunemente noti come droni, equipaggiati con telecamere RGB e termiche ad alta risoluzione per eseguire ispezioni aeree. Integrata con i recenti progressi dell’intelligenza artificiale (IA) e del deep learning, questa convergenza tecnologica ha permesso lo sviluppo di pipeline automatizzate e basate sui dati per il monitoraggio dei pannelli fotovoltaici. Nonostante il crescente interesse nell’applicazione di tecniche di visione artificiale per l’ispezione di impianti solari, persistono ancora numerose lacune nel panorama della ricerca. In primo luogo, la maggior parte degli studi esistenti si basa su dataset proprietari o di difficile accesso, spesso privi di imaging multimodale (RGB + IR), di annotazioni a livello di pixel o di una sufficiente varietà di scenari operativi. In secondo luogo, la valutazione delle prestazioni dei modelli di deep learning viene spesso condotta in contesti isolati, senza benchmark standardizzati o confronti rigorosi tra diverse architetture, limitando così la riproducibilità e l’oggettività delle analisi. Questa tesi affronta tali limitazioni attraverso due contributi principali. In primo luogo, viene introdotto PV30, un nuovo dataset pubblico composto da oltre 5.000 immagini ad alta risoluzione RGB e a infrarossi termici, acquisite durante missioni UAV su impianti fotovoltaici reali. Il dataset include annotazioni dettagliate a livello di pixel per la segmentazione semantica dei pannelli solari, nonché annotazioni con bounding box per il rilevamento di anomalie termiche. Il processo di acquisizione è stato progettato con cura per catturare una vasta gamma di condizioni ambientali e operative — inclusi scenari di luce variabile, orientamenti dei moduli, livelli di sporcizia e tipologie di guasto — garantendo così la rappresentatività e l’utilità del dataset per applicazioni accademiche e industriali. In secondo luogo, viene condotto un ampio benchmarking delle principali architetture di deep learning per i due task fondamentali: segmentazione semantica e rilevamento delle anomalie termiche. Per la segmentazione, vengono valutati modelli come U-Net++, DeepLabV3+, PSPNet, PAN e SegFormer, analizzandone le prestazioni in termini di Intersection-over-Union (IoU), precisione, recall e F1-score. Per il rilevamento delle anomalie, sono stati testati modelli di object detection all’avanguardia come YOLOv5/YOLOv11, DINO, Grounding DINO e GLIP, valutandone la mean Average Precision (mAP), la latenza di inferenza e la robustezza rispetto al rumore e alla variabilità ambientale. In aggiunta, la tesi propone un framework di benchmarking riproducibile ed estensibile, che include pipeline automatizzate per l’addestramento dei modelli, la validazione e la visualizzazione dei risultati. Il framework è progettato per supportare la fusione multimodale dei dati, consentendo l’esplorazione di strategie di fusione anticipata (early fusion) e tardiva (late fusion) tra input RGB e termici. Questo insieme di strumenti facilita non solo il confronto oggettivo delle prestazioni, ma costituisce anche una base solida per future ricerche sui sistemi di ispezione intelligenti. Nel complesso, questo studio mira a colmare il divario tra la ricerca accademica e l’adozione reale di soluzioni di ispezione automatizzata per impianti fotovoltaici. Fornendo sia un dataset robusto che una metodologia di valutazione standardizzata, il lavoro contribuisce ad accelerare lo sviluppo di sistemi di monitoraggio intelligenti, scalabili e affidabili per l’infrastruttura energetica del futuro.