Integrazione di tecniche di Deep Reinforcement Learning all'Edge delle Reti 6G: Verso l'Ottimizzazione Intelligente delle Reti

The rapid evolution of wireless communication technologies has led to the emergence of 6G networks, which promise unprecedented levels of connectivity, capacity, and intelligence. Edge Intelligence, powered by Artificial Intelligence (AI) techniques, is considered one of the key missing elements in 5G networks and will most likely represent a key enabler for future 6G networks to support their performance, new functions, and services. To fully realize the potential of 6G networks, intelligent network optimization techniques are required. This thesis presents studies on integrating AI in 6G environments toward achieving intelligent network optimization. Deep Reinforcement Learning (DRL) has shown remarkable success in various domains, such as robotics and gaming, by enabling agents to learn optimal decision-making policies through interactions with their environments. In the context of 6G networks, the integration of DRL offers a promising approach to address complex challenges, such as network resource allocation, dynamic spectrum management, and energy efficiency. 6G networks promise low-latency and high-bandwidth connectivity, enabling a wide range of applications and services. However, the dynamic nature of these environments poses significant challenges in terms of network optimization. Traditional optimization methods struggle to adapt to the dynamic and complex nature of 6G edge environments. The traditional approach to solving resource allocation problems is through mathematical modeling and optimization. In such a view, the first step is to model the dynamics and performance of the network and to accordingly solve a mathematical problem. While optimal, this approach proves impractical and/or unfeasible. If old-fashioned wireless networks could be easily described and evaluated through mathematical models, the same does not apply to modern networks, which can only be described with either complex but intractable models or simple but inaccurate models. If the model-based approach is doomed to fail, what could instead cope with the increased complexity and variability of wireless networks is AI. By leveraging the power of neural networks combined with reinforcement learning algorithms, the frameworks proposed in this thesis allow network agents to learn and adapt their behavior autonomously, leading to improved network performance and efficiency. The integration of DRL in 6G environments opens up possibilities for intelligent network planning, self-optimizing networks, and autonomous resource allocation. The study investigates various aspects of integrating DRL in 6G networks, including the design and training of DRL agents, the definition of suitable reward structures, and the exploration of multi-agent systems for collaborative decision-making. Furthermore, it addresses challenges associated with scalability, convergence, and real-time decision-making in large-scale 6G network environments. Through extensive simulations and evaluations, the proposed integration of DRL in 6G networks demonstrates promising results in terms of network performance, optimization, and adaptability. By enabling intelligent decision-making and autonomous network optimization, the presented research contributes towards unlocking the full potential of 6G networks and paves the way for intelligent, efficient, and self-adaptive communication systems.

L'avanzamento rapido delle tecnologie di comunicazione wireless ha aperto la strada alle reti 6G, che promettono livelli di connettività, capacità e intelligenza senza precedenti. L’Edge Intelligence, resa possibile grazie alle tecniche di intelligenza artificiale (AI) applicate all’edge della rete, è considerata uno degli elementi chiave mancanti nelle reti 5G e svolgerà un ruolo fondamentale nel permettere alle reti 6G a fornire le prestazioni, le nuove funzionalità e i servizi promessi. Le tecniche di ottimizzazione intelligente della rete sono cruciali per sfruttare appieno il potenziale delle reti 6G. Questa tesi approfondisce l'integrazione dell'AI negli ambienti 6G per ottenere un'ottimizzazione intelligente della rete. Il Deep Reinforcement Learning (DRL) ha dimostrato un notevole successo in vari ambiti, tra cui la robotica e i videogiochi, consentendo ad agenti intelligenti di apprendere politiche di decisione ottimali attraverso le interazioni con l’ambiente circostante. Nel contesto delle reti 6G, l'integrazione del DRL offre un approccio promettente per affrontare sfide complesse come l'allocazione delle risorse di rete, la gestione dinamica dello spettro e l'efficienza energetica. Le reti 6G promettono connettività a bassa latenza e larghezza di banda elevata, consentendo una vasta gamma di applicazioni e servizi. Tuttavia, la natura dinamica di questi ambienti pone notevoli sfide in termini di ottimizzazione della rete. I metodi di ottimizzazione tradizionali spesso faticano ad adattarsi alla natura dinamica e complessa degli ambienti 6G. L'approccio tradizionale alla risoluzione dei problemi di allocazione delle risorse si basa sulla modellazione matematica e sull'ottimizzazione. Questo approccio comporta la modellazione delle dinamiche e delle prestazioni della rete e la successiva risoluzione di un problema di ottimizzazione matematica. Sebbene questo approccio miri a soluzioni ottimali, spesso si rivela impraticabile e/o inattuabile in scenari reali. Se le reti wireless tradizionali potevano essere facilmente descritte ed evaluate attraverso modelli matematici, lo stesso non vale per le reti moderne, che possono essere descritte solo con modelli complessi ma intrattabili o semplici ma imprecisi. Se da una parte gli approcci basati sull’utilizzo dei modelli matematici sono considerati ormai impraticabili, d’altra parte l'AI offre un approccio alternativo per far fronte all'aumento della complessità e della variabilità delle reti wireless. Sfruttando la potenza delle reti neurali combinate con gli algoritmi di reinforcement learning, i framework proposti in questa tesi consentono agli agenti di rete di apprendere e adattare il proprio comportamento in modo autonomo, con conseguente miglioramento delle prestazioni e dell'efficienza della rete. L'integrazione del DRL negli ambienti 6G apre la possibilità di pianificazione intelligente della rete, reti auto-ottimizzanti e allocazione delle risorse autonoma. La tesi esplora inoltre vari aspetti dell'integrazione del DRL nelle reti 6G, tra cui il design e il training degli agenti DRL, la definizione di reward adeguate e l'esplorazione di sistemi multi-agent per la decision-making cooperativa. Inoltre, affronta le sfide associate alla scalabilità, alla convergenza e al decision-making in tempo reale in ambienti di rete 6G di grandi dimensioni. Attraverso estese simulazioni ed valutazioni, l'integrazione proposta del DRL nelle reti 6G dimostra risultati promettenti in termini di prestazioni, ottimizzazione e adattabilità della rete. Consentendo una decision-making intelligente e un'ottimizzazione autonoma della rete, la ricerca presentata contribuisce a sbloccare il pieno potenziale delle reti 6G e apre la strada a sistemi di comunicazione intelligenti, efficienti e autoadattativi.