High-Performance Visualization for Astronomy and Cosmology: Refactoring and Parallelization of VisIVO Server for Exascale Systems [Visualizzazione ad Alte Prestazioni per l’Astronomia e la Cosmologia: Refactoring e Parallelizzazione di VisIVO Server per Sistemi Exascale]

The exponential growth of data volumes in astronomy and cosmology field poses significant challenges for data visualization and analysis. This thesis addresses these challenges by evolving VisIVO Server, a scientific software suite for multi-dimensional astrophysical data visualization, in multiple ways, to handle these data volumes in high-performance computing (HPC) environments. This work presents multiple major contributions. First, code analysis using tools such as CCCC, CppDepend and Doxygen, and then refactoring to achieve maintainability improvements, with cyclomatic complexity reductions of up to 94% in critical functions. Then, one of VisIVO's importers was parallelized using a hybrid MPI/OpenMP approach, achieving satisfying speedups, this was tested on 512 GB GADGET simulation datasets. Additionally, StreamFlow workflow management system was integrated with VisIVO to enable portable execution across heterogeneous computing platforms. Furthermore, in-situ visualization capability was implemented through integration with the Hecuba distributed toolset. This approach eliminates I/O bottlenecks by processing data directly in memory during simulation execution. For the last contribution, VisIVO was integrated into Cineca's InterActive Computing service by developing Python wrappers that allow users to access visualization capabilities on Jupyter notebooks while keeping HPC access. These contributions enable the astronomy and cosmology communities to better exploit modern HPC infrastructures for large-scale data analysis, supporting critical research into cosmic structure formation and fundamental astrophysical phenomena.

La crescita esponenziale dei volumi di dati nei campi dell’astronomia e della cosmologia pone sfide significative per la visualizzazione e l’analisi dei dati. Questa tesi affronta tali sfide evolvendo VisIVO Server, una suite software scientifica per la visualizzazione di dati astrofisici multidimensionali, con l’obiettivo di supportare in modo efficace questi volumi di dati all’interno di ambienti di calcolo ad alte prestazioni (HPC). Il lavoro presenta diversi contributi principali. In primo luogo, un’analisi del codice condotta tramite strumenti quali CCCC, CppDepend e Doxygen, seguita da un’attività di refactoring finalizzata a migliorare la manutenibilità, ottenendo riduzioni della complessità ciclomatica fino al 94% nelle funzioni critiche. Successivamente, uno degli importer di VisIVO è stato parallelizzato utilizzando un approccio ibrido MPI/OpenMP, ottenendo speedup significativi su dataset di simulazioni GADGET da 512 GB. È stata inoltre integrato il Workflow Management System StreamFlow per permettere un'esecuzione portabile su infrastrutture di calcolo eterogenee. Inoltre, la capacità di visualizzazione in-situ è stata implementata tramite l'integrazione col toolset distribuito Hecuba. Questo approccio elimina i colli di bottiglia dovuti all’I/O, consentendo l’elaborazione dei dati direttamente in memoria durante l’esecuzione della simulazione. Come ultimo contributo, VisIVO è stato integrato nel servizio InterActive Computing del Cineca attraverso lo sviluppo di wrapper Python che permettono agli utenti di accedere alle funzionalità di visualizzazione direttamente da notebook Jupyter, mantenendo al contempo l’accesso alle risorse HPC. Questi contributi permettono alle comunità dell’astronomia e della cosmologia di sfruttare più efficacemente le moderne infrastrutture HPC per l’analisi di dati su larga scala, supportando ricerche fondamentali sulla formazione delle strutture cosmiche e sui principali fenomeni astrofisici.