Rilevamento di imbarcazioni da immagini satellitari e dati AIS attraverso tecniche multimodali, RAG e pipeline Big Data

Maritime monitoring represents one of the most significant technological challenges in the context of international security and environmental sustainability. Illegal, unreported, and unregulated (IUU) fishing constitutes a systemic threat that annually extracts between 10 and 23 billion dollars from the global fish market, compromising marine biodiversity and destabilizing coastal economies. Traditional surveillance systems, based exclusively on cooperative AIS (Automatic Identification System) telemetry, exhibit intrinsic structural vulnerabilities, proving ineffective in detecting so-called dark vessels, i.e., vessels that deliberately operate outside cooperative channels. This thesis, developed in collaboration with the Institute for Biological Resources and Marine Biotechnologies of CNR (CNR-IRBIM) and specifically with Eng. Anna Nora Tassetti, proposes the development of a naval detection system based on multimodal artificial intelligence, aimed at integrating heterogeneous sources to overcome the limitations of conventional approaches. First, a unified multimodal dataset was created through comparative analysis and aggregation of seven heterogeneous datasets, comprising SAR (Synthetic Aperture Radar ) and multispectral optical images from the Sentinel-1 and Sentinel-2 missions of the Copernicus program. This dataset was designed to maximize the variability of operational conditions and ensure cross-sensor generalization of the trained models. Second, a custom YOLO architecture was designed and implemented, named YOLOv10slight, optimized for the maritime domain. The modifications made to the reference architecture are aimed at improving computational efficiency and detection performance on small-sized targets, typical of the satellite context, while maintaining real-time processing capability. Finally, a scalable multimodal processing pipeline was developed, implemented according to a containerized distributed architecture. The system integrates the object detection module with AIS telemetry streams, enabling spatiotemporal correlation between visual detections and cooperative tracks for the identification of behavioral anomalies. The architecture was extended with a RAG (Retrieval-Augmented Generation) component for natural language querying of the maritime knowledge base. Experimental validation included a comparative benchmark between two distributed computing backends, Apache Spark and Dask, to evaluate the performance and scalability of the solution in realistic operational scenarios. The results achieved demonstrate the effectiveness of the proposed approach in detecting vessels under variable environmental conditions and attest to its applicability in operational maritime surveillance contexts. This work aligns with FAO and UN recommendations on the use of advanced technologies to combat illegal fishing, contributing to the development of more robust, transparent monitoring systems that are independent of traditional cooperative mechanisms

Il monitoraggio marittimo rappresenta una delle sfide tecnologiche più rilevanti nel contesto della sicurezza internazionale e della sostenibilità ambientale. La pesca illegale, non dichiarata e non regolamentata denominata (IUU) costituisce una minaccia sistemica che sottrae annualmente tra i 10 e i 23 miliardi di dollari al mercato ittico globale, compromettendo la biodiversità marina e destabilizzando le economie costiere. I sistemi di sorveglianza tradizionali, basati esclusivamente sulla telemetria cooperativa AIS (Automatic Identification System), presentano vulnerabilità strutturali intrinseche, risultando inefficaci nell’individuazione delle cosiddette dark vessels, ovvero imbarcazioni che operano deliberatamente al di fuori dei canali cooperativi. La presente tesi, sviluppata in collaborazione con l’Istituto per le Risorse Biologiche e le Biotecnologie Marine del CNR (CNR-IRBIM) e in particolare con l’Ing. Anna Nora Tassetti, propone lo sviluppo di un sistema di rilevamento navale basato su intelligenza artificiale multimodale, finalizzato all’integrazione di fonti eterogenee per il superamento dei limiti degli approcci convenzionali. In primis, è stato realizzato un dataset multimodale unificato mediante l’analisi comparativa e l’aggregazione di sette dataset eterogenei, comprendenti immagini SAR (Synthetic Aperture Radar ) e ottiche multispettrali provenienti dalle missioni Sentinel-1 e Sentinel-2 del programma Copernicus. Tale dataset è stato progettato per massimizzare la variabilità delle condizioni operative e garantire la generalizzazione cross-sensore dei modelli addestrati. In secondo luogo, è stata progettata e implementata un’architettura YOLO personalizzata, denominata YOLOv10slight, ottimizzata per il dominio marittimo. Le modifiche apportate all’architettura di riferimento sono finalizzate al miglioramento dell’efficienza computazionale e delle performance di detection su target di dimensioni ridotte, tipici del contesto satellitare, mantenendo al contempo la capacità di elaborazione in tempo reale. In fine, è stata sviluppata una pipeline di elaborazione multimodale scalabile, implementata secondo un’architettura distribuita containerizzata. Il sistema integra il modulo di object detection con i flussi telemetrici AIS, consentendo la correlazione spaziotemporale tra rilevamenti visivi e tracce cooperative per l’identificazione di anomalie comportamentali. L’architettura è stata estesa con un componente RAG (Retrieval-Augmented Generation) per l’interrogazione in linguaggio naturale della knowledge base marittima. La validazione sperimentale ha previsto un benchmark comparativo tra due backend di calcolo distribuito, Apache Spark e Dask, al fine di valutare le performance e la scalabilità della soluzione in scenari operativi realistici. I risultati conseguiti dimostrano l’efficacia dell’approccio proposto nel rilevamento di imbarcazioni in condizioni ambientali variabili e ne attestano l’applicabilità in contesti di sorveglianza marittima operativa. Il lavoro si inserisce nel quadro delle raccomandazioni FAO e ONU sull’impiego di tecnologie avanzate per il contrasto alla pesca illegale, contribuendo allo sviluppo di sistemi di monitoraggio più robusti, trasparenti e indipendenti dai meccanismi cooperativi tradizionali.