Progettazione e implementazione di uno strumento V&V per la generazione automatizzata di test e la revisione dei requisiti

Requirements engineering is a crucial phase in the development of safety-critical software systems, particularly in the avionics domain, where compliance with rigorous standards, such as DO-178C, requires high levels of traceability, verifiability, and document consistency. This is the context for the the present thesis work, carried out at Civitanavi Systems s.p.a. and it originates from the need to improve and automate the processes for requirements management and for verification and validation activities (V&V). Within the company, these activities were mainly supported through spreadsheets, a solution that, following the growth in the number of projects and the resources involved, was no longer adequate. To address this need, Smart V&V was designed and developed to support requirements verification and validation activities, integrating deterministic techniques based on textual distance metrics, namely Levenshtein distance, and locally executed language models (LLM). The work involved the design of the system architecture, consisting of a desktop application for document and traceability management, a local backend for data processing, and a set of LLM-based semantic analysis modules. In addition, several levels of verification were implemented, including structural and formal checks on requirements, advanced analysis based on the syntactic similarity of signals, semantic validation using linguistic models, and mechanisms for exporting results for subsequent expert review. The evaluation phase highlighted how the application is able to effectively identify structural anomalies, inconsistencies in traceability links, and terminological discrepancies. The language models also demonstrated a good ability to extract signals and numerical values, while showing limitations in the classification of functional direction, mainly due to the limited availability of training data. Overall, the work provides a solid basis for the automation and improvement of requirements verification processes, offering a scalable, reproducible, and fully usable tool in industrial contexts that require high levels of rigor and traceability.

L’ingegneria dei requisiti rappresenta una fase cruciale nello sviluppo di sistemi software safety-critical, in particolare nel settore avionico, dove la conformità a standard rigorosi, come il DO-178C, richiede elevati livelli di tracciabilità, verificabilità e coerenza documentale. In questo contesto si colloca il presente lavoro di tesi, svolto presso Civitanavi Systems s.p.a., che nasce dall’esigenza di migliorare e automatizzare i processi di gestione dei requisiti e delle attività di verifica e validazione (V&V). In azienda tali attività venivano supportate principalmente tramite fogli di calcolo, una soluzione che, a seguito della crescita del numero di progetti e delle risorse coinvolte, non risultava più adeguata. Per rispondere a tale esigenza, è stato sviluppato Smart V&V, un sistema progettato con l’obiettivo di supportare la verifica e validazione dei requisiti mediante l’integrazione di tecniche deterministiche basate su metriche di distanza testuale, ovvero la distanza di Levenshtein, e modelli di linguaggio di grandi dimensioni (LLM) eseguiti in locale. Il lavoro ha previsto la progettazione dell’architettura del sistema, composta da un’applicazione desktop per la gestione dei documenti e della tracciabilità, un backend locale per l’elaborazioni dei dati e un insieme di moduli di analisi semantica basati su modelli linguistici. Inoltre sono stati implementati diversi livelli di verifica, comprendenti controlli strutturali e formali sui requisiti, analisi avanzata basata sulla similarità sintattica dei segnali, validazione semantica tramite modelli linguistici e meccanismi di esportazione dei risultati per una successiva revisione esperta. La fase di valutazione ha evidenziato come l’applicazione sia in grado di identificare efficacemente anomalie strutturali, incoerenze nei collegamenti di tracciabilità e difformità terminologiche. I modelli di linguaggio hanno inoltre dimostrato una buona capacità di estrazione dei segnali e dei valori numerici, pur mostrando limiti nella classificazione della direzione funzionale, attribuibili alla disponibilità limitata di dati per l’addestramento. Nel complesso, il lavoro fornisce una base solida per l’automazione e il miglioramento dei processi di verifica dei requisiti, offrendo uno strumento scalabile, riproducibile e pienamente utilizzabile in contesti industriali che richiedono elevati livelli di rigore e tracciabilità.