Sfruttare i Large Language Models per un role-play dinamico: il prototipo di serious game in ambito legale "LLM Court"

This thesis presents LLM Court, a serious game designed to integrate Large Language Models (LLM) into a courtroom simulation environment for educational and research purposes. The project pursues two main objectives: to provide a training tool for law students and professionals, and to investigate the ability of LLMs to sustain credible interactions in typical trial roles (Judge, Prosecutor, witnesses, and defense attorney/player). The proposal is based on a modular architecture that separates the game logic, the LLM management engine, and the user interfaces. The gameplay is structured in turns, with mechanisms for orchestrating dialogue and controlling role semantics. The integration leverages both local LLMs and remote services, with prompt engineering as the primary tool to define identities, objectives, and behaviors of the agent roles. The evaluation employs a meta-evaluation approach based on an LLM, analyzing responses according to binary criteria across four dimensions: role adherence, response depth, internal coherence, and logical connection between interventions, in order to compare the performance of models in terms of role coherence and depth. This work contributes a replicable framework for LLM-based legal simulation, useful for argumentative exercises, cross-examination practices, and studies on role-language dynamics in conversational agents.

Questa tesi presenta LLM Court, un serious game progettato per integrare modelli linguistici di grande dimensione (LLM) in un ambiente di simulazione giudiziaria a fini didattici e di ricerca. Il progetto persegue due obiettivi principali: offrire uno strumento formativo per studenti e professionisti del diritto e indagare la capacità degli LLM di sostenere interazioni credibili nei ruoli tipici del processo (Giudice, Pubblico Ministero, testimoni, difensore/giocatore). La proposta si basa su un’architettura modulare che separa la logica di gioco, il motore di gestione degli LLM e le interfacce utente, e prevede un gameplay strutturato in turni con meccanismi di orchestrazione delle battute e controllo semantico dei ruoli. L’integrazione sfrutta sia modelli LLM locali sia servizi remoti; il prompt engineering è adottato come leva principale per definire identità, obiettivi e comportamenti dei ruoli agentici. La valutazione utilizza un approccio di meta-valutazione basato su LLM, che analizza le risposte secondo criteri binari articolati in quattro dimensioni: aderenza al ruolo, profondità delle risposte, coerenza interna e connessione logica tra gli interventi, al fine di confrontare le prestazioni dei modelli in termini di coerenza e profondità dei ruoli. Il lavoro contribuisce con un framework replicabile per la simulazione legale basata su LLM, utile per esercitazioni argomentative, pratiche di controinterrogatorio e studi sulle dinamiche ruolo-linguaggio negli agenti conversazionali.