PROGETTAZIONE E IMPLEMENTAZIONE DI UN FRAMEWORK MULTI-AGENTE PER LA GESTIONE DI UN CHATBOT BASATO SU LLM A SUPPORTO DEGLI OPERATORI DI UNA COMPAGNIA ASSICURATIVA

The growing adoption of Large Language Models is transforming the way companies automate operational processes, opening new opportunities for the development of intelligent virtual assistants. This thesis designed, implemented, and evaluated a Proof of Concept (PoC) called Bluey, an LLM-based multi-agent system to support back-office operators in the insurance industry. The solution, developed at Blue Reply, is based on a Supervisor architecture that coordinates four specialized agents for database queries, document consultation, calendar management, and email sending. The implementation adopts the LangGraph framework, integrating the Human-in-the-Loop mechanism for controlling critical operations and the LangSmith platform for monitoring and analyzing conversations. Evaluation using the LLM-as-a-judge paradigm validated the hypothesis that a well-designed multi-agent architecture can compensate for the limitations of less performing models through task specialization, ensuring deployment flexibility even in the presence of infrastructure constraints and confidentiality requirements.

La crescente adozione dei Large Language Model sta trasformando il modo in cui le aziende automatizzano i processi operativi, aprendo nuove opportunità per lo sviluppo di assistenti virtuali intelligenti. In questa tesi è stata progettata, implementata e valutata una Proof of Concept denominata Bluey, un sistema multi-agente basato su LLM per il supporto degli operatori di back-office nel settore assicurativo. La soluzione, sviluppata presso l'azienda Blue Reply, si basa su un'architettura Supervisor che coordina quattro agenti specializzati per l'interrogazione del database, la consultazione della documentazione, la gestione del calendario e l'invio di email. L'implementazione adotta il framework LangGraph, integrando il meccanismo Human-in-the-Loop per il controllo delle operazioni critiche e la piattaforma LangSmith per il monitoraggio e l'analisi delle conversazioni. La valutazione con il paradigma LLM-as-a-judge ha validato l'ipotesi che un'architettura multi-agente ben progettata possa compensare le limitazioni di modelli meno performanti attraverso la specializzazione dei compiti, garantendo flessibilità di distribuzione anche in presenza di vincoli infrastrutturali e requisiti di riservatezza.