Metodologie di Prompt Engineering per agenti conversazionali di Business Intelligence: dal modello dati al linguaggio di business

People who query production data use business terms; the database uses technical names. Conversational Business Intelligence agents built on large language models (LLMs) translate questions into SQL queries, but on enterprise databases Text-to-SQL is still an open problem. During an internship at Syncode S.c.a.r.l., SynAI, the assistant of its cloud-based manufacturing execution system (MES), VMES45, was queried on real data from Azienda Alfa, a small or medium-sized plastics molding company. The goal was to surface its problems and give the developers targeted change objectives. The study is experimental: the origin of each wrong answer was traced. Only the system prompt could be modified. The evidence was recorded in a defect log and a regression test suite of 30 tests, later run in a test campaign. The work revealed 61 defects, 21 of them critical, and showed where each one should be fixed. These led to thirteen change objectives for the developers and the company. The system prompt fixes only some problems and, judging by the evidence, none of the critical defects, since many depend on the code, the data, or missing definitions. The thesis therefore proposes a semantic layer that maps each business term to a field or formula, a date, and filters, and identifies the definitions still to be set, starting with revenue. Its effect has not been measured. The developers should implement the change objectives, high-priority ones first; the company should correct its data and set the definitions, work no prompt configuration can replace. Future work should rerun the regression test suite after each change and measure the semantic layer’s effect.

Chi interroga i dati di produzione usa termini di business; il database usa nomi tecnici. Gli agenti conversazionali di Business Intelligence basati su LLM (Large Language Model) traducono le domande in query SQL, ma sui database aziendali il Text-to-SQL è ancora un problema aperto. Nel tirocinio presso Syncode S.c.a.r.l., che sviluppa il MES (Manufacturing Execution System) in cloud VMES45, si è interrogato l’assistente SynAI sui dati reali di Azienda Alfa, piccola e media impresa dello stampaggio di materie plastiche. Lo scopo era farne emergere i problemi e dare agli sviluppatori obiettivi di modifica mirati. Lo studio è sperimentale: di ogni risposta sbagliata si è cercata l’origine. Solo il prompt di sistema era modificabile. Le prove sono confluite in un registro dei difetti e in una suite di regressione di 30 test, eseguita in una campagna di test. Sono emersi 61 difetti, di cui 21 critici, e per ognuno si è indicato dove correggerlo. Da questi derivano tredici obiettivi di modifica, per gli sviluppatori e per l’azienda. Il prompt corregge solo parte dei problemi e, stando alle prove, nessun difetto critico, perché molti dipendono dal codice, dai dati o da definizioni mancanti. Ne nasce la proposta, non misurata, di un livello semantico che associa a ogni termine di business campo o formula, data e filtri, e segnala le definizioni da fissare, a cominciare dal fatturato. Agli sviluppatori spetta realizzare gli obiettivi di modifica, partendo da quelli con priorità alta; all’azienda, correggere i dati e fissare le definizioni, che nessuna configurazione del prompt può sostituire. Resta da rieseguire la suite di regressione dopo ogni modifica e da misurare l’effetto del livello semantico.