Agentic Choreographer: verso l'orchestrazione LLM per generazione di coreografie basate sul dataset AIST++

La presente tesi descrive l’architettura e lo sviluppo di un sistema agentico in grado di trasformare una richiesta espressa dall’utente in linguaggio naturale, tramite prompt testuale, in una coreografia composta da mosse di danza appartenenti al dataset AIST++, successivamente predisposte per la visualizzazione in ambiente 3D mediante Unity. L’obiettivo principale è realizzare un processo automatizzato che permetta all’utente di descrivere la coreografia desiderata senza conoscere la nomenclatura dei file presenti nel dataset. L’architettura adotta un approccio modulare che integra un’interfaccia web, un backend Flask, un database vettoriale ChromaDB, un workflow agentico basato su LangGraph e sul paradigma ReAct e un Large Language Model. La generazione della coreografia è organizzata in una pipeline composta da acquisizione e interpretazione della richiesta, dal recupero delle mosse di danza rilevanti, dalla selezione e dall’ordinamento delle stesse in una coreografia e dalla validazione dell’output. In particolare, viene adottato un approccio Retrieval-Augmented Generation (RAG) per limitare il contesto fornito al modello linguistico e consentirgli di operare esclusivamente su un insieme ridotto di mosse recuperate dal database vettoriale. La preparazione dei dati prevede l’analisi della naming rule del dataset AIST++, attraverso la quale vengono estratti i principali metadati delle mosse, successivamente trasformati in rappresentazioni vettoriali mediante embedding semantici generati con il modello all-MiniLM-L6- v2. Questo processo permette di trasformare la struttura originaria del dataset in una base di metadati interrogabile dal sistema di retrieval. Il modello NVIDIA Nemotron 3 Ultra 550B viene impiegato per interpretare la richiesta e comporre la coreografia attraverso tre strumenti Python: Parsing, Search e Build. Per aumentare la robustezza del sistema, la componente agentica è affiancata da meccanismi di supervisione, validazione e fallback. Tali controlli permettono di verificare il rispetto del numero di mosse richiesto e la validità dei riferimenti alle mosse presenti nel database, consentendo la produzione degli output finali. Il sistema integra, pertanto, le capacità interpretative e selettive di un Large Language Model con procedure di retrieval semantico e controllo, realizzando una pipeline orientata alla generazione e alla successiva visualizzazione delle coreografie in ambiente 3D mediante plugin dedicato per Unity. L’architettura presenta tuttavia alcuni limiti, tra cui la riduzione del margine decisionale del modello quando l’insieme delle mosse recuperate semanticamente è ristretto, il possibile intervento massiccio del fallback e l’assenza di parametri dedicati alla continuità cinematica tra movimenti consecutivi.