Dai Pensieri ai Grafi: Comprendere il Ragionamento degli Agenti LLM mediante Knowledge Graphs

The introduction of Chain-of-Thought (CoT) has significantly improved the reasoning capabilities of Large Language Models (LLMs), enabling them to make their intermediate steps explicit and reduce systematic errors. However, in LLM-based agent systems, which involve multi-step interactions with external environments and tools, textual reasoning is difficult to analyze, compare, and formally verify. In this paper, we propose transforming agents’ reasoning into a knowledge graph, with the aim of improving their interpretability, traceability, and auditability. We propose CLARK (Cognitive LLM Agent Reasoning via Knowledge Graphs), a framework that converts an agent’s execution trajectories into directed, typed graphs, constrained by an explicit ontology that models cognitive, operational, and structural aspects of the decision-making process. Based on these representations, we define a structural analysis approach focused on identifying recurring patterns, with the aim of characterizing agent behavior and detecting error signals. Empirical results, obtained from data generated using AgentBench show that specific structural configurations are strongly correlated with failed executions. These results suggest that the graph representation of reasoning is an effective tool for analyzing, diagnosing, and improving the reliability of LLM-based agents.

L’introduzione della Chain-of-Thought (CoT) ha migliorato significativamente le capacità di ragionamento dei Large Language Models (LLM), consentendo loro di esplicitare i passaggi intermedi del processo decisionale e di ridurre gli errori sistematici. Tuttavia, nei sistemi agentici basati su LLM, caratterizzati da interazioni multi-step con ambienti esterni e strumenti, il ragionamento espresso in forma testuale risulta difficile da analizzare, confrontare e verificare formalmente. In questo lavoro, proponiamo di rappresentare il ragionamento degli agenti mediante dei knowledge graphs, con l’obiettivo di migliorarne l’interpretabilità, la tracciabilità e la verificabilità. A tal fine presentiamo CLARK (Cognitive LLM Agent Reasoning via Knowledge Graphs), un framework che converte le traiettorie di esecuzione di un agente in grafi diretti e tipizzati, vincolati da un’ontologia esplicita che modella gli aspetti cognitivi, operativi e strutturali del processo decisionale. Sulla base di tali rappresentazioni definiamo un approccio di analisi strutturale finalizzato all’identificazione di pattern ricorrenti, con l’obiettivo di caratterizzare il comportamento degli agenti e individuare segnali di errore. I risultati empirici, ottenuti su dati generati mediante AgentBench, mostrano che specifiche configurazioni strutturali sono fortemente correlate ai fallimenti nell’esecuzione dei task. Tali evidenze suggeriscono che la rappresentazione del ragionamento tramite grafi costituisce uno strumento efficace per l’analisi, la diagnosi e il miglioramento dell’affidabilità degli agenti basati su LLM.