Human-AI Teaming in Ambienti Cooperativi Asimmetrici: Analisi Comparativa di Agenti AI basati su Small Language Models

The rapid development of small open-source language models has made it feasible to integrate AI agents into local applications running on consumer hardware. This work investigates whether models in this category are capable of acting as active collaborative partners in a Human-AI Teaming scenario with asymmetric information, where each participant holds partial and complementary knowledge with respect to the other. To this end, an experimental environment was designed as a digital escape room developed in Unity, in which the language model and the human player operate with complementary partial information: the model knows an incomplete numeric code, while the player holds the missing digit. Solving the puzzle requires explicit cooperation, testing the model's ability to proactively share its information from a deliberately ambiguous user input. Thirteen open-source models from six different families, ranging from 0.8 to 9 billion parameters, were evaluated using a multidimensional framework combining a weighted qualitative score computed across Information Sharing, Reasoning, Instruction Following, and Roleplay criteria via an LLM-as-a-Judge approach, with quantitative metrics for latency and hallucination rate. Models were executed locally on consumer GPU hardware via llama.cpp, with temperature calibrated through a preliminary human evaluation phase. Of the thirteen models tested, only three passed the admissibility filter. Mistral 7B Instruct v0.2 achieved the highest final score (9.17/10), distinguished among the valid models by the only TTFT below the 300 ms reference threshold and a zero hallucination rate across all sessions. The results indicate that the collaborative capabilities of small open-source language models are not uniform, but depend significantly on architectural generation and training choices, rather than on parameter count alone.

Il crescente sviluppo di modelli linguistici open-source di piccole dimensioni ha reso concreta la possibilità di integrare agenti AI in applicazioni locali su hardware consumer. Il presente lavoro si propone di valutare se modelli di questa categoria siano in grado di svolgere il ruolo di partner collaborativo attivo in un contesto di Human-AI Teaming con informazione asimmetrica, in cui ciascun partecipante dispone di conoscenze parziali e complementari rispetto all'altro. A tal fine è stato progettato un ambiente sperimentale sotto forma di escape room digitale sviluppata in Unity, in cui il modello linguistico e il giocatore umano operano con informazioni complementari: il modello conosce un codice numerico incompleto, mentre il giocatore è in possesso del numero mancante. La soluzione del puzzle richiede una cooperazione esplicita, testando la capacità del modello di condividere proattivamente le proprie informazioni a partire da un input utente deliberatamente ambiguo. Tredici modelli open-source appartenenti a sei famiglie diverse, con parametri compresi tra 0.8 e 9 miliardi, sono stati valutati mediante un framework multidimensionale che integra un punteggio qualitativo ponderato, calcolato su criteri di Information Sharing, Reasoning, Instruction Following e Roleplay tramite LLM-as-a-Judge, con metriche quantitative di latenza e tasso di allucinazioni. I modelli sono stati eseguiti localmente su GPU consumer tramite llama.cpp, con temperatura calibrata preliminarmente tramite valutazione umana. Su tredici modelli testati, soltanto tre hanno superato il filtro di ammissibilità. Mistral 7B Instruct v0.2 ha ottenuto il voto finale più elevato (9.17/10), distinguendosi, tra i modelli validi, per l'unico TTFT al di sotto della soglia di 300 ms e per l'assenza totale di allucinazioni. I risultati evidenziano che le capacità collaborative dei modelli open-source di piccole dimensioni non sono uniformi, ma dipendono in misura significativa dalla generazione architetturale e dalle scelte di addestramento, più che dalla sola dimensione parametrica.