Analisi psicometrica della coerenza degli LLM e dell'oscillazione delle risposte

Researchers increasingly use large language models as synthetic survey respondents and structured evaluators. If models recognise the standard psychometric instruments in their training data and reply with prototypical answers, the resulting ratings reflect training-corpus content rather than the property being measured. We test this across five commercial models (GPT-4o, Claude Sonnet 4.6, Gemini 2.5 Flash, Grok 4.1 Fast, Llama 3.3 70B). Each received a 61-item self-report questionnaire, three times daily over five weeks, at four temperature settings, adapting items from four validated scales (PANAS, BFI-10, MC-SDS, BMIS). Each item appeared as a disguised paraphrase and a verbatim original. Within-model agreement across sessions was high (ICC > 0.75 in 19 of 20 cells); a positivity bias appeared in 9 of 10 model×valence cells, with substantial cross-model variation. Disguised items did not increase variability as predicted, but produced large mean shifts between original and paraphrased versions of the same construct (60% of matched pairs shifting ≥1 point). A classifier identified the source instrument of verbatim items in 96% of cases but only 24% of disguised ones. Temperature scaling had no practical aggregate effect.

Ricercatori e sviluppatori utilizzano sempre più i large language model come rispondenti sintetici e valutatori strutturati. Se questi modelli riconoscono gli strumenti psicometrici standard presenti nei dati di addestramento e rispondono con risposte prototipiche, le valutazioni risultanti rifletteranno il contenuto del corpus di addestramento anziché la proprietà che lo strumento intende misurare. Verifichiamo direttamente questa ipotesi su cinque modelli commerciali (GPT-4o, Claude Sonnet 4.6, Gemini 2.5 Flash, Grok 4.1 Fast, Llama 3.3 70B). Ogni modello ha ricevuto un questionario di auto-valutazione di 61 item, tre volte al giorno per cinque settimane, a quattro valori di temperatura, adattando item da quattro scale validate (PANAS, BFI-10, MC-SDS, BMIS). Ogni item era presente in due forme: una parafrasi mascherata e l'originale letterale. La coerenza intra-modello tra sessioni è risultata elevata (ICC > 0.75 in 19 celle su 20); un bias di positività è emerso in 9 celle su 10, con ampia variazione tra modelli. Gli item mascherati non hanno aumentato la variabilità come previsto, ma hanno prodotto ampi spostamenti medi tra le versioni originali e parafrasate dello stesso costrutto (il 60% delle coppie si sposta di ≥1 punto). Un classificatore ha identificato lo strumento di origine degli item letterali nel 96% dei casi, ma solo nel 24% di quelli mascherati. La temperatura non ha avuto effetti pratici a livello aggregato.