Fine-tuning di un Large Language Model mediante l’utilizzo di comunità in Knowledge Graph

In recent years, the use of Large Language Models and Knowledge Graphs has grown rapidly in several areas due to their complementary capabilities in information processing and management. Large Language Models, which are trained on large amounts of textual data, excel at Natural Language Processing tasks, but they tend to suffer from accuracy and hallucination problems. Knowledge Graphs, on the other hand, are data structures that represent knowledge in terms of entities and relationships, providing a structured and robust context. One way to integrate the two technologies is to use Knowledge Graph knowledge about a specific domain to fine-tune a Large Language Model to enable more accurate text generation on the domain about which the graph provides knowledge. It is in this context that this thesis is set, in fact, it aims to make the entire fine-tuning process efficient by using a subset of the Knowledge Graph. At the same time, it still tries to ensure the widest variety of information and terms through community partitioning of the graph itself using a community detection algorithm.

Negli ultimi anni, l'utilizzo dei Large Language Model e dei Knowledge Graph ha visto una rapida crescita in diversi settori, grazie alle loro capacità complementari nel trattamento e nella gestione delle informazioni. I Large Language Model, addestrati su enormi quantità di dati testuali, spiccano nei task inerenti al Natural Language Processing, ma tendono a soffrire di problemi di accuratezza e allucinazioni. I Knowledge Graph, d'altro canto, sono strutture dati che rappresentano conoscenze sotto forma di entità e relazioni, fornendo un contesto strutturato e solido. Una modalità di integrazione di tali tecnologie è quella di utilizzare la conoscenza del Knowledge Graph di un settore specifico per effettuare il fine-tuning di un Large Language Model, al fine di consentire una generazione di testo più accurata in merito all'ambito di cui il grafo fornisce conoscenza. È proprio in tale contesto che si colloca la presente tesi, che ha come obiettivo quello di efficientare l'intero processo di fine-tuning, utilizzando una sottoparte del grafo di partenza, cercando di garantire, comunque, la più ampia varietà di informazioni e nozioni, grazie alla suddivisone in community del grafo stesso, tramite un algoritmo di community detection.