Progettazione e sviluppo di una pipeline di AI generativa per la sintesi di oggetti 3D a partire da schizzi realizzati in ambienti immersivi

The creation of three-dimensional content generally requires specialized modeling skills and the use of professional tools. This thesis investigates an alternative approach based on generative artificial intelligence, in which a sketch created in an immersive environment and a short textual description are first transformed into a two-dimensional image and subsequently into a 3D asset. A pipeline was designed and integrated using ControlNet Scribble and Stable Diffusion XL for controlled image generation, Ollama with llama3.1 for optional prompt expansion, and TRELLIS.2 for image-to-3D conversion. The workflow connects the application developed in Unity to the generative models through a Flask server and workflows implemented in ComfyUI, producing assets that can be exported in GLB format. The pipeline was evaluated through three case studies: a chair, a mug, and an apple. The experiments analyzed the influence of the strength, end percent, CFG, and number of steps parameters, as well as the differences between a deterministic text template and prompt augmentation. In the experiments conducted, no single configuration emerged as preferable for all three cases. It was also observed that ambiguity in the sketch lines can affect the continuity of the generated surfaces. Under the tested configurations, the fixed-template mode produced images that more closely satisfied the pipeline requirements, whereas the augmented-prompt mode resulted in greater aesthetic characterization and, in some cases, the introduction of unwanted elements. Since the two modes also employed different negative prompts, the comparison reflects the overall behavior of the tested configurations and does not allow the observed differences to be attributed exclusively to prompt expansion through Ollama. The images produced using the reference configuration and the fixed template were used to evaluate the three-dimensional stage in all three case studies. All three inputs produced recognizable and exportable assets. The outputs generated through prompt augmentation were not processed in 3D; therefore, the comparison concerns only the two-dimensional images and their visually assessed expected suitability for subsequent three-dimensional generation. The results also indicate that artifacts, reflections, and color variations present in the intermediate image may be transferred to the geometry or materials of the final model. The contribution of this work lies in the integration and exploratory evaluation of a complete sketch-to-image-to-3D pipeline, with particular attention to the relationships among structural control, prompt formulation, and the quality of the generated asset.

La creazione di contenuti tridimensionali richiede generalmente competenze specifiche di modellazione e l'impiego di strumenti professionali. Questa tesi analizza una modalità alternativa basata sull'intelligenza artificiale generativa, nella quale uno sketch realizzato in un ambiente immersivo e una breve descrizione testuale vengono trasformati prima in un'immagine bidimensionale e successivamente in un asset 3D. È stata progettata e integrata una pipeline che utilizza ControlNet Scribble e Stable Diffusion XL per la generazione controllata dell'immagine, Ollama con llama3.1 per l'eventuale espansione del prompt e TRELLIS.2 per la conversione image-to-3D. Il flusso collega l'applicazione sviluppata in Unity ai modelli generativi attraverso un server Flask e workflow realizzati in ComfyUI, producendo asset esportabili in formato GLB. La pipeline è stata valutata su tre casi di studio: una sedia, una tazza e una mela. La sperimentazione ha analizzato l'influenza dei parametri strength, end percent, CFG e numero di steps, oltre al confronto tra un template testuale deterministico e la prompt augmentation. Nelle prove svolte non è emersa un'unica configurazione preferibile per tutti e tre i casi analizzati; è stato inoltre osservato che l'ambiguità delle linee dello sketch può influenzare la continuità delle superfici generate. Nelle configurazioni sperimentate, la modalità con template fisso ha prodotto immagini maggiormente aderenti ai requisiti della pipeline, mentre quella con prompt arricchito ha mostrato una maggiore caratterizzazione estetica e, in alcuni casi, la presenza di elementi non richiesti. Poiché le due modalità utilizzavano anche prompt negativi differenti, il confronto descrive il comportamento complessivo delle configurazioni e non permette di attribuire le differenze osservate esclusivamente all'espansione del prompt tramite Ollama. Le immagini ottenute con la configurazione di riferimento e il template fisso sono state utilizzate per verificare la fase tridimensionale nei tre casi di studio. Tutti e tre gli input hanno prodotto asset riconoscibili ed esportabili. Gli output ottenuti mediante prompt augmentation non sono stati elaborati in 3D; il confronto riguarda pertanto soltanto le immagini bidimensionali e la loro idoneità prevista per la successiva generazione tridimensionale, valutata visivamente. I risultati indicano inoltre che artefatti, riflessi e variazioni cromatiche presenti nell'immagine intermedia possono essere trasferiti alla geometria o ai materiali del modello finale. Il contributo del lavoro consiste nell'integrazione e nella valutazione esplorativa di una pipeline completa sketch-to-image-to-3D, con particolare attenzione alle relazioni tra controllo strutturale, formulazione del prompt e qualità dell'asset generato.