Mixed Neural Rendering: nuovo approccio Human-in-the-loop per ricostruzione 3D in Mixed Reality

This thesis addresses the integration of Neural Rendering techniques with automatic segmentation algorithms in a Mixed Reality (MR) environment, proposing a Human-in-the-loop approach termed Mixed Neural Rendering. The primary objective is to demonstrate the feasibility of an end-to-end pipeline for the photorealistic 3D reconstruction of real-world objects, utilizing image sequences captured via Microsoft HoloLens, followed by the immersive and interactive visualization of the resulting 3D models within the user's physical space. The adopted methodology is articulated across multiple phases: image acquisition via Microsoft HoloLens 2; pose preprocessing using Structure from Motion (COLMAP) or a direct capture mode leveraging HoloLens sensor data; object segmentation with SAM2; and the training of different neural engines, specifically NeRFacto and 3D Gaussian Splatting. The overall system architecture is divided into a Unity-developed frontend, which manages the MR interface and user interaction, and a Flask-based backend, which handles distributed processing and the training of the neural models, thereby ensuring modularity, scalability, and interoperability.

La presente tesi affronta l’integrazione tra tecniche di Neural Rendering, algoritmi di segmentazione automatica in ambiente Mixed Reality, proponendo un approccio Human-in-the-loop denominato Mixed Neural Rendering. L’obiettivo principale è dimostrare la fattibilità di una pipeline end-to-end per la ricostruzione 3D fotorealistica di oggetti reali a partire da sequenze di immagini acquisite tramite Microsoft HoloLens, con successiva visualizzazione immersiva e interattiva dei modelli 3D nello spazio fisico dell’utente. La metodologia adottata si articola in più fasi: acquisizione immagini mediante Microsoft HoloLens 2, preprocessamento delle pose attraverso Structure from Motion (COLMAP) o modalità direct capture utilizzando direttamente le pose acquisite tramite sensori HoloLens, segmentazione degli oggetti con SAM2 e addestramento di motori neurali differenti (NeRFacto e 3D Gaussian Splatting). L’architettura prevede un frontend sviluppato in Unity, responsabile dell’interfaccia MR e dell’interazione con l’utente, e un backend basato su Flask, incaricato dell’elaborazione distribuita e del training dei modelli neurali. Tale suddivisione garantisce modularità, scalabilità e interoperabilità.