Augmented Reality app development for maxillofacial surgeries

Surgical guides for maxillofacial surgery are usually expensive since they need to be CAD developed and 3D printed for each different patient. To overcome the cost’s problem regarding these surgical guides, augmented reality (AR) technique is taking place in this field. AR technology allows to merge virtual data with the real environment by augmenting 3D object in specific positions or displaying information about the patient. The aim of this work is to develop and test in laboratory an AR application appliable to maxillofacial surgeries. The application consists in overlaying the surgical guides on the mandible of the patient. The surgical guides have been developed on the basis of the surgeon indications, starting from a CT scan of a jaw. The application has been realized in Unity to be available with HoloLens2. A 3D model of a mandible has been printed to validate the application. Five participants tested the application by over tracing the surgical lines on the 3D printed mandible following the projected holograms through HoloLens2. The participants performed 2 consecutive trials. The obtained mandible with the surgical lines has been scanned after each trial to digitally reconstruct (through CAD) the traced lines and compare them with the surgical guides previously designed. The results allow analyzing the accuracy and precision of the developed application. The mean distances for the two trial are 2,58 mm and 2,43 mm. Pareto analysis has been performed, indicating that among these trials the 75% of position’s samples stayed under 4,22 mm in the first trial and under 3,74 mm for the second trial. Even if the results are comparable with the literature and the use of AR could reduce costs and time of the surgical procedures, the work needs further developments to improve the application.

Le guide chirurgiche per la chirurgia maxillofacciale sono solitamente costose poiché richiedono di essere progettate in CAD e poi stampate in 3D per ogni paziente. Al fine di superare il problema del costo di queste guide, una soluzione potrebbe essere data dall’utilizzo della realtà aumentata. La tecnologia di realtà aumentata permette di far coesistere mondo virtuale e mondo reale grazie all’utilizzo di ologrammi proiettati in posizioni specifiche atte al loro utilizzo, usati anche per aumentare informazioni cliniche sul paziente. L’obiettivo di questo studio consiste nello sviluppare un’applicazione in realtà aumentata applicabile nella chirurgia maxillofacciale. L’applicazione consiste nel sovrapporre le guide chirurgiche sulla mandibola del paziente. Le guide vengono sviluppate sotto indicazione del chirurgo partendo da una TAC della mandibola. L’applicazione è stata realizzata in Unity per essere utilizzata con gli HoloLens2. Il modello 3D della mandibola è stato stampato per validare l’applicazione. Cinque partecipanti hanno testato l’applicazione tracciando le linee chirurgiche sopra la mandibola 3D seguendo gli ologrammi proiettati attraverso gli HoloLens2. I partecipanti hanno effettuato 2 test consecutivi. La mandibola ottenuta con le linee tracciate è stata scannerizzata dopo ogni test per ricostruire digitalmente (attraverso un CAD) le linee tracciate e compararle con quelle precedentemente pianificate. I risultati hanno permesso di analizzare l’accuratezza e la precisione dell’applicazione sviluppata. Le distanze medie per i due test sono state di 2,58 mm e 2,43 mm. Attraverso l’analisi di Pareto è stato possibile individuare che per i due test, il 75% dei campioni di posizione è rimasto al disotto dei 4,22 mm per il primo test e di 3,74 mm per il secondo. Anche se i risultati son comparabili con la letteratura e l’uso della tecnologia di realtà aumentata può aiutare a ridurre costi e tempi delle operazioni chirurgiche, il presente lavoro necessita di ulteriori sviluppi per migliorare l’applicazione.