Studio e sviluppo di un’architettura IoT per l’interazione Uomo-Macchina basata su sensori zero-touch e algoritmi di Machine Learning

Le interfacce uomo-macchina zero-touch stanno acquisendo crescente rilevanza in ambito industriale e tecnologico, consentendo interazioni intuitive e senza contatto, fondamentali per migliorare sicurezza, efficienza e intuitività nei processi produttivi. L’obiettivo di questa tesi è stata la realizzazione di un’interfaccia IoT che garantisse la predizione in real time di comandi, acquisiti tramite un Leap Motion Controller (LMC), per applicazioni industriali o per ambiti di interazioni uomo-macchina senza contatto. Il Leap Motion Controller è un dispositivo di “motion capture”, ovvero in grado di tracciare i movimenti delle mani e delle dita. Questo sensore si dimostra particolarmente efficiente grazie all’ecosistema software consolidato ed all’estrema accuratezza degli algoritmi di tracciamento del Leap Motion Engine. Questi consentono di ottenere parametri di movimento e orientazione che possono essere impiegati come feature di input per algoritmi di Machine Learning (ML), in grado di interpretare e identificare i gesti acquisiti dal dispositivo. Ai fini di realizzare un classificatore di questo tipo, è stato raccolto un dataset tramite l’esecuzione di un dizionario di gesti standard da parte di 15 persone diverse, ripetendo per 5 volte ogni gesto ai fini di garantire una sufficiente variabilità del dataset, precauzione assente nei dataset open source disponibili nella letteratura. I dati acquisiti tramite il LMC, che consistono nelle posizioni tridimensionali delle dita delle mani e nel centro del palmo assieme ad un gran numero di parametri di movimento, sono poi stati opportunamente processati al fine di ottenere un numero ridotto di feature da classificare. In particolare, sono state considerate come feature finali le distanze di ogni dito della mano rispetto al centro del palmo, normalizzate rispetto alla somma di ciascuna distanza. Per verificare la robustezza dei modelli di ML per la classificazione di tali feature, in particolare quando si vogliono classificare gesti eseguiti da nuovi utenti, sono state analizzate tramite cross-validazione le prestazioni di una vasta rosa di modelli di ML, in particolare usando una tecnica di cross-validazione di tipo “Leave One Group Out” (LOGO). Sulla base dei risultati ottenuti, è stato possibile appurare che gran parte dei modelli analizzati ha presentato una accuracy media di predizione elevata, raggiungendo valori superiori al 90%, stabile tra training e testing, a dimostrazione della resistenza degli stessi al fenomeno di overfitting. Infine, il modello “Fine Tree” è stato selezionato come il classificatore più performante in termini di trade-off tra accuratezza, che si attesta al 99.94%, e tempi di inferenza, pari a 3 millisecondi ed è stato esportato per la realizzazione dell’interfaccia IoT di controllo. Questa, sulla base del gesto effettuato, classifica il gesto tramite il modello e pubblica il comando associato al gesto tramite protocollo Message Queuing Telemetry Transport (MQTT) su un topic configurabile, in modo che il dispositivo da controllare, registrato a quest’ultimo, possa ricevere il controllo da eseguire. L’utilizzo del protocollo MQTT consente di garantire un’alta flessibilità e scalabilità alla soluzione, oltre che essere facilmente integrabile in dispositivi IoT di vario tipo. In conclusione, l’architettura realizzata consente di acquisire dati da un LMC a partire da gesti eseguiti da un utente, identificare il comando impartito e trasmetterlo a dispositivi preposti alla finalizzazione di un task predefinito, con garanzie di accuratezza e robustezza derivanti dall’esaustivo processo di validazione e basse latenze grazie all’ottimizzazione dei tempi di inferenza.