Analisi e implementazione di controlli basati su sensori di movimento e applicati a sistemi audio

Every day we interface with electronic devices using peripherals such as keyboards and touch screens; the communication between man and machine has evolved over the years with the aim of making interaction more natural, interactive and comfortable. This thesis examines the use of an interaction technology that has often been related to entertainment, gesture recognition, in particular by evaluating its use in the audio field and implementing a control system based on the human gesture to communicate with a sound synthesis program installed on a PC. In the first chapter a description of this technology is made starting from its characteristics, and of its possible implementations as an interface for a sound processing application, with the aim of creating a tool for artistic performance, for rehabilitation of individuals with motor disabilities and functionalities related to the world of augmented reality. Subsequently, the second chapter introduces an overview of the state of this field, citing some devices that have been commercially successful with uses similar to those of the project proposed by this thesis, the market trends of the audio sector and research topics related to a use of machine learning associated with this type of control to create more complex interaction techniques. Finally, the last two chapters of the thesis describe the development of the control system starting from the information acquired in the previous chapters; Chapter three lists and describes the components used: the sensors that capture the gesture, the electronic boards used to acquire data from the sensor and communicate with the PC, the software used for writing the application and for elaborating the information to carry out sound processing. The last chapter looks at the procedure for implementing the system, the scheme used and the description of the two resulting applications to which is attached the link of a repository on Github where the project files have been uploaded; this is followed by an evaluation of the system based on latency and accuracy. This university project was carried out with the collaboration of Korg Italy Spa.

Tutti i giorni ci interfacciamo con i dispositivi elettronici utilizzando delle periferiche come tastiere e touch screen; l'interfacciamento tra uomo e macchina si è evoluto negli anni con l'obiettivo di rendere l'interazione più naturale, interattiva e confortevole. In questa tesi viene approfondito l'utilizzo di una tecnologia di interazione ancora poco convenzionale che è stata spesso legata all'intrattenimento, la gesture recognition, in particolare valutandone l'utilizzo in ambito audio e implementando un sistema di controllo basato sul gesto umano per comunicare con un programma di sintesi sonora installato in un PC. Nel primo capitolo viene realizzata una descrizione di questa tecnologia partendo dalle sue caratteristiche, e delle sue possibili implementazioni come interfaccia per un'applicazione di elaborazione del suono, con finalità come strumento di performance artistica, di riabilitazione di individui con disabilità motorie e funzionalità legate al mondo della realtà aumentata. Successivamente, il secondo capitolo introduce una panoramica dello stato dell'arte in questo ambito, citando alcuni dispositivi che hanno avuto successo commerciale con utilizzi analoghi a quelli del progetto proposto da questa tesi, le tendenze di mercato del settore audio e argomenti di ricerca legati a un utilizzo di machine learning associato a questo tipo di controllo per creare tecniche di interazione più complesse. Infine, gli ultimi due capitoli della tesi trattano lo sviluppo del sistema di controllo partendo dalle informazioni acquisite nei capitoli precedenti; nel capitolo tre vengono elencati e descritti i componenti utilizzati: i sensori che catturano il gesto, le schede elettroniche adibite all'acquisizione di dati dal sensore e alla comunicazione con il PC, i software utilizzati per la scrittura dell'applicativo e per il processamento delle informazioni atte a effettuare l'elaborazione del suono. L'ultimo capitolo riguarda la procedura per l'implementazione del sistema, lo schema utilizzato e la descrizione delle due applicazioni risultanti alle quali viene allegato il link di una repository su Github dove sono stati caricati i file del progetto; a ciò segue una valutazione del sistema basato sulla latenza e sull'accuratezza. Questo progetto universitario è stato realizzato con la collaborazione di Korg Italy Spa.