Riconoscimento e anticipazione delle azioni umane in uno scenario di assemblaggio collaborativo uomo-robot

The purpose of integrating robots into human environments is to simplify human life, by assisting in various activities and enhancing human capabilities. The current trend is shifting from autonomous robots to collaborative robots, commonly referred to as "cobots", that share space and collaborate with humans. In manufacturing, cobots offer flexibility, improved occupational health, with both greater ergonomics and human factors, lower costs, and efficient use of space, by leveraging human experience alongside robotic precision, repeatability, and strength. A key challenge in this domain is improving human-robot interaction, specifically through the robot's understanding of human actions. This research aims to develop a computer vision system integrated with a collaborative robotic arm to recognize, predict, and anticipate human actions in a collaborative assembly scenario. The goal has been to create a lightweight autonomous real-time system that enhances human-robot collaboration, by investigating various AI-based technologies. The study utilized a pneumatic cylinder as an example component for the assembly, along with the KUKA LBR iiwa 7 R800 robotic arm, the SCHUNK Co-act EGP-C 64 gripper, and the Intel RealSense D435i camera. The core of the research involved developing algorithms for human action recognition, prediction, and anticipation, using neural networks, computer vision, and real-time robot control systems. The results showed excellent performance of the offline models and very good performance in the autonomous real-time system implementation. In particular, the action recognition model, which has been designed and developed from scratch, as well as the dataset used to train it, showed an accuracy of 95% offline and, qualitatively, over 90% online. Moreover, the successful use of the action prediction model trained on real assembly sequence data, obtained from human operator demonstrations, enabled the creation of a system with no prior knowledge of the assembly sequence. This research demonstrates the potential of advanced computer vision and machine learning techniques in enhancing human-robot collaboration. By enabling cobots to recognize, predict, and anticipate human actions, significant progress is being made in creating more intuitive and efficient collaborative environments in manufacturing. The findings represent a major step toward a future where humans and robots collaborate safely and profitably across various sectors.

L'obiettivo dell'integrazione dei robot negli ambienti umani è quello di semplificare la vita delle persone, assistendole in varie attività e migliorandone le capacità. L'attuale tendenza sta passando dai robot autonomi ai robot collaborativi, generalmente denominati "cobots", che condividono spazi e collaborano con gli esseri umani. Nel settore manifatturiero, i cobots offrono flessibilità, miglioramento della salute occupazionale, con una maggiore ergonomia e fattori umani, riduzione dei costi e uso efficiente dello spazio, sfruttando l'esperienza umana assieme alla precisione, ripetibilità e forza dei robot. Una sfida chiave in questo ambito è migliorare l'interazione uomo-robot, in particolare attraverso la comprensione da parte del robot delle azioni umane. Questa ricerca si propone di sviluppare un sistema di computer vision integrato con un braccio robotico collaborativo per riconoscere, prevedere e anticipare le azioni umane in uno scenario di assemblaggio collaborativo. L'obiettivo è stato quello di creare un sistema real-time leggero ed autonomo che migliorasse la collaborazione uomo-robot, indagando su varie tecnologie AI-based per la sua realizzazione. Per lo studio, sono stati utilizzati: un cilindro pneumatico come componente assemblato di esempio, il braccio robotico KUKA LBR iiwa 7 R800, il gripper SCHUNK Co-act EGP-C 64 e la telecamera Intel RealSense D435i. Il cuore della ricerca ha coinvolto lo sviluppo di algoritmi per il riconoscimento, la previsione e l'anticipazione delle azioni umane, utilizzando reti neurali, visione artificiale e sistemi di controllo del robot in tempo reale. I risultati hanno mostrato prestazioni eccellenti dei modelli offline e prestazioni molto buone per l'implementazione del sistema autonomo real-time. In particolare, il modello di riconoscimento delle azioni, che è stato progettato e sviluppato da zero, così come il dataset utilizzato per addestrarlo, ha mostrato un'accuratezza del 95% offline e, qualitativamente, superiore al 90% online. Inoltre, il successo nell'utilizzo del modello di previsione delle azioni, addestrato su dati di sequenze di assemblaggio reali, ottenute da dimostrazioni dell'operatore umano, ha permesso di creare un sistema senza alcuna conoscenza preliminare della sequenza di assemblaggio. Questa ricerca dimostra il potenziale delle tecniche avanzate di computer vision e machine learning nel migliorare la collaborazione uomo-robot. Permettendo ai cobots di riconoscere, prevedere e anticipare le azioni umane, si compie un significativo progresso verso la creazione di ambienti collaborativi più intuitivi ed efficienti nel settore manifatturiero. I risultati rappresentano un passo importante verso un futuro in cui esseri umani e robot collaborano in modo sicuro e proficuo in vari settori.