Negli ultimi anni la robotica collaborativa ha acquisito un ruolo centrale nei contesti industriali, evolvendo dai paradigmi dell’Industria 4.0 a quelli emergenti dell’Industria 5.0 che promuove un modello human-centric, orientato alla sicurezza, sostenibilità e adattabilità dei sistemi. In tale scenario, l’handover Uomo-Robot, in particolare nel caso Robot-to-Human (R2H), costituisce una delle interazioni fisiche più impegnative, richiedendo percezione accurata, coordinazione dinamica e controllo affidabile del contatto. La tesi presenta lo sviluppo e la validazione di un sistema di percezione visiva per la localizzazione 3D della mano umana, integrato in una cella collaborativa con robot UR5e, gripper Robotiq Hand-E e telecamera Orbbec Gemini 2L RGB-D in configurazione hand-eye. Il tracciamento 2D dei landmark della mano è realizzato tramite MediaPipe Hands (21 landmark, esecuzione real-time), mentre la ricostruzione metrica 3D sfrutta point cloud organizzate ed elaborate con PCL, trasformate nel riferimento robot e sincronizzate su ROS 2. La posizione della mano viene stimata a partire dal landmark #9 (giunto MCP del dito medio), scelto per stabilità ed ergonomia dell’interazione. Il robot viene comandato in tempo reale tramite protocollo RTDE con monitoraggio della forza verticale, applicando una soglia sperimentale per il rilascio sicuro dell’oggetto. L’approccio proposto realizza una pipeline completa per l’handover collaborativo basato su percezione 3D della mano e controllo di forza real-time, fornendo un contributo estendibile verso interazioni uomo-robot più naturali, sicure ed ergonomiche.

Handover Uomo-Robot: Sviluppo di un sistema di percezione visiva per la localizzazione 3D della mano

NIZZOLA, DAVIDE
2024/2025

Abstract

Negli ultimi anni la robotica collaborativa ha acquisito un ruolo centrale nei contesti industriali, evolvendo dai paradigmi dell’Industria 4.0 a quelli emergenti dell’Industria 5.0 che promuove un modello human-centric, orientato alla sicurezza, sostenibilità e adattabilità dei sistemi. In tale scenario, l’handover Uomo-Robot, in particolare nel caso Robot-to-Human (R2H), costituisce una delle interazioni fisiche più impegnative, richiedendo percezione accurata, coordinazione dinamica e controllo affidabile del contatto. La tesi presenta lo sviluppo e la validazione di un sistema di percezione visiva per la localizzazione 3D della mano umana, integrato in una cella collaborativa con robot UR5e, gripper Robotiq Hand-E e telecamera Orbbec Gemini 2L RGB-D in configurazione hand-eye. Il tracciamento 2D dei landmark della mano è realizzato tramite MediaPipe Hands (21 landmark, esecuzione real-time), mentre la ricostruzione metrica 3D sfrutta point cloud organizzate ed elaborate con PCL, trasformate nel riferimento robot e sincronizzate su ROS 2. La posizione della mano viene stimata a partire dal landmark #9 (giunto MCP del dito medio), scelto per stabilità ed ergonomia dell’interazione. Il robot viene comandato in tempo reale tramite protocollo RTDE con monitoraggio della forza verticale, applicando una soglia sperimentale per il rilascio sicuro dell’oggetto. L’approccio proposto realizza una pipeline completa per l’handover collaborativo basato su percezione 3D della mano e controllo di forza real-time, fornendo un contributo estendibile verso interazioni uomo-robot più naturali, sicure ed ergonomiche.
2024
2025-12-10
Human-Robot Handover: Development of a visual perception system for 3D hand localization
File in questo prodotto:
File Dimensione Formato  
Tesi_Nizzola_Davide.pdf

accesso aperto

Dimensione 68.92 MB
Formato Adobe PDF
68.92 MB Adobe PDF Visualizza/Apri

I documenti in UNITESI sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12075/24557