In recent years, the development of technologies for quantitative motion analysis has led to the spread of two innovative detection methods: wearable devices based on inertial sensors (Inertial Measurement Units, IMUs) and markerless video systems such as MediaPipe. IMUs are characterized by portability and accuracy, but have limitations related to positioning and the need for direct application on the body, while markerless techniques are non-invasive, low-cost, and suitable even for uncontrolled contexts. MediaPipe, an open-source library developed by Google, enables real-time body pose estimation through the identification of 33 anatomical landmarks. Its modular architecture, based on deep learning models, enables image and video processing with good accuracy even on mobile devices. These characteristics have favored its use in clinical, sports, and home settings: from posture and gait assessment to rehabilitation progress monitoring, athletic gesture correction support, and use in educational and fitness applications. This study evaluated the measurement uncertainty of MediaPipe in estimating knee flexion angle during the squat movement, through a direct comparison with the Bioval Biorescue inertial reference system (RM Ingegnerie, Rodez, France; www.rminformatique.com). The experimental protocol was divided into three main phases. In the static phase, ten subjects were tested in a standing position at distances ranging from 4 to 9 m, comparing the body measurements estimated by MediaPipe with the actual measurements measured with a tape measure. This analysis allowed us to identify the optimal distance for the dynamic tests. In the dynamic phase, fifteen subjects performed free-body squats, recorded simultaneously with Bioval and a Nikon D7200 camera. The final acquisitions considered five viewing angles (45°, 60°, 70°, 80°, 90°) and three clothing conditions (long trousers, shorts, and long tight trousers), to assess their contribution to measurement uncertainty. The video data were analyzed with MediaPipe, selecting the hip, knee, and ankle landmarks of the right leg to calculate the flexion angle. In parallel, the Bioval data were acquired and exported in .csv format. For each squat, the maximum peaks were identified to obtain directly comparable synthetic values between the two measurement systems. The statistical evaluation included residual analysis using histograms, Bland–Altman plots, and Pearson correlations, as well as boxplots to summarize the performance obtained under the different experimental conditions. Calibration lines were also calculated for each viewing angle, and from the mean deviations, a polynomial correction curve as a function of angle was calculated, useful for reducing the systematic underestimation of MediaPipe. Finally, the overall uncertainty was estimated by combining the uncertainty associated with MediaPipe and the intrinsic uncertainty of Bioval, quantifying the impact of the different experimental conditions on the combined uncertainty. The combination of these analyses allowed us to quantitatively characterize the uncertainty of Mediapipe with respect to the Bioval reference system and to propose a corrective model that improves its error in the different experimental conditions.

Negli ultimi anni, lo sviluppo delle tecnologie per l’analisi quantitativa del movimento ha portato alla diffusione di due innovative modalità di rilevazione: i dispositivi indossabili basati su sensori inerziali (Inertial Measurement Unit, IMU) e i sistemi video markerless come MediaPipe. Gli IMU si caratterizzano per portabilità e accuratezza, ma presentano limiti legati al posizionamento e alla necessità di applicazione diretta sul corpo, mentre le tecniche markerless risultano non invasive, a basso costo e adatte anche a contesti non controllati. MediaPipe, libreria open-source sviluppata da Google, consente la stima della posa corporea in tempo reale attraverso l’identificazione di 33 landmark anatomici. La sua architettura modulare, basata su modelli di deep learning, rende possibile l’elaborazione di immagini e video con buona accuratezza anche su dispositivi mobili. Queste caratteristiche ne hanno favorito l’impiego in ambito clinico, sportivo e domestico: dalla valutazione della postura e della deambulazione, al monitoraggio dei progressi riabilitativi, fino al supporto alla correzione del gesto atletico e all’utilizzo in applicazioni educative e di fitness. Il presente studio ha valutato l’incertezza di misura di MediaPipe nella stima dell’angolo di flessione del ginocchio durante il movimento dello squat, attraverso un confronto diretto con il sistema inerziale di riferimento Bioval Biorescue (RM Ingegnerie, Rodez, Francia; www.rminformatique.com ). Il protocollo sperimentale è stato articolato in tre fasi principali. Nella fase statica, dieci soggetti sono stati testati in posizione eretta a distanze comprese tra 4 e 9 m, confrontando le misure corporee stimate da MediaPipe con quelle reali rilevate con metro. Questa analisi ha permesso di identificare la distanza ottimale per le prove dinamiche. Nella fase dinamica, quindici soggetti hanno eseguito squat a corpo libero, registrati simultaneamente con Bioval e con la fotocamera Nikon D7200. Le acquisizioni finali hanno considerato cinque angoli di visione (45°, 60°, 70°, 80°, 90°) e tre condizioni di vestiario (pantalone lungo, corto e lungo attillato), per valutarne il contributo in termini di incertezza di misura. I dati video sono stati analizzati con MediaPipe selezionando i landmark di anca, ginocchio e caviglia della gamba destra per il calcolo dell’angolo di flessione. In parallelo, i dati Bioval sono stati acquisiti ed esportati in formato .csv. Per ciascuno squat sono stati identificati i picchi massimi, così da ottenere valori sintetici direttamente confrontabili tra i due sistemi di misura. La valutazione statistica ha previsto l’analisi dei residui tramite istogramma, grafico di Bland–Altman e correlazione di Pearson, oltre a boxplot per la sintesi delle prestazioni ottenute nelle diverse condizioni sperimentali. Sono state inoltre calcolate le rette di taratura per ciascun angolo di visione e a partire dagli scarti medi, una curva di correzione polinomiale in funzione dell’angolo, utile per ridurre la sottostima sistematica di MediaPipe. Infine, l’incertezza complessiva è stata stimata combinando l’incertezza associata a MediaPipe e quella intrinseca di Bioval, quantificando l’impatto delle diverse condizioni sperimentali nell’incertezza combinata. L’insieme di queste analisi ha permesso di caratterizzare in modo quantitativo l’incertezza di Mediapipe rispetto al sistema di riferimento Bioval e di proporre un modello correttivo che ne migliora l’errore nelle diverse condizioni sperimentali.

VERSO UN'ANALISI NON INVASIVA DEL MOVIMENTO: INCERTEZZA DI MEDIAPIPE NELLA STIMA DELL'ANGOLO ARTICOLARE DEL GINOCCHIO

BUCCARINI, CHIARA
2024/2025

Abstract

In recent years, the development of technologies for quantitative motion analysis has led to the spread of two innovative detection methods: wearable devices based on inertial sensors (Inertial Measurement Units, IMUs) and markerless video systems such as MediaPipe. IMUs are characterized by portability and accuracy, but have limitations related to positioning and the need for direct application on the body, while markerless techniques are non-invasive, low-cost, and suitable even for uncontrolled contexts. MediaPipe, an open-source library developed by Google, enables real-time body pose estimation through the identification of 33 anatomical landmarks. Its modular architecture, based on deep learning models, enables image and video processing with good accuracy even on mobile devices. These characteristics have favored its use in clinical, sports, and home settings: from posture and gait assessment to rehabilitation progress monitoring, athletic gesture correction support, and use in educational and fitness applications. This study evaluated the measurement uncertainty of MediaPipe in estimating knee flexion angle during the squat movement, through a direct comparison with the Bioval Biorescue inertial reference system (RM Ingegnerie, Rodez, France; www.rminformatique.com). The experimental protocol was divided into three main phases. In the static phase, ten subjects were tested in a standing position at distances ranging from 4 to 9 m, comparing the body measurements estimated by MediaPipe with the actual measurements measured with a tape measure. This analysis allowed us to identify the optimal distance for the dynamic tests. In the dynamic phase, fifteen subjects performed free-body squats, recorded simultaneously with Bioval and a Nikon D7200 camera. The final acquisitions considered five viewing angles (45°, 60°, 70°, 80°, 90°) and three clothing conditions (long trousers, shorts, and long tight trousers), to assess their contribution to measurement uncertainty. The video data were analyzed with MediaPipe, selecting the hip, knee, and ankle landmarks of the right leg to calculate the flexion angle. In parallel, the Bioval data were acquired and exported in .csv format. For each squat, the maximum peaks were identified to obtain directly comparable synthetic values between the two measurement systems. The statistical evaluation included residual analysis using histograms, Bland–Altman plots, and Pearson correlations, as well as boxplots to summarize the performance obtained under the different experimental conditions. Calibration lines were also calculated for each viewing angle, and from the mean deviations, a polynomial correction curve as a function of angle was calculated, useful for reducing the systematic underestimation of MediaPipe. Finally, the overall uncertainty was estimated by combining the uncertainty associated with MediaPipe and the intrinsic uncertainty of Bioval, quantifying the impact of the different experimental conditions on the combined uncertainty. The combination of these analyses allowed us to quantitatively characterize the uncertainty of Mediapipe with respect to the Bioval reference system and to propose a corrective model that improves its error in the different experimental conditions.
2024
2025-10-23
TOWARDS A NON-INVASIVE MOTION ANALYSIS: MEDIAPIPE'S UNCERTAINTY IN ESTIMATING THE KNEE JOINT ANGLE
Negli ultimi anni, lo sviluppo delle tecnologie per l’analisi quantitativa del movimento ha portato alla diffusione di due innovative modalità di rilevazione: i dispositivi indossabili basati su sensori inerziali (Inertial Measurement Unit, IMU) e i sistemi video markerless come MediaPipe. Gli IMU si caratterizzano per portabilità e accuratezza, ma presentano limiti legati al posizionamento e alla necessità di applicazione diretta sul corpo, mentre le tecniche markerless risultano non invasive, a basso costo e adatte anche a contesti non controllati. MediaPipe, libreria open-source sviluppata da Google, consente la stima della posa corporea in tempo reale attraverso l’identificazione di 33 landmark anatomici. La sua architettura modulare, basata su modelli di deep learning, rende possibile l’elaborazione di immagini e video con buona accuratezza anche su dispositivi mobili. Queste caratteristiche ne hanno favorito l’impiego in ambito clinico, sportivo e domestico: dalla valutazione della postura e della deambulazione, al monitoraggio dei progressi riabilitativi, fino al supporto alla correzione del gesto atletico e all’utilizzo in applicazioni educative e di fitness. Il presente studio ha valutato l’incertezza di misura di MediaPipe nella stima dell’angolo di flessione del ginocchio durante il movimento dello squat, attraverso un confronto diretto con il sistema inerziale di riferimento Bioval Biorescue (RM Ingegnerie, Rodez, Francia; www.rminformatique.com ). Il protocollo sperimentale è stato articolato in tre fasi principali. Nella fase statica, dieci soggetti sono stati testati in posizione eretta a distanze comprese tra 4 e 9 m, confrontando le misure corporee stimate da MediaPipe con quelle reali rilevate con metro. Questa analisi ha permesso di identificare la distanza ottimale per le prove dinamiche. Nella fase dinamica, quindici soggetti hanno eseguito squat a corpo libero, registrati simultaneamente con Bioval e con la fotocamera Nikon D7200. Le acquisizioni finali hanno considerato cinque angoli di visione (45°, 60°, 70°, 80°, 90°) e tre condizioni di vestiario (pantalone lungo, corto e lungo attillato), per valutarne il contributo in termini di incertezza di misura. I dati video sono stati analizzati con MediaPipe selezionando i landmark di anca, ginocchio e caviglia della gamba destra per il calcolo dell’angolo di flessione. In parallelo, i dati Bioval sono stati acquisiti ed esportati in formato .csv. Per ciascuno squat sono stati identificati i picchi massimi, così da ottenere valori sintetici direttamente confrontabili tra i due sistemi di misura. La valutazione statistica ha previsto l’analisi dei residui tramite istogramma, grafico di Bland–Altman e correlazione di Pearson, oltre a boxplot per la sintesi delle prestazioni ottenute nelle diverse condizioni sperimentali. Sono state inoltre calcolate le rette di taratura per ciascun angolo di visione e a partire dagli scarti medi, una curva di correzione polinomiale in funzione dell’angolo, utile per ridurre la sottostima sistematica di MediaPipe. Infine, l’incertezza complessiva è stata stimata combinando l’incertezza associata a MediaPipe e quella intrinseca di Bioval, quantificando l’impatto delle diverse condizioni sperimentali nell’incertezza combinata. L’insieme di queste analisi ha permesso di caratterizzare in modo quantitativo l’incertezza di Mediapipe rispetto al sistema di riferimento Bioval e di proporre un modello correttivo che ne migliora l’errore nelle diverse condizioni sperimentali.
File in questo prodotto:
File Dimensione Formato  
Tesi_Chiara_Buccarini.pdf

embargo fino al 22/10/2028

Descrizione: Tesi di laurea triennale di Chiara Buccarini in ingegneria biomedica
Dimensione 3.26 MB
Formato Adobe PDF
3.26 MB Adobe PDF

I documenti in UNITESI sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12075/23610