Real-World Anomaly Detection by using Deep Learning algorithms and Digital Twin systems

Al giorno d’oggi, si sta assistendo alla quarta rivoluzione industriale, l’Industria 4.0, che integra nuove tecnologie produttive per aumetare la produttività e la qualità produttiva degli impianti. Con essa stanno nascendo le nuove Smart Company, dove i sistemi di monitoraggio dei dati generati dai macchinari sono sempre più avanzati e interconnessi. Così, sta diventando sempre più importante la necessità di sviluppare avanzate tecniche di rilevamento di anomalie, al fine di identificare alcuni comportamenti anomali dei macchinari, osservando le serie temporali dei dati generati dai sensori. La chiave di volta dell’ Industria 4.0 è senzadubbio il Digital Twin, una copia digitale estremamente dettagliata di un complesso sistema reale. Questa tesi presenta un approccio innovativo per il rilevamento di anomalie su dati reali, mediante l’uso del Digital Twin. Questo viene utilizzato per simulare il normale comportamento dei macchinari, generando un set di dati sintetico per adde- strare particolari algoritmi di Deep Learning tramite approccio non supervisionato, cosiddetti Autoencoders, al fine di rilevare anomalie in un set di dati del mondo reale. Successivamente, viene presentato un nuovo metodo per la rilevazione di anomalie basato sull utilizzo delle Reti Siamesi. Queste reti sono composte da due reti identiche che condividono tutti i loro parametri che lavorano con due ingressi differenti. Il metodo proposto ha lo scopo di migliorare le prestazioni ottenute con gli algoritmi non supervisionati, tramite la conoscenza di un piccolo sottoinsieme di dati etichettati come anomali, quindi con un approccio debolmente-supervisionato. Infine, viene presentato un modello di apprendimento autonomo end-to-end, che a differenza degli altri algoritmi è in grado di lavorare direttamente con i dati grezzi generati dai sensori. È basato sulla combinazione delle Reti Siamesi con reti Convoluzionali per estrarre automaticamente delle informazioni significative dai dati in ingresso. Tutti gli algoritmi sviluppati vengono confrontati con approcci all’avanguardia per il rilevamento di anomalie e i risultati complessivi sono molto promettenti. Nella fase di test, gli algoritmi presentati in questa tesi raggiungono misure di AUC ROC e F2 notevolmente più elevate rispetto alle recenti tecniche di rilevamento delle anomalie scelte per il confronto.

Nowadays, with the continuously growing amount of monitored data present in Smart Company environment, the need for Anomaly Detection technique has become more relevant in order to identify some anomalous behavior from time-series data generated by sensors. With the Digital Twin, a detailed simulation of a complex physical system, it is possible to provide more data to feed in a Machine Learning algorithm and thus help in the anomaly detection task. This thesis presents an approach to the Anomaly Detection on real-world multi- variate sensor data, by the use of the Digital Twin to generate a synthetic dataset. Those data are used to training some Artificial Neural Networks (Autoencoders) in an unsupervised fashion, with the aim of detecting anomalies in a real-world dataset. Then, a novel method based on Siamese Autoencoder is presented. It is aimed to improve the performance of such unsupervised algorithms by only including a rather small subset of labeled data in a weakly-supervised fashion. Furthermore, an end-to-end Machine Learning model is presented, which is able to work with raw data. De facto, it has the same structure of the Siamese Autoencoder but uses Convolutional Neural Networks to extract automatically meaningful features from the input data. All the developed algorithms are compared with the state-of-the-art approach for Anomaly Detection and the overall results are very promising. They show that the presented methods, during testing, reach an ROC AUC measure and F2 score noticeably higher the recent state-of-the-art Anomaly Detection techniques chosen for comparison.