Apprendimento Online di Anomalie Relative a Perdite d’Olio in Turbine Eoliche Tramite Rete Neurale con Processamento a Blocchi e Reservoir Binari

Wind power is one of the most used renewable energy technologies. Human inspections in the energy generator are expensive and require highly specialized personnel as turbines are located at hundreds of meters of altitudes, surrounded by harsh environments. Therefore, to reduce un-needed intervenes or periodic assessments, accurate and intelligently automated anomaly detection will play an important role. The focus of this work is to design a deeply quantized anomaly detector of oil leaks which may happen at the junction between the turbine high speed shaft and the external bracket of the power generator. Here it is proposed a Block Based Binary Shallow Echo State Network (BBS-ESN) architecture, belonging to reservoir computing (RC) category, that is constituted by two reservoir layers. Furthermore, BBS-ESN uses binary images block based processing and block based online training. This is done using fixed and minimal computational complexity, permitting to achieve low power consumption and deployability on an off the shelf micro-controller (MCU). This has been achieved through binarization of the images and up to 1-bit quantization of the network weights and activations. 3D rendering has been used to generate a novel dataset of photo realistic images similar to those potentially acquired by image sensors on the field while monitoring the junction, with and without oil leaks. Images have been binarized and image morphing has been used in order to simulate oil leak propagation. Binary random noise, different from image to image, has been added to the sequences obtained with morphing to simulate various percentages of defective photo-transistors, with time unrelated malfunctioning. Best achieved results in the less challenging conditions (i.e. without addition of binary noise) are an accurate identification of anomalies, with 0% of false negatives and 0% of false positives. Best achieved results in the most challenging conditions (i.e. with an addition of binary noise in 10% of the pixels) are of 4.1% of false positives and 14.6% of false negatives. The computational cost per image inference is in the order of 7.8·10^6 for binary multiplications, 3.9·10^6 for int8 sums and 3.9·10^6 for int16 sums. The used RAM and Flash memories are respectively of 129.2 KBytes and 16 KBytes. The inference execution time estimated using a STM32H743ZI2 MCU running at 480MHz is about 12.06 ms per image. The extra computational costs for the BBS-ESN initial online training are in the order of 3.1 · 10^7 for binary multiplications, 1.1 · 10^8 for fp32 multiplications, 3.1 · 10^7 for int8 additions and 2.6 · 10^5 for fp32 divisions. The estimated required RAM is of 2,176 KBytes while the estimated required time, using the same MCU, is 1.232 s. The anomlay decision process, after the BBS-ESN training, sets a threshold to separate the anomalous images from the normal ones in 1.206 s. On the basis of these results it can be concluded that BBS-ESN is feasible on off-the-shelf 32bit MCUs. Moreover the solution is also scalable in the number of cameras to be deployed, permitting to achieve accurate and fast oil leak detections from different view points.

Le turbine eoliche sono una delle tecnologie più utilizzate per lo sfruttamento di energie rinnovabili. L’ispezione umana all’interno delle cabine delle turbine eoliche è costosa, poiché richiede personale altamente specializzato e poiché i generatori possono trovarsi a centinaia di metri di altitudine, in ambienti ostili. Per questo motivo rivelatori di anomalie automatici possono ricoprire un importante ruolo nella riduzione di interventi specializzati inutili o di controlli periodici. L’obiettivo di questo studio è la progettazione di un rilevatore di anomalie, che usi pesi fortemente quantizzati, per identificare le perdite d’olio che possono verificarsi alla giunzione tra l’albero ad alta velocità della turbina e l’involucro del generatore elettrico. Viene proposta una rete neurale artificiale della categoria Reservoir computing (RC) che usa due strati di reservoir, denominata Block Based Binary Shallow Echo State Network (BBS-ESN). La BBS-ESN processa immagini binarie in blocchi e si addestra usando blocchi di immagini. Questi calcoli sono effettuati con una complessità di calcolo bassa e fissa, permettendo di raggiungere un basso consumo di potenza e di implementare la rete su microcontrollori (MCU) disponibili in commercio. Questo è possibile a causa della intensiva quantizzazione dei pesi e delle attviazioni della rete, fino a quantizzare con un solo bit. Il rendering 3D è stato usato per generare un dataset di immagini fotorealistiche appositamente creato. Queste immagini sono simili a quelle potenzialmente acquisite dai sensori di immagine sul campo durante il monitoraggio della giunzione. Le immagini sono state binarizzate e il morphing per immagini è stato usato per simulare la propagazione delle macchie d’olio. Alle sequenze così ottenute è stato sommato rumore binario differente da immagine a immagine, così da simulare malfunzionamenti nei foto transistors non correlati nel tempo, in varie percentuali. I risultati ottenuti nelle migliori condizioni, ovvero senza l’aggiunta di rumore alle sequenze, è un’accurata identificazione delle anomalie con lo 0% di falsi negativi e lo 0% di falsi positivi. Per quanto riguarda i risultati ottenuti nelle condizioni più sfidanti, cioè usando sequenze con rumore aggiunto al 10% dei pixel, questi sono di 4.1% di falsi positivi e di 14.6% di falsi negativi. I costi computazionali per l’inferenza di una immagine sono nell’ordine di 7.8·10^6 per le moltiplicazioni binarie, 3.9 · 10^6 per le somme int8 e 3.9 · 10^6 per le somme int16. Le memore RAM e Flash usate sono rispettivamente di 129.2 KBytes e 16 KBytes. Il tempo di esecuzione stimato per l’inferenza, usando il microcontrollore STM32H743ZI2 con frequenza di clock 480 MHz, è di circa 12.06 ms per immagine. I costi computazionali aggiuntivi per l’addestramento online iniziale della BBSESN sono nell’ordine di 3.1 · 10^7 per le moltiplicazioni binarie, 1.1 · 10^8 per le moltiplicazioni fp32, 3.1 · 10^7 per le somme int8 e 2.5 · 10^5 per le divisioni fp32. La stima della RAM richiesta per l’addestramento online è di a 2,176 KByes mentre il tempo richiesto, usando lo stesso microcontrollore alla stessa frequenza di clock, è stimato a 1.232 s. Il processo di decisione per le anomalie, dopo l’addestranento della BBSESN, impone una soglia per separare le immagini anomale da quelle normali in circa 1.206 s. Sulla base di questi risultati si può concludere che la BBS-ESN è implementabile su un microcontrollore a 32bit disponibile in commenrcio. Inoltre, la soluzione è scalabile nel numero di sensori di immagine usati, permettendo di ottenere rilevazioni di anomalie accurate e veloci da punti di vista differenti.