Knowledge Distillation di Reti Neurali Convoluzionali senza accesso al dataset originale: ottimizzazione e analisi delle performance

Convolutional neural networks (CNNs) have achieved excellent results in many areas of computer vision, but their high computational complexity and the need for large amounts of labeled data limit their applicability, especially in scenarios where the original data are no longer accessibile. This is where Data-Free Knowledge Distillation (DFKD) starts. It is a technical approach that allows the transfer of knowledge from a teacher model to a more compact student model, without the direct use of the original dataset, by exploiting synthetic data produced by generator software module. The present work analyzes and optimizes the NAYER framework, proposing an extension called deepNAYER, which integrates some regularizers with the aim of improving the operation of the GAN network and consequently the quality of synthetic data. The exhibited results highlight how deepNAYER is able to overcome the performance of the original framework, improving the quality of the synthetic data generated, and increasing the effectiveness of the data-free distillation process. The analysis reported therein confirms the consistency of the proposed approach, suggesting the possibility of future developments starting from the present work.

Le reti neurali convoluzionali (CNN) hanno raggiunto risultati eccellenti in numerosi ambiti della computer vision, ma la loro elevata complessità computazionale e la necessità di una grande quantità di dati etichettati, ne limitano l’applicabilità, sopratutto in scenari in cui i dati originali non sono più accessibili. In questo contesto si colloca la Data-Free Knowledge Distillation (DFKD), tecnica che permette di trasferire la conoscenza da un modello insegnante ad uno studente più compatto, senza l’utilizzo diretto del dataset originale, sfruttando dati prodotti da un generatore di dati sintetici. Il presente lavoro analizza e ottimizza il framework NAYER, proponendo un’estensione denominata deepNAYER, che integra dei regolarizzatori derivati dal progetto DeepInversion con l’obiettivo di migliorare il funzionamento del generatore e conseguentemente la qualità dei dati sintetici. I risultati esposti evidenziano come deepNAYER sia in grado di superare le prestazioni del framework originale, migliorando la qualità dei dati sintetici prodotti, e incrementando l’efficacia del processo di distillazione data-free. L’analisi ivi riportata conferma la validità dell’approccio proposto, suggerendo la possibilità di sviluppi futuri a partire dal presente progetto.