Memorie per l’AI e l’AI per le memorie: uno studio sistematico

This thesis aims to systematically investigate data storage technologies and the impact of artificial intelligence methodologies on their design, operation, and optimization. In Chapter 1, the fundamental types of computer memory are introduced, from the distinction between volatile (RAM, DRAM and its DDRx evolutions) and non-volatile (Flash NAND/NOR, SSD, HDD) through to the most recent emerging proposals such as Phase-Change Memory, graphene-based memories, and 3D XPoint. For each technology, the operating principles, performance requirements, and challenges posed by large AI workloads are analyzed, with particular attention to latency, bandwidth, and capacity constraints. Chapter 2 explores the communication protocols and buses (PCIe, NVMe, NVMeoF) that enable high-speed transfer between memory and compute units, outlining the evolution of standards and interface architectures that support the explosion of data volumes in modern AI datacenters. In Chapter 3, entitled “The Impact of Artificial Intelligence on the World of Memory,” we examine how AI not only demands ever-higher performing memories but also actively contributes to their innovation. We present Processing-in-Memory models, rematerialization techniques for reducing DRAM consumption during neural network training (e.g., Checkmate), and “learned” SSD controllers capable of dynamically adapting wear-leveling, garbage-collection, and I/O scheduling policies via machine learning algorithms. Finally, the thesis discusses case studies in which the integration of AI and memory has produced tangible improvements in throughput, energy efficiency, and reliability, as well as the main security vulnerabilities and future developments toward ever more disaggregated and intelligent architectures. This work intends to provide a coherent and in-depth view of the synergies between memory and artificial intelligence, laying the groundwork for the computing infrastructures of the future.

La presente tesi si propone di indagare in modo sistematico le tecnologie di memorizzazione dei dati e l’impatto delle metodologie di intelligenza artificiale sul loro design, funzionamento e ottimizzazione. Nel Capitolo 1 vengono introdotte le tipologie fondamentali di memoria informatica, dalla distinzione tra volatile (RAM, DRAM e relative evoluzioni DDRx) e non-volatile (Flash NAND/NOR, SSD, HDD) fino alle più recenti proposte emergenti quali Phase-Change Memory, memorie a grafene e 3D XPoint. Per ciascuna tecnologia si analizzano i principi di funzionamento, i requisiti prestazionali e le sfide poste dai grandi carichi di lavoro AI, con particolare attenzione ai vincoli di latenza, larghezza di banda e capacità. Il Capitolo 2 approfondisce i protocolli e i bus di comunicazione (PCIe, NVMe, NVMe-oF) che consentono il trasferimento ad alta velocità tra memoria e unità di calcolo, delineando le evoluzioni di standard e le architetture di interfaccia che supportano l’esplosione dei volumi di dati nei moderni datacenter AI. Nel Capitolo 3, intitolato “L’impatto dell’Intelligenza Artificiale sul mondo delle memorie”, si esplora come l’AI non solo richieda memorie sempre più performanti, ma contribuisca attivamente alla loro innovazione. Si illustrano modelli di Processin-Memory, tecniche di rematerialization per la riduzione del consumo di DRAM durante l’addestramento di reti neurali (es. Checkmate), e controller SSD “learned” capaci di adattare dinamicamente politiche di wear-leveling, garbage collection e scheduling I/O mediante algoritmi di machine learning. Infine, la tesi discute casi di studio in cui l’integrazione tra AI e memoria ha prodotto miglioramenti tangibili in termini di throughput, efficienza energetica e affidabilità, nonché le principali vulnerabilità di sicurezza e i futuri sviluppi verso architetture sempre più disaggregate e intelligenti. Questo lavoro intende fornire una visione organica e approfondita delle sinergie tra memorie e intelligenza artificiale, ponendo le basi per le infrastrutture di calcolo del futuro.