L’ hype nei confronti dell’Intelligenza Artificiale generativa è tale che è ancora più importante ricordare e riflettere sul suo elevato impatto ambientale. In precedenti interventi, ho toccato il tema l’impatto energetico dell’uso delle AI generative, confrontandolo con attività quotidiane come l’uso di un’automobile o la ricarica di uno smartphone: tenere a mente queste analogie ci ricorda quanto queste tecnologie siano energivore e carbon intensive e come sia necessario trovare soluzioni sulla sostenibilità nel lungo termine.

Mamba: Un Nuovo Approccio nell’Elaborazione dell’AI Generativa

In questo scenario, è stato presentato con una certa enfasi un paper che ha per oggetto Mamba, una nuova architettura che promette di ridurre significativamente il consumo energetico nell’elaborazione dell’AI, rendendo l’inferenza fino a cinque volte più efficiente rispetto ai “tradizionali” modelli GPT di AI generativa attualmente disponibili.

Confronto tra Architetture AI: Transformer vs SSM

I modelli GPT utilizzano una architettura chiamata Transformer, basata su un meccanismo chiamato “attenzione” che permette al sistema di concentrarsi su diverse parti di un testo mentre elabora o genera linguaggio. Si basa sul principio di dare più “peso” a certi elementi in base al loro contesto e alla loro rilevanza per la parte del testo analizzata in determinato momento.

Questo approccio ha il grande vantaggio di essere estremamente efficace nel comprendere il contesto e le relazioni, anche complesse, all’interno di un testo. Permette al modello di generare risposte pertinenti e coerenti, adattandosi dinamicamente alle diverse parti del testo.

Il principale svantaggio di questa tecnica è il consumo energetico e la necessità di grandi risorse computazionali, specialmente per lunghi testi. Questo perché il calcolo dell’attenzione diventa più complesso e pesante man mano che la lunghezza del testo aumenta.

Mamba introduce un approccio diverso. Invece di fare affidamento sul meccanismo dell’attenzione, utilizza una versione rivisitata di una famiglia di modelli chiamata “Structured State Space Models” (SSMs) che, finora, si erano dimostrati meno efficaci, rispetto ai modelli Transformer, nell’elaborare informazioni che tengano in considerazione del loro contesto.

Diversamente dai modelli basati sull’attenzione, che pesano ogni parte del testo per determinarne l’importanza, gli SSMs in Mamba modificano il loro stato complessivo in base ai token (ovvero i “pezzi” di informazione) correnti. Questo “stato” rappresenta la comprensione corrente del modello di tutto il testo o la sequenza di dati che ha già processato. Ogni nuovo token può quindi cambiare questo stato, influenzando come il modello interpreta e risponde ai dati successivi. In questo modo, il modello adatta continuamente la sua risposta in base alle nuove informazioni che riceve, permettendogli di gestire dinamicamente e in modo efficiente lunghe sequenze di dati.

Per chi volesse approfondire, il paper Mamba: Linear-Time Sequence Modeling with Selective State Spaces spiega nel dettaglio questo funzionamento.

Efficienza Energetica di Mamba: Potenzialità e Limiti

La diffusione di modelli come Mamba, che promettono un minore consumo energetico, potrebbe comportare un miglioramento dell’impatto ambientale connesso all’uso dell’Intelligenza Artificiale Generativa. Tuttavia, sarà fondamentale verificare se le prestazioni di Mamba, e la sua efficienza energetica, possano essere mantenute su vasta scala: al momento, infatti, è stato testato con un numero di parametri – 3 miliardi – relativamente ridotto e non è detto mantenga le proprietà evidenziate finora al crescere di questi (a titolo di esempio ChatGPT 3.5 utilizza 175 miliardi di parametri).

Strategie per una AI Sostenibile

Modelli di questo genere potrebbero, se rispetteranno le aspettative, dare un contributo importante, ma rappresentano solo una componente di un approccio più ampio per rendere l’AI più sostenibile. Oltre all’efficienza energetica dei modelli, è fondamentale considerare dove e come viene generata l’energia utilizzata per alimentarli. Ad esempio, collocare data center in regioni dove l’energia rinnovabile è più accessibile può ridurre notevolmente l’impatto ambientale. Inoltre, il futuro sostenibile dell’AI richiede un bilanciamento tra lo sviluppo tecnologico e l’impatto ambientale. L’innovazione deve andare di pari passo con strategie volte a minimizzare l’impronta carbonica, includendo non solo miglioramenti tecnologici ma anche scelte infrastrutturali e di politica energetica. Questa prospettiva integrata è fondamentale per assicurare che i benefici dell’AI non siano oscurati da oneri ambientali eccessivi.