Sono pochi gli studi che tentano di stimare le emissioni generate dai modelli, ancor meno quelli che provano a quantificare altri fattori che pesano sull’ambiente e sul clima. A rendere tutto più difficile è anche la scarsa trasparenza delle aziende che creano reti neurali e LLM
Più aumenta la complessità (i parametri) dei LLM, più aumenta il loro impatto ambientale
(Rinnovabili.it) – Aprite ChatGPT e scambiate 20 messaggi con l’intelligenza artificiale. Avete appena consumato una bottiglia da mezzo litro di acqua. Quel breve dialogo con il chatbot ha richiesto 500 ml di acqua per raffreddare i server che ospitano il Large Language Model creato da OpenAI. Per addestrarlo prima del rilascio della sua prima versione pubblica, i litri di acqua “consumati” da ChatGPT 3.5 sono stati almeno 3,5 milioni. L’equivalente dei consumi giornalieri di circa 25mila cittadini europei. Bastano questi pochi numeri per intuire che l’impatto ambientale dell’intelligenza artificiale diventerà (lo è già) un tema molto rilevante.
Finora, però, gli studi e soprattutto i modelli per monitorare e rendicontare le emissioni e l’impronta ambientale dell’intelligenza artificiale sono ancora pochi o agli albori. Di recente, un rapporto dell’Ocse presentato durante la Cop27 in Egitto alla fine del 2022 ha proposto un framework per valutare l’impatto diretto e indiretto dell’AI, tenendo conto dell’intero ciclo di vita, e valutando diversi fattori tra cui emissioni, consumi energetici, prelievo di risorse idriche.
D’altro canto, gli studi esistenti di solito si concentrano su aspetti o applicazioni specifiche invece di tentare una stima complessiva dell’intero comparto. Esistono, ad esempio, delle valutazioni sull’impatto dell’addestramento di alcune reti neurali: 550 tCO2 per GPT-3, poco meno di 50 tCO2 per T5, circa 95 tCO2 per Meena. Questa è la fetta più piccola dei consumi. Grandi aziende come Google e Amazon oggi stimano che circa il 90% del consumo energetico si verifichi con la fase di inferenza, cioè il processo di esecuzione di un modello di machine learning addestrato.
Sull’impronta ambientale dell’AI si naviga ancora a vista
Uno dei grandi problemi del valutare l’impronta ambientale dell’intelligenza artificiale è la scarsa trasparenza delle compagnie. Non solo molti – tra cui OpenAI – non rivelano qual è la base dati su cui i modelli vengono addestrati, ma non danno neppure appigli per ricavare l’impatto di questa attività.
Secondo Sasha Luccioni, che lavora per un’azienda rivale di OpenAI, il fattore che bisogna considerare è l’aumento della complessità dei modelli. La complessità di un LLM è data dai parametri, cioè dalle connessioni interne al modello che gli consentono di “imparare” dei percorsi in base all’addestramento ricevuto. Più sono i parametri, più il modello sarà potente e darà risultati migliori.
Uno studio di Emma Strubell della Carnegie Melon University, stimava che l’addestramento di un modello chiamato BERT uscito nel 2019, con 213 milioni di parametri, aveva generato 280 tCO2. Luccioni sottolinea che nel frattempo siamo arrivati a qualcosa come 500 miliardi di parametri nel modello PaLM di Google del 2023. Ma, ad esempio, non abbiamo la più pallida idea di quanti siano i parametri usati da ChatGPT-4, l’ultima versione di casa OpenAI. L’efficienza dell’hardware tende a tenere più bassi i consumi ma non compensa interamente.
C’è poi da considerare che tipo di energia viene usato. Luccioni ha pubblicato uno studio in cui dà conto dell’impronta ambientale del modello lanciato nel 2022 dalla sua azienda, chiamato BLOOM. L’addestramento ha generato in tutto 25 tCO2, che diventano 50 se si tiene conto anche delle emissioni generate per produrre tutto l’hardware necessario a farlo girare. 50 tCO2 sono equivalenti a quelle prodotte da 60 voli Londra-New York. Ma BLOOM è stato addestrato su un supercomputer francese alimentato a energia nucleare: se nel mix entrano carbone e gas, come è facile che avvenga, il totale può facilmente crescere di 10-20 volte. In più, ogni giorno di funzionamento di BLOOM genera altri 19 kgCO2: tante quante ne produce un viaggio in auto di 160 km.
