La scorsa settimana il Wall Street Journal ha pubblicato un articolo che ho trovato particolarmente interessante in quanto prova a fare il punto sulla tipologia di LLM (un argomento di cui abbiamo già parlato da queste parti) effettivamente utilizzati nelle aziende – in questo caso americane – una volta superate le fasi di POC e di “esplorazione”.

Secondo quanto riportato dal WSJ,  le aziende stanno adottando sempre più modelli di Intelligenza Artificiale Generativa di piccole e medie dimensioni. Questa scelta riflette una preferenza per tecnologie che siano scalabili ed economicamente convenienti rispetto ai modelli più grandi e costosi che hanno dominato le prime fasi di questa “estate dell’AI” iniziata a Novembre 2022.

A differenza dei modelli come GPT-4 di OpenAI, che utilizzano oltre un bilione di parametri e costano centinaia di milioni di dollari per essere sviluppati, i modelli più piccoli sono addestrati su meno dati e, spesso, vengono progettati per compiti specifici. Quasi tutti i principali player del settore – Microsoft, Google, ma anche Mistral, Anthropic, Cohere e, dallo scorso 19 luglio OpenAI stessa con GPT4o mini – hanno tutti a catalogo questi tipi di modelli. Per compiti ripetitivi e specifici, come la classificazione dei documenti, i modelli più piccoli sono più che adeguati e richiedono meno potenza di calcolo, riducendo così i costi operativi.

Le aziende stanno implementando sempre più casi d’uso dell’AI, cercando al contempo di gestire i costi elevati associati a questa tecnologia. Sempre nell’articolo del WSJ venivano riportate delle testimonianze il cui messaggio principale è che per molti casi d’uso aziendali non è necessario un modello enorme che conosca ogni dettaglio possibile dello scibile umano (ad esempio la trama de “Il Padrino”), ma solo ciò che è necessario per svolgere il suo compito. 

Uno degli aspetti che non sono vengono esplicitamente menzionati nell’articolo, ma che trovo possa essere interessante considerare è la presenza di interessanti modelli di AI di piccole dimensioni e che girano localmente. Questi modelli, riportando la mia personale esperienza (ho in mente soprattutto phi3, gemma2 e llama3 nelle loro versioni più piccole), pur non producendo quell’effetto “wow” delle loro controparti di dimensioni maggiori, fanno il loro dovere se focalizzate su compiti specifici e, ove possibile, con un minimo di fine tuning. L’altro indubbio vantaggio che hanno, soprattutto in un’ottica aziendale, è la permanenza dei dati sui propri server.

Anche su questo tema, come molti che riguardano l’AI, ci troviamo in una momento di rapida evoluzione. Non è detto che in futuro queste tendenze rimarranno tali se anche i modelli più grandi dovessero divenire davvero economici da tutti i punti di vista tenendo conto che le aziende cercano comunque di bilanciare l’efficienza dei costi con l’efficacia operativa.

Qui l’articolo completo del WSJ.