Molti si affidando agli LLM anche per eseguire operazioni matematiche. Questo approccio non funziona .

La questione in realtà è semplice: i modelli linguistici di grandi dimensioni (LLM) non sanno davvero moltiplicare. Possono talvolta azzeccare il risultato, proprio come io potrei sapere a memoria il valore del pi greco. Ma questo non significa che io sia un matematico, né che gli LLM sappiano davvero fare matematica.

Esempio pratico

Esempio: 49858 *5994949 = 298896167242 Questo risultato è sempre lo stesso, non ci sono vie di mezzo. O è giusto o è sbagliato.

Anche con un massiccio addestramento mirato alla matematica, i migliori modelli riescono a risolvere correttamente solo una parte delle operazioni. Una semplice calcolatrice tascabile, invece, ottiene il 100% dei risultati corretti, sempre. E più i numeri diventano grandi, peggiori sono le prestazioni degli LLM.

E’ possibile risolvere questo problema?

Il problema di fondo è che questi modelli imparano per somiglianza, non per comprensione. Funzionano meglio con problemi simili a quelli su cui sono stati addestrati, ma non sviluppano mai una vera comprensione di ciò che affermano.

Per chi desidera approfondire suggerisco questo articolo su “come funziona un LLM”.

Una calcolatrice, al contrario, usa un algoritmo preciso programmato per eseguire l'operazione matematica.

Questa è la ragione per cui non dovremmo mai affidarci completamente agli LLM per calcoli matematici: anche nelle migliori condizioni, con enormi quantità di dati di addestramento specifici, non riescono a garantire l'affidabilità nemmeno nelle operazioni più basilari. Potrebbe funzionare un approccio ibrido, ma gli LLM da soli non sono sufficienti. Forse questo approccio verrà seguito per la risoluzione del cosiddetto “strawberry problem” (il problema della fragola).

Applicazioni degli LLM nello studio della matematica

Nel contesto educativo, gli LLM possono fungere da tutor personalizzati, capaci di adattare le spiegazioni al livello di comprensione dello studente. Per esempio, quando uno studente affronta un problema di calcolo differenziale, l'LLM può scomporre il ragionamento in passaggi più semplici, fornendo spiegazioni dettagliate per ogni fase del processo risolutivo. Questo approccio aiuta a costruire una solida comprensione dei concetti fondamentali.

Un aspetto particolarmente interessante è la capacità degli LLM di generare esempi pertinenti e variati. Se uno studente sta cercando di capire il concetto di limite, l'LLM può presentare diversi scenari matematici, partendo da casi semplici fino ad arrivare a situazioni più complesse, permettendo così una comprensione progressiva del concetto.

Un'applicazione promettente è l'uso degli LLM per la traduzione di concetti matematici complessi in linguaggio naturale più accessibile. Questo facilita la comunicazione della matematica a un pubblico più ampio e può aiutare a superare la tradizionale barriera di accesso a questa disciplina.

Gli LLM possono anche assistere nella preparazione di materiale didattico, generando esercizi di varia difficoltà e fornendo feedback dettagliati sulle soluzioni proposte dagli studenti. Questo permette agli insegnanti di personalizzare meglio il percorso di apprendimento dei loro studenti.

Il vero vantaggio

E’ anche da considerare, più in generale, l’estrema “pazienza” nell’aiutare nell’apprendimento anche lo studente meno “capace”: in questo caso l’assenza di emozioni aiuta. Nonostante questo, anche l’ai a volte “perde la pazienza”. Si veda questo “divertente” esempio.

‍