Perché le Intelligenze Artificiali Non Riescono a Ragionare come gli Esseri Umani?

Le intelligenze artificiali generative, come ChatGPT di OpenAI e Bard di Google, hanno dimostrato capacità straordinarie nel generare testi coerenti e realistici. Tuttavia, quando sottoposte a test di ragionamento logico, queste IA mostrano limiti significativi. Uno studio pubblicato sulla rivista Royal Society Open Science e condotto dai ricercatori dell’University College di Londra e dell’Università di Bologna ha rivelato che, nonostante le loro capacità linguistiche avanzate, le IA non riescono a ragionare in modo logico come gli esseri umani.

Test Cognitivi e Risultati

I ricercatori hanno sottoposto vari modelli di IA, tra cui ChatGPT 4, ChatGPT 3.5, Bard e Llama, a dodici classici test logici di psicologia cognitiva, come il test di selezione di Wason. Questo test richiede di verificare una proposizione logica girando le carte appropriate tra un set di quattro. Solo il 10% degli esseri umani riesce a rispondere correttamente al primo tentativo. I chatbot, invece, hanno spesso fornito risposte diverse alla stessa domanda e commesso errori semplici, come sbagliare addizioni o confondere vocali con consonanti.

Uno dei modelli ha raggiunto una percentuale di risposte esatte simile a quella umana, intorno al 10%, ma ha commesso errori frequenti, come scambiare la consonante K per una vocale. Secondo Mirco Musolesi, uno degli autori dello studio, “è difficile per un umano sbagliare in questo modo, poiché sappiamo cosa sia una vocale, ma molte IA non lo sanno”.

Comportamenti Irrazionali delle IA

Un altro studio condotto dai ricercatori dell’University College London ha testato sette modelli di grandi dimensioni (LLMs) utilizzando test di psicologia cognitiva per valutare le loro capacità di ragionamento. I risultati hanno mostrato che le IA forniscono risposte variabili quando sottoposte alla stessa domanda ripetutamente e sono inclini a fare errori, come confondere consonanti con vocali e sbagliare semplici calcoli matematici.

Ad esempio, nel test di Wason, GPT-4 ha risposto correttamente il 90% delle volte, mentre GPT-3.5 e Google Bard hanno ottenuto uno 0% di risposte corrette. Anche Llama 2 70b ha risposto correttamente solo il 10% delle volte, scambiando la lettera K per una vocale.

Olivia Macmillan-Scott, uno degli autori dello studio, ha dichiarato: “Questi modelli non ‘pensano’ come esseri umani. Il modello con il dataset più grande, GPT-4, ha ottenuto risultati migliori rispetto agli altri modelli, ma è difficile dire perché, dato che è un sistema chiuso”.

Numeri Preferiti dalle IA

Un recente studio ha scoperto che le IA hanno numeri preferiti, proprio come gli esseri umani. Quando si chiede a una persona di scegliere un numero tra 1 e 10, è improbabile che scelga l’1 o il 100, preferendo numeri come il 7 e il 3. Questo comportamento è stato osservato anche nelle IA.

Ad esempio, GPT-3.5 Turbo di OpenAI ha scelto il numero 47 più frequentemente, seguito dal 57 e dal 42. Claude 3 di Anthropic ha preferito il 42, mentre Gemini 1.0 Pro di Google ha optato per il 72. Questo comportamento dimostra che le IA seguono gli stessi ragionamenti irrazionali degli esseri umani, il che non è un dato positivo. Significa che l’addestramento dei modelli ha antropomorfizzato le IA, insegnando loro a dare peso a scelte che dovrebbero essere casuali.

La Percezione Errata della Casualità

Gli esseri umani tendono a fraintendere la casualità. Se si chiede a una persona di prevedere una sequenza di 100 lanci di una moneta, le previsioni saranno quasi sempre distinguibili da una sequenza reale di 100 lanci. Nella sequenza reale, spesso ci sono gruppi di 6 o 7 teste o croci consecutive, che raramente una persona includerebbe nelle previsioni.

Lo stesso accade quando si chiede di scegliere un numero compreso tra 0 e 100. Quasi nessuno sceglie 1 o 100, percepiti come numeri “estremi”. Anche i multipli di 5 e i numeri con cifre ripetute sono rari. Le persone spesso scelgono numeri che terminano con 7, come 27, 37 e 47, poiché danno l’impressione di essere più casuali.

Gli ingegneri di Gramener hanno condotto un esperimento informale chiedendo ai chatbot LLM di scegliere a caso un numero tra 0 e 100. I risultati hanno mostrato che i modelli AI imitano il comportamento umano nella scelta dei numeri. Ad esempio, GPT-3.5 Turbo di OpenAI predilige il 47, Claude 3 di Anthropic il 42 e Gemini il 72.

Bullet Executive Summary

In conclusione, gli studi dimostrano che le intelligenze artificiali generative, nonostante le loro capacità avanzate, non riescono a ragionare in modo logico come gli esseri umani. I modelli di IA mostrano comportamenti irrazionali simili a quelli umani, soprattutto quando si tratta di scegliere numeri casuali. Questo fenomeno è dovuto all’addestramento dei modelli sui dati prodotti dagli esseri umani, che ha portato le IA a imitare i comportamenti umani senza comprenderli realmente.

Nozione base di tecnologia correlata: Un modello di linguaggio di grandi dimensioni (LLM) è un tipo di intelligenza artificiale addestrato su enormi quantità di testo per generare risposte coerenti e realistiche. Tuttavia, questi modelli non comprendono realmente il significato delle parole o il contesto, ma si basano su schemi di probabilità.

Nozione di tecnologia avanzata: L’addestramento dei modelli di IA su dati umani può portare a bias e comportamenti irrazionali. È importante sviluppare metodi per migliorare l’addestramento delle IA, evitando di imporre i nostri difetti e pregiudizi sui modelli. Questo richiede una comprensione più profonda del comportamento emergente dei modelli linguistici di grandi dimensioni e delle loro limitazioni.

*Riflessione personale*: Questi studi ci fanno riflettere su come vogliamo che le macchine si comportino. Vogliamo che commettano errori come noi, o che siano perfette? La risposta a questa domanda potrebbe influenzare il futuro dello sviluppo delle intelligenze artificiali e il loro impatto sulla società.