ChatGPT-4 non supera (di poco) il Test di Turing

L’Università della California ha pubblicato su arXiv (portale che riporta lavori non ancora valutati dalla comunità scientifica) il risultato dello studio di due suoi ricercatori, Cameron Jones e Benjamin Bergen, sulla nuova versione di ChatGPT.

L’indagine aveva lo scopo di testare il livello raggiunto dall’Intelligenza Artificiale (IA) sviluppata da OpenAI nell’affinità con il pensiero umano. Per fare questo, è stato somministrato il Test di Turing a 650 candidati.

Il risultato ottenuto, comunque, mette in guardia sulle conseguenze di un’IA capace di farsi passare per un essere umano. 

Il Test di Turing

Il padre dell’informatica, Alan Turing, ideò questo metodo per testare se una macchina in analisi abbia raggiunto un livello di intelligenza tale da ingannare l’essere umano. 

Il test si svolge tramite un candidato (isolato) con il compito di somministrare una serie di quesiti a un target-macchina e a un target-umano; al soggetto in questione spetta riconoscere quale dei due target sia la macchina.

Dalla ricerca è risultato che nel 41% dei casi ChatGPT-4 è riuscita a confondere i candidati, che l’hanno considerata umana. Nella versione precedente, Gpt-3,5, il range si aggira tra il 5% e il 14%.

Osservando questi dati, si deve sottolineare come la mente umana abbia convinto il soggetto di essere tale solo nel 63% delle somministrazioni del test. 

Identificare l’IA

I partecipanti che sono riusciti a individuare correttamente la conversazione con ChatGPT-4 hanno comunicato i “metodi di smascheramento” dell’Intelligenza Artificiale.

Tra questi, si annoverano una mancanza di oscillazione nei registri di comunicazione (troppo formale e prolisso o troppo colloquiale), l’osservanza pedissequa delle regole di punteggiatura e, soprattutto, la genericità della risposta.

Gli autori dello studio hanno dichiarato, infatti, che “questi sistemi sono ottimizzati per produrre testi altamente probabili e per evitare opinioni controverse” e che “ciò incoraggia risposte molto generiche, prive delle idiosincrasie tipiche di una persona”.

Articolo di A.F.