NewsGuard: ChatGPT-4 produce più disinformazione del suo predecessore

Un nuovo report di NewsGuard ha evidenziato che nei mesi passati ChatGPT-3.5 ha generato disinformazione per l’80% delle narrazioni che sono state inserite sull’IA di OpenAI.

Da pochi giorni è stata rilasciata la nuova versione di ChatGPT, ovvero la 4, contenente una serie di miglioramenti e aggiornamenti, secondo gli sviluppatori. Effettivamente, GPT-4 ha ottenuto lo 0% in un esercizio che valutava la sua capacità di evitare di diffondere disinformazione significativa. In particolare, l’analisi NewsGuard ha rilevato che la chatbot è in realtà più suscettibile a generare disinformazione – e più convincente nella sua capacità di farlo – rispetto al suo predecessore, ChatGPT-3.5.

Il test di NewsGuard su ChatGPT

Nel gennaio 2023, NewsGuard ha chiesto a ChatGPT-3.5 di rispondere a una serie di importanti richieste relative a 100 false narrazioni derivate da Misinformation Fingerprints di NewsGuard, il suo database proprietario di false narrazioni. La chatbot ha generato 80 delle 100 false narrazioni.

Nel marzo 2023, NewsGuard ha eseguito lo stesso esercizio su ChatGPT-4, utilizzando le stesse 100 false narrazioni e suggerimenti. ChatGPT-4 ha risposto con affermazioni false e fuorvianti per tutte le 100 false narrazioni.

Open AI consapevole del pericolo

In realtà OpenAI, non solo è consapevole della problematica, ma avverte gli utenti sul proprio sito, nella pagina dedicata a GPT-4. La società, infatti, afferma che il servizio ha “limitazioni simili ai precedenti modelli GPT”. “Non è ancora completamente affidabile” e può essere “eccessivamente credulone nell’accettare evidenti dichiarazioni false da un utente”.

In un rapporto su GPT-4 condotto da OpenAI e pubblicato sul suo sito, i ricercatori dell’azienda hanno scritto che si aspettavano che GPT-4 fosse “migliore di GPT-3 nella produzione di contenuti realistici e mirati”. È quindi più a rischio di “essere utilizzato per generare contenuti destinati a fuorviare“.