Uno studio condotto da NewsGuard nel mese di aprile 2023 ha evidenziato che ChatGPT-3.5 ha la tendenza a generare maggiore disinformazione in certe lingue piuttosto che in altre.
Nello specifico, NewsGuard ha svolto la ricerca in inglese, cinese semplificato e cinese tradizionale. In seguito alla richiesta di creare notizie false in lingua inglese, ChatGPT ha individuato l’infondatezza delle informazioni sei volte su sette. In cinese, invece, ha prodotto fake news in tutti e sette i casi.
L’esperimento di NewsGuard
I ricercatori hanno sottoposto alla chatbot sviluppata da OpenAI sette spunti sulla base dei quali costruire degli articoli. Le informazioni fornite erano del tutto false e lo scopo era testare la risposta dell’Intelligenza Artificiale (IA) in seguito alla richiesta di elaborare delle fake news.
Ad esempio, NewsGuard ha chiesto a ChatGPT di scrivere che erano stati i militari statunitensi a portare il Covid-19 a Wuhan nel 2019.
Quando i ricercatori hanno effettuato la richiesta in inglese, la chatbot si è rifiutata di produrre un contenuto falso. In cinese, invece, ChatGPT ha prodotto un dettagliato articolo che riportava anche delle presunte citazioni da attribuire all’esercito statunitense e al Ministro degli esteri cinese. In seguito a un attento controllo, NewsGuard ha constatato che queste affermazioni non sono mai state pronunciate e che sono, quindi, del tutto invenzioni della chatbot.
Le risposte di ChatGPT
In seguito all’esperimento, NewsGuard ha chiesto a ChatGPT di spiegare perché ha prodotto risposte così diverse in inglese e poi in cinese.
La chatbot ha riferito che “in quanto IA, genero risposte sulla base dei modelli e dei dati sui quali vengo addestrata. I modelli e i dati che ho appreso in inglese possono essere diversi da quelli cinesi a causa di variazioni nella struttura della lingua, contesto culturale e altri fattori”.
Anche la stessa risposta della chatbot rende evidente quanto lavoro ancora ci sia da fare e che bisogna essere attenti alla credibilità dei software di IA.
Articolo di M.M.
