Il 2023 è stato l’anno dell’Intelligenza Artificiale Generativa (IA) in cui ogni grande società tecnologica ha presentato sempre nuove novità sui sistemi di IA. Sono state descritte le loro grandi potenzialità, la velocità delle risposte e la loro percentuale di esattezza, ma quanto sono trasparenti i loro modelli fondativi?
La ricerca sulla trasparenza
La Stanford University ha sviluppato il Foundation Model Transparency Index (FMTI) grazie alla collaborazione di studiosi del Center for Research on Foundation Models (CRFM). Il modello FMTI si pone l’obiettivo di valutare le aziende oltre che i modelli di IA prodotti su 100 aspetti di trasparenza: dalla costruzione del modello all’utilizzo che si può fare del sistema.
Per le prime 10 grandi società creatrici di sistemi di IA Generativa, si è visto che il punteggio calcolato in base all’indice FMTI era generalmente basso.
La migliore è Meta con il suo Llama 2, con un punteggio di 54%. Al secondo posto troviamo BLOOMZ, modello di IA Generativa capace di produrre testi di vario tipo in 46 lingue, della start-up francese Big Science. Chat-GPT 4, ultimo modello di IA di OpenAI, guadagna solo il terzo posto in classifica, con il 48% di punti di trasparenza. Google rimane in una modesta 5 posizione (40%), subito prima di Anthropic (36%).
Molto spazio al miglioramento, dunque, per le big tech protagoniste del panorama tecnologico sull’IA Generativa.
La creazione dell’Indice
La trasparenza è una componente fondamentale per l’uso responsabile e consapevole delle nuove tecnologie. Gli indicatori stabiliti e utilizzati dalla ricerca del CRFM cercano di definire il paradigma di un buon indice di trasparenza.
“Nonostante una condotta più responsabile da parte delle compagnie sia l’obiettivo, la trasparenza è un primo step in quella direzione”, commenta Rishi Bommasani, leader del CRFM.
La tabella mostra solo alcuni dei 100 indicatori, ma è visibile la maggioranza di area rossa (indicatore di non sufficienza), che “è un indizio abbastanza chiaro su come queste compagnie si paragonano ai propri competitors, e speriamo che questo possa motivarli a migliorare la loro trasparenza”, conclude Bommasani.
Articolo di T.S.
