Beyond Human: gli esperti del MIT spiegano l’intelligenza artificiale generativa e il fenomeno

Come funzionano i potenti sistemi di intelligenza artificiale generativa come ChatGPT e cosa li rende diversi da altri tipi di intelligenza artificiale?

Una rapida scansione dei titoli dei giornali fa sembrare che l’intelligenza artificiale generativa sia ovunque al giorno d’oggi. In effetti, alcuni di questi titoli potrebbero effettivamente essere stati scritti da un’intelligenza artificiale generativa, come ChatGPT di OpenAI, un chatbot che ha dimostrato una straordinaria capacità di produrre testo che sembra essere stato scritto da un essere umano.

Comprendere l’intelligenza artificiale generativa

Ma cosa intendono realmente le persone quando parlano di “IA generativa”?

Prima del boom dell’intelligenza artificiale generativa degli ultimi anni, quando si parlava di intelligenza artificiale, in genere si parlava di modelli di apprendimento automatico in grado di imparare a fare una previsione basata sui dati. Ad esempio, tali modelli vengono addestrati, utilizzando milioni di esempi, per prevedere se una determinata radiografia mostra segni di un tumore o se è probabile che un particolare mutuatario non riesca a onorare un prestito.

Cosa intendono le persone quando parlano di “IA generativa” e perché questi sistemi sembrano trovare la loro strada praticamente in ogni applicazione immaginabile? Gli esperti di intelligenza artificiale del MIT aiutano ad analizzare i dettagli di questa tecnologia sempre più popolare e onnipresente. Credito: Jose-Luis Olivares, MIT

“L’intelligenza artificiale generativa può essere pensata come un modello di apprendimento automatico addestrato a creare nuovi dati, anziché fare previsioni su un set di dati specifico. Un sistema di intelligenza artificiale generativa impara a generare più oggetti che assomigliano ai dati su cui è stato addestrato. Quando si tratta dei meccanismi reali alla base dell’intelligenza artificiale generativa e di altri tipi di intelligenza artificiale, le distinzioni possono essere un po’ sfocate. Spesso, gli stessi algoritmi possono essere utilizzati per entrambi”, afferma Phillip Isola, Professore associato di ingegneria elettrica e informatica al MIT e membro del Computer Science and Artificial Intelligence Laboratory (CSAIL).

Contesto storico e complessità del modello

E nonostante l’entusiasmo suscitato dal rilascio di ChatGPT e delle sue controparti, la tecnologia in sé non è nuova di zecca. Questi potenti modelli di apprendimento automatico si basano su ricerche e progressi computazionali che risalgono a più di 50 anni fa.

Un primo esempio di IA generativa è un modello molto più semplice noto come catena di Markov. La tecnica prende il nome da Andrey Markov, un matematico russo che nel 1906 introdusse questo metodo statistico per modellare il comportamento dei processi casuali. Nell’apprendimento automatico , i modelli di Markov sono stati a lungo utilizzati per attività di previsione della parola successiva, come la funzione di completamento automatico in un programma di posta elettronica.

Nella previsione del testo, un modello di Markov genera la parola successiva in una frase guardando la parola precedente o alcune parole precedenti. “Ma poiché questi semplici modelli possono guardare solo così lontano, non sono in grado di generare testo plausibile“, afferma Tommi Jaakkola, Professore di ingegneria elettrica e informatica Thomas Siebel al MIT, che è anche membro del CSAIL e dell’Institute for Dati, sistemi e società (IDSS).

“Stavamo generando cose molto prima dell’ultimo decennio, ma la distinzione principale qui è in termini di complessità degli oggetti che possiamo generare e della scala su cui possiamo addestrare questi modelli“, spiega.

Solo pochi anni fa, i ricercatori tendevano a concentrarsi sulla ricerca di un algoritmo di apprendimento automatico che sfruttasse al meglio un set di dati specifico. Ma l’attenzione si è leggermente spostata e molti ricercatori ora utilizzano set di dati più grandi, magari con centinaia di milioni o addirittura miliardi di punti dati, per addestrare modelli in grado di ottenere risultati impressionanti.

Recenti spostamenti dell’attenzione nella ricerca sull’intelligenza artificiale

“I modelli base alla base di ChatGPT e sistemi simili funzionano più o meno allo stesso modo di un modello Markov”, spiegano i ricercatori. “Ma una grande differenza è che ChatGPT è molto più grande e complesso, con miliardi di parametri. Ed è stato addestrato su un’enorme quantità di dati, in questo caso gran parte del testo pubblicamente disponibile su Internet”.

In questo enorme corpus di testi, parole e frasi compaiono in sequenze con determinate dipendenze. Questa ricorrenza aiuta il modello a capire come tagliare il testo in blocchi statistici che abbiano una certa prevedibilità. Apprende gli schemi di questi blocchi di testo e utilizza questa conoscenza per proporre cosa potrebbe accadere dopo.

Progressi nelle architetture di deep learning

Sebbene set di dati più grandi siano uno dei catalizzatori che hanno portato al boom dell’intelligenza artificiale generativa, una serie di importanti progressi della ricerca hanno portato anche ad architetture di deep learning più complesse.

Nel 2014, i ricercatori dell’Università di Montreal hanno proposto un’architettura di apprendimento automatico nota come rete generativa avversaria (GAN). I GAN utilizzano due modelli che funzionano in tandem: uno impara a generare un output target (come un’immagine) e l’altro impara a discriminare i dati reali dall’output del generatore. “Il generatore cerca di ingannare il discriminatore e nel processo impara a produrre risultati più realistici”. Il generatore di immagini StyleGAN si basa su questi tipi di modelli.

I modelli di diffusione furono introdotti un anno dopo dai ricercatori della Stanford University e dell’Università della California a Berkeley. Perfezionando in modo iterativo il loro output, questi modelli imparano a generare nuovi campioni di dati che assomigliano ai campioni in un set di dati di addestramento e sono stati utilizzati per creare immagini dall’aspetto realistico. Un modello di diffusione è al centro del sistema di generazione di testo in immagine Stable Diffusion.

Nel 2017, i ricercatori di Google hanno introdotto l’architettura del trasformatore, che è stata utilizzata per sviluppare modelli linguistici di grandi dimensioni, come quelli che alimentano ChatGPT. Nell’elaborazione del linguaggio naturale, “un trasformatore codifica ogni parola in un corpus di testo come un token e quindi genera una mappa dell’attenzione, che cattura le relazioni di ciascun token con tutti gli altri token”. Questa mappa dell’attenzione aiuta il trasformatore a comprendere il contesto quando genera un nuovo testo.

Questi sono solo alcuni dei tanti approcci che possono essere utilizzati per l’intelligenza artificiale generativa.

Applicazioni di IA generativa

Ciò che tutti questi approcci hanno in comune è che convertono gli input in un insieme di token, che sono rappresentazioni numeriche di blocchi di dati. Finché i tuoi dati possono essere convertiti in questo formato token standard, in teoria potresti applicare questi metodi per generare nuovi dati che sembrano simili.

“Il tuo chilometraggio potrebbe variare, a seconda di quanto sono rumorosi i tuoi dati e di quanto sia difficile estrarre il segnale, ma in realtà si sta avvicinando al modo in cui una CPU generica può assorbire qualsiasi tipo di dati e iniziare a elaborarli in un sistema unificato”, dice Isola.

Ciò apre una vasta gamma di applicazioni per l’intelligenza artificiale generativa.

Sfide e considerazioni etiche

I chatbot generativi con intelligenza artificiale vengono ora utilizzati nei call center per rispondere alle domande dei clienti umani, ma questa applicazione sottolinea un potenziale campanello d’allarme nell’implementazione di questi modelli: lo spostamento dei lavoratori.

Inoltre, l’intelligenza artificiale generativa può ereditare e proliferare i pregiudizi presenti nei dati di addestramento o amplificare l’incitamento all’odio e le false dichiarazioni. “I modelli hanno la capacità di plagiare e possono generare contenuti che sembrano prodotti da uno specifico creatore umano, sollevando potenziali problemi di copyright”, dicono gli autori.

D’altro canto, Shah propone che l’intelligenza artificiale generativa possa dare potere agli artisti, che potrebbero utilizzare strumenti generativi per aiutarli a realizzare contenuti creativi che altrimenti non avrebbero i mezzi per produrre.

Il futuro dell’intelligenza artificiale generativa

Una direzione futura promettente che Isola vede per l’intelligenza artificiale generativa è il suo utilizzo per la fabbricazione. Invece di avere un modello che crea l’immagine di una sedia, forse si potrebbe generare un progetto per una sedia che potrebbe essere prodotta.

Vede anche usi futuri per i sistemi di intelligenza artificiale generativa nello sviluppo di agenti di intelligenza artificiale più generalmente intelligenti.

Leggi anche:ChatGPT suggerisce probabili diagnosi al pronto soccorso

“Ci sono differenze nel modo in cui funzionano questi modelli e nel modo in cui pensiamo che funzioni il cervello umano, ma penso che ci siano anche delle somiglianze. Abbiamo la capacità di pensare e sognare nelle nostre teste, di elaborare idee o piani interessanti e penso che l’intelligenza artificiale generativa sia uno degli strumenti che consentirà agli agenti di fare anche questo”, afferma Isola.

Fonte:Scitechdayli