ChatGPT ha preso d'assalto il mondo con le sue eloquenti risposte simili a quelle umane alimentate dietro le quinte dall'intelligenza artificiale avanzata. Nello specifico, deve le sue capacità di linguaggio naturale a una famiglia di modelli chiamati Generative Pretrained Transformers (GPT) sviluppato dalla società di ricerca OpenAI.
In questo post spiegheremo come funzionano questi modelli di trasformatori e come si abilitano ChatGPTè una prestazione impressionante.
GPT – Modelli di base per la PNL
Ad alto livello, i modelli GPT sono potenti “modelli di base” mirati a compiti di linguaggio naturale come la generazione di testo.
Sono i primi preaddestrato su enormi corpora di testo – acquisendo fino a centinaia di miliardi di parole da fonti come siti Web, libri e Wikipedia. Ciò consente ai GPT di analizzare in modo approfondito i modelli nel linguaggio umano.
Dopo la formazione preliminare, i modelli possono essere messo a punto su set di dati più specifici per personalizzare le proprie capacità. Ad esempio, un obiettivo chiave di messa a punto per ChatGPT era l’abilità conversazionale – permettendo un dialogo avanti e indietro fondato sui fatti.
Nelle versioni successive, OpenAII modelli GPT di sono diventati notevolmente più avanzati man mano che set di dati più grandi e potenza di calcolo hanno ampliato ciò che era possibile.
All'interno di GPT: l'architettura del trasformatore
Sotto il cofano, i modelli GPT sfruttano un'architettura di deep learning basata sull'attenzione nota come trasformatore.
I trasformatori hanno rappresentato una svolta nell'elaborazione del linguaggio naturale, superando i metodi più vecchi in compiti come la traduzione che richiedevano la comprensione del contesto delle parole. Le loro principali innovazioni:
- Strati di autoattenzione analizzare come ogni parola si collega a tutte le altre in una frase
- Ciò consente ai modelli di trasformazione come GPT di comprendere a fondo le relazioni complesse nel testo anziché elaborarle in sequenza
Durante il pre-addestramento, l'architettura del trasformatore di GPT gli consente di scoprire i modelli contestuali altamente complessi presenti nel linguaggio umano dai suoi enormi set di dati.
Quindi durante la messa a punto di applicazioni come ChatGPT, il modello di fondazione può generare nuove frasi coerenti e significative che si adattano a quelle strutture apprese.
GPT-3.5: l'iniziale ChatGPT Fondazione
La prima versione utilizzata per alimentare ChatGPT Prima GPT-3.5, una variante aumentata di GPT-3.
Lo stesso GPT-3 ha stupito il mondo quando è stato lanciato nel 2020 per la qualità, la coerenza e la creatività dei suoi risultati.
Basandosi sulle funzionalità di GPT-3 e sulla messa a punto personalizzata delle capacità di conversazione, GPT-3.5 ha abilitato ChatGPTLa funzionalità di dialogo straordinariamente fluida.
GPT-4: 2-5 volte più potente, 98% di elaborazione in meno
Tuttavia, in puro stile AI all'avanguardia, le iterazioni GPT avanzano rapidamente. Recentemente, OpenAI svelato l'ultimo GPT-4 che secondo quanto riferito è 2-5 volte più capace nella maggior parte delle attività linguistiche richiedendo il 98% in meno di potenza di calcolo.
Sfruttare GPT-4 potrebbe consentire ChatGPT per raggiungere nuovi traguardi in termini di parametri come la qualità dell'output, l'accuratezza dei fatti, la profondità del dialogo e altro ancora.
E da qui è probabile che il modello del treno della fondazione del trasformatore continui ad accelerare. Con il continuo ridimensionamento dei dati e dell'elaborazione previsto nelle future versioni di GPT, l'eccitazione è alta per ciò che potrebbe presto essere possibile.
Tuttavia, a parte le nuove capacità, interpretare questi modelli con cautela rimane importante: presentano limiti degni di nota nonostante il clamore attorno ai loro risultati. Ma lo sviluppo responsabile potrebbe consentire applicazioni estremamente vantaggiose.
Quindi attenzione a questo spazio! Probabilmente abbiamo ancora solo scalfito la superficie di ciò che un’intelligenza artificiale potente ma sicura può alla fine raggiungere.