GPT: Generative Pre-trained Transformer – L'Architettura Dietro i Moderni Modelli Linguistici AI
Cosa Significa GPT?
GPT = Generative Pre-trained Transformer.
- Generative: Crea nuovo contenuto (testo, codice, immagini via estensioni) invece di solo classificare o recuperare.
- Pre-trained: Addestrato su enormi, diversi corpora testuali (internet, libri, codice) prima del fine-tuning per task specifici. Impara struttura linguistica, conoscenza mondo, pattern ragionamento.
- Transformer: Architettura rete neurale (Vaswani et al., 2017) usando self-attention per modellare dipendenze a lungo raggio in sequenze. Ha sostituito RNN/LSTM come architettura NLP dominante.
Come Funziona GPT (Alto Livello)
- Pre-training (Non supervisionato): Prevede token successivo in miliardi di sequenze testuali. Impara grammatica, fatti, ragionamento, stile.
- Fine-tuning (Supervisionato): Addestrato su coppie istruzione-risposta curate (RLHF: Reinforcement Learning from Human Feedback) per seguire istruzioni, essere utile, sicuro, allineato.
- Inferenza: Dato un prompt, genera continuazione token-per-token, campionando da distribuzione probabilità predetta.
Evoluzione Modelli GPT
| Modello | Anno | Parametri | Avanzamento Chiave |
|---|
| GPT-1 | 2018 | 117M | Proof of concept: pre-training generativo funziona |
| GPT-2 | 2019 | 1,5B | Generazione long-form coerente; rilascio graduale |
| GPT-3 | 2020 | 175B | Few-shot learning; lancio API; scala massiccia |
| GPT-3.5 (InstructGPT) | 2022 | 175B | Allineamento RLHF; base ChatGPT |
| GPT-4 | 2023 | ~1T+ (stim.) | Multimodale (testo+immagine); ragionamento, coding, safety più forti |
| GPT-4o / o1 | 2024 | – | Omni (audio/visione/testo), modelli ragionamento |
Capacità
- Generazione, completamento, riassunto, traduzione testo
- Risposta domande, ragionamento, matematica, coding
- Scrittura creativa, roleplay, tutoraggio
- Output strutturato (JSON, SQL, markup)
- Uso tool (browsing, esecuzione codice, funzioni)
Limitazioni
- Allucinazioni (output plausibili ma falsi)
- Cutoff conoscenza (data dati addestramento)
- Bias dai dati addestramento
- Nessuna vera comprensione, coscienza, o agenzia
- Limiti context window (anche se in espansione)
Impatto
I modelli GPT hanno catalizzato la rivoluzione AI generativa, alimentando chatbot, copilot, creazione contenuti, assistenti codice, ricerca, educazione, strumenti ricerca scientifica. Sono la base dell'ecosistema odierno di large language model (LLM).