Introduzione

Dietro a ogni singola risposta di ChatGPT lavorano centinaia di miliardi di parametri, organizzati in una struttura matematica nata in un paper pubblicato il 12 giugno 2017 da quindici ricercatori di Google. Tutti usiamo gli LLM ogni giorno, ma pochissimi sanno cosa accade davvero tra il momento in cui premi invio e la comparsa della risposta. In questa guida ti porto dentro il motore, dalla fase pre‑Transformer fino ai modelli di frontiera del 2026, con un focus speciale su cosa significhi per chi lavora nella ricerca su internet.

Cos’è davvero un Large Language Model

Partiamo dalla definizione più onesta che posso darti: un Large Language Model è un predittore di token. Gli dai un testo in input, e lui calcola quale sarà il pezzetto di testo successivo più probabile. Poi ripete, token dopo token, finché non produce un segnale speciale di “ho finito” oppure raggiunge il limite impostato. Non c’è pensiero cosciente, non c’è ragionamento nel senso umano del termine; c’è una funzione matematica gigantesca che prende una sequenza di numeri e ne restituisce un’altra.

Il “Large” non è decorativo: indica modelli con decine o centinaia di miliardi di parametri – i pesi delle connessioni tra i neuroni artificiali – addestrati su trilioni di token provenienti da libri, codice, articoli scientifici, forum e enciclopedie. La scala conta, e conta tantissimo: le scaling laws mostrano che la qualità delle risposte cresce in modo prevedibile con il numero di parametri e con la quantità di dati di addestramento.

È importante distinguere modello e chatbot. Il modello è la rete neurale con i suoi pesi fissi (ad es. GPT‑4o); il chatbot è l’applicazione che lo avvolge, aggiungendo interfaccia utente, filtri di sicurezza e integrazioni esterne (ad es. ChatGPT). Questa distinzione diventa cruciale quando si parla di Retrieval‑Augmented Generation (RAG), grounding e agenti autonomi.

Il legame con la tradizione dell’information retrieval è più profondo di quanto sembri. I primi modelli statistici del linguaggio, dagli n‑gram degli anni ’80 al modello neurale di Bengio del 2003, già stimavano la probabilità di una parola dato il contesto precedente. Gli LLM moderni sono gli eredi diretti, ma con due differenze fondamentali: l’attention, che permette di modellare dipendenze a lungo raggio, e la scala, che trasforma un modello statistico in qualcosa che a tratti sembra ragionare.

Token, parametri, pesi: il vocabolario minimo

Prima di andare avanti, tre definizioni indispensabili:

    • Token: l’unità minima elaborata dal modello. Non è né una parola né un carattere, ma una porzione di testo che dipende dal tokenizer. La parola “intelligenza” può essere un singolo token o “intel” + “ligenza”.
    • Parametro: un numero in virgola mobile che rappresenta un peso della rete neurale. GPT‑3 ne ha 175 miliardi, Llama 3.1 nella versione più grande ne ha 405 miliardi.
    • Peso: il valore di un parametro dopo il training. Durante l’inferenza i pesi rimangono congelati; le interazioni dell’utente non li modificano.

Approfondimento tecnico – Il language modeling come probabilità condizionale

Formalmente, il modello stima la probabilità di una sequenza di token fattorizzandola secondo la regola della catena della probabilità:

P(w1, w2, ..., wT) = ∏{t=1}^{T} P(wt | w1, w2, ..., w{t‑1})


Loss = - Σ{t=1}^{T} log P(wt | w1, ..., w{t‑1}; θ)

Dove θ è l’insieme di tutti i parametri. In inferenza, a ogni passo il modello calcola la distribuzione P(w_t | contesto), applica un softmax sull’intero vocabolario, e poi campiona o seleziona il token successivo. I parametri temperature, top‑k e top‑p controllano il livello di determinismo o creatività della generazione.

Prima del 2017: RNN, LSTM e il muro della sequenzialità

Per capire perché il Transformer è stata una rivoluzione, è necessario ricordare lo stato del Natural Language Processing prima del giugno 2017. Per oltre vent’anni il paradigma dominante era costituito dalle reti ricorrenti (RNN) e dalle loro varianti LSTM e GRU. Queste architetture processavano la frase token per token, mantenendo uno stato interno che si aggiornava ad ogni passo.

Due problemi strutturali limitavano queste reti:

    • Sequenzialità obbligata: il calcolo dello stato al tempo t dipendeva dallo stato al tempo t‑1. Questo impediva qualsiasi parallelizzazione efficace sulla GPU, lasciando inutilizzata la maggior parte della potenza hardware.
    • Vanishing gradient: durante il back‑propagation through time il gradiente si attenuava esponenzialmente con il numero di passi, rendendo difficile l’apprendimento di dipendenze a lungo raggio (ad es. pronome “quello” riferito a un sostantivo 20 parole prima).

Le traduzioni automatiche del 2015, ad esempio, soffrivano di queste limitazioni, con traduzioni lunghe che perdevano coerenza.

Word embeddings: word2vec e GloVe

Nel 2013 Tomáš Mikolov e colleghi di Google pubblicarono word2vec, introducendo gli embeddings: rappresentazioni dense di parole in uno spazio vettoriale continuo. GloVe, proposto da Stanford nel 2014, offrì un’alternativa basata su matrici di co‑occorrenza. Questi approcci permisero di catturare relazioni semantiche (ad es. re – regine ≈ uomo – regina) e divennero la base per le prime architetture di linguaggio basate su reti neurali.

Il 2017: nasce il Transformer

Il paper “Attention is All You Need”, pubblicato il 12 giugno 2017 da