Grandi Modelli Linguistici (LLM) e Architettura Transformer: Meccanismo di Attenzione, Tokenizzazione e Predizione del Testo

Negli ultimi anni, l’Intelligenza Artificiale ha compiuto un balzo in avanti che ha sbalordito non solo gli appassionati di tecnologia, ma l’intera società civile mondiale. Sistemi capaci di sostenere dialoghi filosofici complessi, sintetizzare in tre secondi un trattato di medicina da cinquecento pagine, tradurre all’istante tra decine di idiomi, scrivere programmi informatici perfettamente funzionanti e superare gli esami di abilitazione all’avvocatura con il massimo dei voti sono entrati improvvisamente nella nostra vita quotidiana.

Al vertice di questa rivoluzione si colloca una specifica classe di modelli di Deep Learning nota come Grandi Modelli Linguistici (LLM – Large Language Models), incarnata da sistemi celebri come ChatGPT (famiglia GPT di OpenAI), Claude di Anthropic, Gemini di Google e la suite aperta Llama di Meta.

Lungi dall’essere un’evoluzione lenta e graduale delle vecchie tecniche linguistiche, questo trionfo è scaturito da una singola, monumentale svolta architetturale presentata nel 2017 da un gruppo di otto ricercatori di Google Brain in uno dei paper scientifici più citati della storia: "Attention Is All You Need". Nasceva così l’Architettura Transformer. In questa guida didattica esploreremo come funziona il sofisticato meccanismo di Self-Attention (Auto-Attenzione), cosa sono i Token e gli Embedding vettoriali, e come un colossale calcolatore statistico riesca a generare frasi umane perfette predicendo semplicemente "la parola successiva".

Le Due Analogie Guida: Il T9 Gigantesco e la Cannuccia vs Il Muro Illuminato

Per liberare il campo da interpretazioni mistiche o fantascientifiche su presunte "macchine pensanti e coscienti", utilizziamo due analogie concrete:

La Catena di Elaborazione del Linguaggio: Dal Testo ai Numeri

I computer e le schede video (GPU) non capiscono le lettere dell’alfabeto, le parole o le emozioni: sanno solo eseguire calcoli algebrici su matrici di numeri. Prima che un testo possa entrare in un modello linguistico, deve subire una metamorfosi in tre passaggi:

1. La Tokenizzazione (BPE – Byte Pair Encoding)

Il modello non legge lettere singole e raramente legge parole intere: legge Token. Un token è un frammento sillabico o una sottoparola.

• In media, nella lingua inglese, 1 token corrisponde a circa 4 caratteri o 0,75 parole (1.000 parole umane sono circa 1.300 token).
• Nelle parole frequenti, una parola intera è un solo token ( computer).
• Nelle parole lunghe, rare o composte, l’algoritmo BPE la spezza in blocchi elementari (ad esempio in-com-pren-si-bi-le).
• È il motivo per cui gli LLM storicamente hanno faticato a contare quante lettere "R" ci sono nella parola "fragola": il modello non vede le singole lettere, ma un unico identificatore numerico associato al blocco della parola!

2. Gli Embedding: La Geometria del Significato

Come fa un computer a sapere che la parola "gatto" è semanticamente imparentata con "cane" e totalmente diversa da "cemento armato"? Tramite i Vettori di Embedding.

Ogni token viene mappato come un punto all’interno di uno spazio geometrico ad altissime dimensioni (spesso tra 4.096 e 12.288 dimensioni!). In questo universo geometrico astratto, parole con significato simile si trovano vicine tra loro.

<p>Sottraendo il concetto semantico di "maschile" al Re e aggiungendo il concetto "femminile", il punto risultante nello spazio geometrico coincide quasi alla perfezione con il vettore della Regina! Il modello non legge dizionari: calcola distanze angolari tra concetti.</p>

3. Il Positional Encoding: L’Orologio dell’Ordine

Poiché i Transformer elaborano tutti i token contemporaneamente in parallelo (e non uno dopo l’altro), non sanno naturalmente quale parola venga prima e quale dopo. Senza una correzione, per il modello le due frasi:

• "Il cane morde il padrone"
• "Il padrone morde il cane"
  risulterebbero matematicamente identiche! Per risolvere questo limite, a ciascun vettore di embedding viene sommato un segnale matematico di posizione (Positional Encoding, storicamente basato su onde sinusoidali, oggi su algoritmi di rotazione vettoriale come RoPE – Rotary Position Embedding), che imprime su ogni token la sua coordinata sequenziale esatta.

Il Cuore del Transformer: Il Meccanismo di Self-Attention

La vera formula magica che dà il titolo al paper "Attention Is All You Need" è il meccanismo di Self-Attention (Auto-Attenzione).

Considera questa frase complessa:

"La banca ha respinto il prestito alla società perché essa non aveva garanzie sufficienti."

A chi si riferisce il pronome "essa"? Alla banca o alla società?
Un essere umano comprende al volo che si riferisce alla "società", perché possiede la nozione logica che chi richiede un prestito deve fornire garanzie. Una vecchia rete neurale non era in grado di capirlo.

La Self-Attention calcola una matrice di correlazione tra ogni parola e tutte le altre parole della frase:

• La parola "essa" proietta fili di attenzione verso tutte le parole.
• Il calcolo matematico attribuisce un’affinità del 92% verso "società", dell’8% verso "banca", e dello 0% verso "prestito".
• Quando il modello elabora la parola "essa", ne fonde il significato con quello di "società", eliminando ogni ambiguità semantica!

flowchart TD

subgraph TOK["Parola da Contestualizzare (Token 'essa')"]

Q["Query (Q): 'Cerco il soggetto antecedente'"]

end
subgraph CTX["Contesto Globale della Frase"]
    K1["Key (K₁): 'Banca (Ente Finanziario)'"]
    K2["Key (K₂): 'Società (Debitore)'"]
    V1["Value (V₁): Significato Banca"]
    V2["Value (V₂): Significato Società"]
end

Q -->|"Prodotto Scalare Q · Kᵀ / √d"| SIM["Calcolo Similarità e Affinità"]
K1 --> SIM
K2 --> SIM
SIM -->|"Funzione Softmax"| ATT["Pesi di Attenzione: Banca 8% | Società 92%"]
ATT -->|"Combinazione Lineare (· V)"| OUT["Vettore Arricchito: 'essa' assorbe il significato di 'società'"]
V1 --> OUT
V2 --> OUT

Scomponiamo questa formula celebre nei suoi passaggi logici:

1. Q · Kᵀ (Prodotto Scalare): Moltiplica la Query di una parola per le Key di tutte le altre. Misura l’affinità angolare: più il risultato è alto, più due parole devono "fissarsi l’un l’altra".
2. / √dₖ (Fattore di Scala): Divide per la radice quadrata della dimensione del vettore per evitare che i numeri crescano troppo, prevenendo il blocco del gradiente.
3. Softmax: Converte i punteggi di affinità in percentuali positive la cui somma fa esattamente $100\%$ (i Pesi di Attenzione).
4. · V: Moltiplica le percentuali per i Valori reali, estraendo un nuovo vettore contestualizzato che racchiude il significato globale della frase.

Con la Multi-Head Attention (Attenzione a Più Teste), questo calcolo viene ripetuto simultaneamente da 32 o 64 "teste" parallele: una testa tiene traccia della grammatica e dei verbi, un’altra delle relazioni tra personaggi, un’altra dei riferimenti temporali.

Come Viene Generato il Testo: Autoregressione e Parametro Temperatura

Quando interroghi un LLM come ChatGPT, la risposta non viene generata tutta d’un colpo in un unico fotogramma: compare a video parola per parola (o meglio, token per token). Questo processo si chiama Generazione Autoregressiva:

Prompt Utente: "La capitale d'Italia è"
Passo 1: Il modello analizza il contesto e calcola la distribuzione di probabilità:
         [ "Roma": 98.4%, "Milano": 1.1%, "Napoli": 0.2%, "Parigi": 0.01% ]
         -> Seleziona: "Roma".
         Nuovo Contesto: "La capitale d'Italia è Roma"

Passo 2: Il modello riesegue il calcolo con la nuova frase completa:
         [ ".": 85.0%, "e": 12.0%, ",": 2.5% ]
         -> Seleziona: "."
         Nuovo Contesto: "La capitale d'Italia è Roma."

Passo 3: Il modello calcola le probabilità sul token finale:
         [ "<END_OF_TEXT>": 99.1% ]
         -> Il modello rileva il token di fine trasmissione e si ferma!

Il Parametro Temperatura ($T$): Dal Rigore Matematico alla Fantasia

Come fa il software a decidere se scegliere sempre la parola più probabile o lasciarsi andare a varianti creative? Attraverso la Temperatura:

Le Tre Fasi dell’Addestramento: Dal Modello Grezzo a ChatGPT

Un modello linguistico non nasce pronto a dialogare cortesemente con gli utenti. La sua creazione richiede tre passaggi colossali:

Domande Frequenti (FAQ)

1. Un LLM "pensa", capisce ciò che dice, o è davvero solo un "pappagallo stocastico"?

Dal punto di vista scientifico, un LLM è un elaboratore probabilistico di schemi linguistici. Non possiede una mente soggettiva, non prova sentimenti, non ha un corpo e non fa esperienza del mondo fisico. Il termine "pappagallo stocastico" (coniato dalla linguista Emily Bender) descrive la sua tendenza a ricombinare statisticamente frasi già viste senza una comprensione ontologica. Tuttavia, la scala titanica di questi modelli (centinaia di miliardi di parametri) fa emergere capacità di ragionamento astratto, analogico e logico talmente sofisticate da simulare la comprensione umana in una miriade di contesti operativi.

2. Che cos’è la "Finestra di Contesto" (Context Window)?

La Finestra di Contesto è la quantità massima di token che un modello può "tenere a mente" contemporaneamente in una singola conversazione. Nei primi modelli GPT-3 era di soli 2.048 token (circa 3 pagine di testo); nei modelli moderni (come Gemini 1.5 o Claude 3.5) spazia da 128.000 a oltre 1 milione di token (l’equivalente di un’intera enciclopedia o decine di ore di codice). Se la conversazione supera la finestra di contesto, il modello inizia a "dimenticare" le prime istruzioni fornite all’inizio della chat.

3. Qual è la differenza tra modelli "Open Source" (Open Weights) e modelli proprietari?

I modelli proprietari (come GPT-4 di OpenAI o Claude di Anthropic) sono accessibili solo tramite interfaccia web o API commerciali a pagamento; i pesi matematici, il codice di addestramento e l’architettura esatta sono custoditi come segreti industriali. I modelli a pesi aperti (Open Weights), come la famiglia Llama di Meta o Mistral AI, rilasciano pubblicamente i miliardi di pesi matematici: qualsiasi sviluppatore o azienda può scaricarli gratuitamente, installarli sui propri server privati e farli girare in totale riservatezza senza inviare dati a terzi.

4. Perché i modelli LLM consumano così tanta energia e acqua nei datacenter?

L’addestramento e l’inferenza di miliardi di parametri richiedono che decine di migliaia di GPU lavorino ininterrottamente a pieno regime per mesi, consumando svariati megawattora di energia elettrica. Per evitare che questi chip di silicio fondano sotto il carico computazionale, i datacenter utilizzano giganteschi impianti di raffreddamento a circuito idraulico o evaporativo, consumando milioni di litri d’acqua dolce per mantenere la temperatura nei limiti operativi ottimali.

Glossario Tecnico dei Termini Chiave

• LLM (Large Language Model): Rete neurale profonda addestrata su gigantesche moli di dati testuali capace di comprendere, generare e manipolare il linguaggio umano.
• Transformer: Architettura neurale introdotta nel 2017 fondata sul meccanismo di auto-attenzione che elabora l’intera sequenza di dati in parallelo.
• Self-Attention: Meccanismo matematico che calcola il grado di dipendenza semantica e contestuale tra ogni elemento di una sequenza e tutti gli altri.
• Token: L’unità atomica minima di testo (carattere, sillaba o parola) elaborata da un modello linguistico.
• Embedding: Rappresentazione vettoriale numerica ad alta dimensionalità di un token che ne cattura il significato semantico nello spazio cartesiano.
• Autoregressione: Meccanismo generativo in cui ogni nuovo elemento prodotto dal modello viene reimmesso come input per calcolare l’elemento successivo.
• Temperatura: Iperparametro di campionamento che regola la casualità e la creatività delle scelte probabilistiche dei token generati dal modello.
• RLHF (Reinforcement Learning from Human Feedback): Metodologia di rifinitura post-addestramento che allinea il modello alle preferenze e alle norme etiche umane attraverso valutazioni comparative.

Fonti Ufficiali e Riferimenti Accademici

• Vaswani, A. et al. (2017): Attention Is All You Need, Advances in Neural Information Processing Systems (NeurIPS 2017), 30, 5998-6008. https://arxiv.org/abs/1706.03762
• Radford, A. et al. (2018): Improving Language Understanding by Generative Pre-Training (GPT-1), OpenAI Whitepaper.
• Brown, T. et al. (2020): Language Models are Few-Shot Learners (GPT-3), Advances in Neural Information Processing Systems (NeurIPS 2020), 33, 1877-1901. https://arxiv.org/abs/2005.14165
• Ouyang, L. et al. (2022): Training language models to follow instructions with human feedback (InstructGPT / RLHF), NeurIPS 2022. https://arxiv.org/abs/2203.02155
• Sennrich, R., Haddow, B., & Birch, A. (2016): Neural Machine Translation of Rare Words with Subword Units (BPE Tokenization), Proceedings of ACL 2016. https://arxiv.org/abs/1508.07909
• Bender, E. M. et al. (2021): On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, Proceedings of the 2021 ACM FAccT Conference. https://doi.org/10.1145/3442188.3445922