RAG vs Fine-tuning: come dare all'AI la conoscenza della tua azienda

In una frase

Un'AI "di serie" (ChatGPT, Claude, Gemini) conosce il mondo in generale, ma non sa nulla della tua azienda: i tuoi listini, le tue procedure, i tuoi clienti. Per insegnarglieli hai tre leve, dalla più economica alla più impegnativa — e una regola d'oro: il RAG serve a darle la conoscenza, il fine-tuning a darle il comportamento.

Il problema: l'AI non conosce la tua azienda

Un modello linguistico ha "letto" enormi quantità di testo generico fino a una certa data, e da lì genera la risposta più plausibile. Tre conseguenze pratiche:

• La sua conoscenza è ferma al momento dell'addestramento.
• Non ha mai visto i tuoi documenti interni.
• Quando non sa, non tace: inventa (le cosiddette allucinazioni).

La domanda da imprenditore è: come faccio sì che risponda sui dati della mia azienda, in modo affidabile? Ci sono tre strade.

Le tre leve, dalla più leggera alla più pesante

La regola pratica: si parte sempre dalle leve leggere. Prompt prima, poi RAG. Il fine-tuning solo quando le prime due non bastano.

Leva 1 — Il prompt: parlare meglio all'AI

Il prompt engineering è l'arte di formulare le istruzioni per ottenere la risposta giusta. È la leva più economica: nessun addestramento, si lavora solo sulle parole. Gran parte dei casi d'uso aziendali si risolve solo con un buon prompt (più, eventualmente, il RAG).

Le tecniche che contano:

• Esempi nel prompt (few-shot): mostri 2-3 esempi di "input → risposta giusta" e il modello generalizza.
• Ragionamento passo-passo (chain-of-thought): chiedere di "ragionare per passi" migliora i compiti complessi (calcoli, logica).
• Ruolo e regole (system prompt): assegni un ruolo stabile ("sei l'assistente commerciale di…") e le regole da seguire.

Limiti: il prompt è molto sensibile alla formulazione (piccoli cambiamenti, grandi effetti) e non aggiunge conoscenza che il modello non ha già. Per quella serve la leva 2.

Leva 2 — Il RAG: dare all'AI i tuoi documenti

Il RAG (Retrieval-Augmented Generation) è la leva-chiave per la conoscenza aziendale. Funziona in due tempi:

1. Recupera (retrieval): la domanda viene confrontata con i tuoi documenti indicizzati e ne estrae i passaggi più pertinenti.
2. Genera (generation): quei passaggi vengono aggiunti al prompt, e il modello risponde basandosi su di essi — potendo citare le fonti.

Il motore nascosto: l'embedding. Per "cercare per significato" e non per parole esatte, ogni testo viene tradotto in una lista di numeri — l'embedding — che ne cattura il senso. Concetti simili finiscono vicini, concetti diversi lontani (è il celebre "re − uomo + donna ≈ regina"). Così l'AI trova il documento giusto anche se l'utente usa parole diverse da quelle scritte nel testo. È lo stesso principio per cui cercando "fattura non pagata" il sistema recupera anche un documento che parla di "insoluto del cliente".

Il bello del RAG: aggiorni l'archivio, non il modello. Cambi un listino o una procedura? Aggiorni il documento nell'indice e l'AI risponde subito con il dato nuovo, senza riaddestrare nulla. Ed essendo le risposte ancorate alle fonti, le allucinazioni calano (anche se non si azzerano).

Leva 3 — Il fine-tuning: cambiare il "carattere" dell'AI

Il fine-tuning prende un modello già pronto e lo specializza su un insieme di esempi tuoi, modificando i suoi pesi. Risponde a una domanda diversa dal RAG: non "cosa deve sapere?" ma "come deve comportarsi, in modo stabile?".

Serve quando vuoi:

• uno stile, un tono o un formato sempre costanti;
• padronanza di un gergo molto specifico;
• accorciare i prompt lunghi che ripeti ogni volta.

Un tempo era costoso (riaddestrare tutto il modello). Oggi tecniche come LoRA / PEFT lo rendono accessibile: si addestra solo una piccola frazione dei parametri. Per un modello come GPT-3, LoRA riduce i parametri da addestrare fino a 10.000 volte, con qualità pari al riaddestramento completo.

Il trabocchetto più comune: il fine-tuning non serve a dare conoscenza aggiornata o fattuale. "Congela" ciò che ha imparato nel dataset e non lo aggiorna da solo. Se ti serve che l'AI conosca dati che cambiano — listini, clienti, normative — la leva giusta è il RAG, non il fine-tuning.

Inoltre richiede dati di qualità (e in quantità) e comporta rischi tecnici: il modello può "specializzarsi troppo" o dimenticare parte di ciò che sapeva.

E la context window? "Incollare tutto" funziona?

Una tentazione comune: "perché non incollo tutti i documenti nella chat e basta?". Si può, entro un limite. La context window è la memoria di lavoro del modello, misurata in token (pezzetti di parola): comprende tutto — istruzioni, documenti incollati, conversazione e risposta in corso. Ciò che esce dalla finestra viene dimenticato.

Incollare tutto funziona per documenti piccoli e usi occasionali, ma ha tre problemi:

• Costa: più testo incolli, più token paghi, ogni volta.
• Rallenta: finestre molto piene aumentano tempi e costi di calcolo.
• "Lost in the middle": i modelli usano meglio ciò che sta a inizio e fine finestra, e tendono a trascurare il centro.

Per questo, su archivi grandi, il RAG batte il copia-incolla: invece di dare al modello tutto, gli dà solo i pezzi pertinenti alla domanda.

RAG vs Fine-tuning a confronto diretto

Due strumenti, due domande diverse. Questa è la sintesi che conta:

Come scegliere: la regola d'oro

• Manca conoscenza (fatti, documenti, dati che cambiano) → RAG
• Manca comportamento (stile, tono, formato costante) → Fine-tuning
• Servono solo istruzioni più chiare → Prompt engineering

Parti sempre da prompt + RAG. Il fine-tuning solo quando questi non bastano. Nella pratica le leve si combinano: un buon assistente aziendale è quasi sempre prompt + RAG, con il fine-tuning aggiunto solo se serve uno stile davvero su misura.

In sintesi

• L'AI di serie non conosce la tua azienda: gliela insegni con tre leve — prompt, RAG, fine-tuning.
• Prompt engineering: la più economica, lavori solo sulle parole. È la prima cosa da provare.
• RAG = conoscenza: dà all'AI i tuoi documenti, con risposte aggiornate e citabili; aggiorni l'archivio, non il modello.
• Fine-tuning = comportamento: cambia stile e tono modificando i pesi; non è la via per la conoscenza aggiornata. LoRA lo rende economico.
• Incollare tutto nella context window funziona solo per poco testo: costa, rallenta e "perde il centro". Per gli archivi, meglio il RAG.
• Regola d'oro: RAG per ciò che l'AI deve sapere, fine-tuning per come deve comportarsi. Si parte sempre dalle leve leggere.

Fonti

• RAG: Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, 2020 — arXiv:2005.11401
• Fine-tuning efficiente (LoRA): Hu et al., LoRA: Low-Rank Adaptation of Large Language Models, 2021 — arXiv:2106.09685
• Embedding (word2vec): Mikolov et al., Efficient Estimation of Word Representations in Vector Space, 2013 — arXiv:1301.3781
• Esempi nel prompt (few-shot): Brown et al., Language Models are Few-Shot Learners (GPT-3), 2020 — arXiv:2005.14165
• Ragionamento passo-passo (chain-of-thought): Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, 2022 — arXiv:2201.11903

Materiale informativo a cura di Rayer Group. Non costituisce consulenza tecnica o legale personalizzata: per il caso concreto valutiamo insieme la situazione specifica.