Costruire un assistente sui tuoi documenti (RAG in pratica)

In una frase

Hai visto il cosa (il RAG, nella guida "RAG vs Fine-tuning") e il dove (il vector database): questa è la ricetta — i passi concreti per trasformare i tuoi documenti in un assistente che risponde citando le tue fonti, senza ri-addestrare nessun modello.

La ricetta in 5 passi

UNA VOLTA SOLA (preparazione)
  1. RACCOGLI    i documenti (PDF, pagine, FAQ, contratti, procedure...)
  2. SPEZZA      in pezzi della giusta dimensione   (chunking)
  3. VETTORIZZA  ogni pezzo -> una lista di numeri   (embedding)
  4. INDICIZZA   i vettori in un vector database

A OGNI DOMANDA (a regime)
  5. RECUPERA i pezzi pertinenti -> li passi al modello -> risposta citabile

I primi 4 passi si fanno una volta (e si rifanno quando i documenti cambiano). Il 5° è ciò che accade a ogni domanda dell'utente.

I passi, uno per uno

1 · Raccogli e prepara

Metti insieme le fonti che l'assistente dovrà conoscere (listini, manuali, FAQ, contratti). Più sono pulite e aggiornate, meglio risponderà: è il principio del "garbage in, garbage out".

2 · Chunking — spezzare bene (il passo che fa la differenza)

I documenti vanno tagliati in pezzi (chunk): il sistema recupera pezzi, non interi file. È la leva più impattante sulla qualità.

• Troppo grandi -> recupero impreciso e rumoroso; troppo piccoli -> si perde il contesto.
• Punto di partenza tipico: ~500 token a pezzo con un po' di sovrapposizione; poi si tara sui propri dati.

3 · Embedding — dare un "significato numerico"

Ogni pezzo viene tradotto nel suo embedding: una lista di numeri che ne cattura il senso. Così testi simili finiscono "vicini" e il sistema potrà cercare per significato, non per parole esatte.

4 · Indicizza nel vector database

I vettori finiscono in un vector database, ottimizzato per trovare i più simili in millisecondi. Per partire piccolo basta poco (vedi la guida "Vector database"); si sale a soluzioni gestite solo con grandi volumi.

5 · Recupero + generazione (a ogni domanda)

La domanda dell'utente diventa anch'essa un embedding; il DB restituisce i top-k pezzi più pertinenti; questi vengono aggiunti al prompt e il modello risponde basandosi su di essi, potendo citare le fonti.

Trucco pratico: affianca alla ricerca per significato anche quella per parole chiave (ricerca ibrida) — serve a non mancare i match esatti come codici prodotto, nomi propri, sigle.

Le scelte che contano

Scelta	Per partire	Quando salire di livello
Chunking	~500 token + sovrapposizione	tara se le risposte perdono contesto
Vector database	pgvector / soluzione embedded	volumi alti -> servizio gestito
Ricerca	semantica	aggiungi le parole chiave (ibrida) per codici/nomi
Modello	un LLM via API (vedi "Dove far girare l'AI")	self-host solo se privacy/volumi lo impongono
Adattamento	prompt + RAG bastano	fine-tuning solo per lo stile, non per la conoscenza

Gli errori da evitare

• Recupero scadente = risposte scadenti. Se il sistema pesca i pezzi sbagliati, il modello sbaglia: la qualità del RAG è soprattutto qualità del recupero.
• Non "incollare tutto" nel prompt invece di recuperare: costa, rallenta e soffre del "lost in the middle" (il modello trascura ciò che sta in mezzo).
• Il RAG riduce ma non azzera le allucinazioni: tieni le citazioni visibili e l'occhio umano sulle risposte critiche.
• Attenzione ai dati: se i documenti contengono dati personali, valgono GDPR e buon senso (vedi "AI Act e AI responsabile").

Per una PMI: come partire

• Non ti serve il fine-tuning: per la stragrande maggioranza dei casi bastano prompt + RAG.
• Parti piccolo: pochi documenti, un vector database leggero, un LLM via API.
• Misura prima di estendere: prepara un set di domande di test e controlla che le risposte non peggiorino a ogni modifica (vedi "Mettere l'AI in produzione").

In sintesi

• RAG in pratica = 5 passi: raccogli -> chunking -> embedding -> indicizza, e a ogni domanda recupera + genera con le fonti.
• Il chunking e la qualità del recupero sono la leva n° 1.
• Parti semplice (vector DB leggero + LLM via API), aggiungi la ricerca ibrida per i match esatti, e misura con un set di domande di test.
• Cita sempre le fonti; l'occhio umano resta sulle risposte che contano.

Fonti

• RAG: Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, 2020 — arXiv:2005.11401
• Recupero per significato (Dense Retrieval): Karpukhin et al., Dense Passage Retrieval for Open-Domain QA, 2020 — arXiv:2004.04906
• Embedding (word2vec): Mikolov et al., Efficient Estimation of Word Representations in Vector Space, 2013 — arXiv:1301.3781
• Indici per la ricerca veloce (HNSW): Malkov & Yashunin, Approximate Nearest Neighbor Search using HNSW graphs, 2016 — arXiv:1603.09320

Materiale informativo a cura di Rayer Group. Non costituisce consulenza tecnica o legale personalizzata: per il caso concreto valutiamo insieme la situazione specifica.