Comprendere i modelli RAG: ancorare i LLM con la conoscenza del mondo reale

I Large Language Models (LLM) come GPT-4 or Gemini sono incredibilmente potenti, ma hanno alcune debolezze critiche: allucinano, non conoscono le informazioni successive alla data limite del loro addestramento e non hanno accesso ai dati del tuo dominio privato.

Per risolvere questi limiti, gli sviluppatori utilizzano la Retrieval-Augmented Generation (RAG). RAG è un framework che recupera informazioni rilevanti da un database esterno e le fornisce all’LLM per generare risposte accurate e sensibili al contesto.

Ecco una guida completa per comprendere i modelli RAG, come funzionano e perché sono essenziali per l’IA aziendale.

1. Cos’è la Retrieval-Augmented Generation (RAG)?

Al suo interno, RAG combina due processi distinti:

1. Retrieval (Recupero): Trovare documenti o frammenti di testo rilevanti da una base di conoscenza in base alla query di un utente.
2. Generation (Generazione): Fornire i documenti recuperati insieme alla query dell’utente a un LLM in modo che possa generare una risposta accurata.

Pensa a un esame a libro aperto. Invece di fare affidamento solo su ciò che l’LLM ha memorizzato durante l’addestramento (un esame a libro chiuso), il modello può consultare un libro di riferimento (la base di conoscenza) prima di rispondere.

2. La pipeline RAG passo dopo passo

Una pipeline RAG standard è composta da tre fasi principali: Ingestione, Recupero e Generazione.

Fase 1: Ingestione (Preparazione dei dati)

Prima che il sistema possa recuperare le informazioni, i dati grezzi devono essere elaborati:

• Caricamento: Vengono raccolti i documenti (PDF, Markdown, pagine Web, ecc.).
• Frammentazione (Chunking): I file di grandi dimensioni vengono divisi in frammenti di testo più piccoli e gestibili (ad esempio, 500 caratteri).
• Embedding (Incorporamento): Un modello di embedding converte questi frammenti di testo in vettori matematici densi che rappresentano il loro significato semantico.
• Memorizzazione: Queste rappresentazioni vettoriali vengono memorizzate in un database vettoriale specializzato (como Milvus, Pinecone o Qdrant).

Fase 2: Recupero (Trovare la risposta)

Quando un utente fa una domanda:

1. La query dell’utente viene convertita in un vettore utilizzando lo stesso modello di embedding.
2. Il sistema esegue una ricerca di similarità vettoriale (come la similarità del coseno) nel database vettoriale per trovare i frammenti di testo più rilevanti per la query.
3. Vengono recuperati i frammenti con la corrispondenza migliore.

Fase 3: Generazione (Sintetizzare la risposta)

1. I frammenti di testo recuperati vengono combinati con la query originale dell’utente in un modello di prompt dettagliato.
2. Questo prompt viene inviato all’LLM.
3. L’LLM legge il contesto, estrae i fatti rilevanti e genera una risposta in linguaggio naturale basata sui documenti forniti.

3. Come vengono create le incorporazioni (Embedding)

Le incorporazioni sono la spina dorsale matematica di RAG. Convertono il linguaggio umano in vettori numerici densi che catturano il significato semantico.

• Il processo di embedding:
  1. Tokenizzazione: Il frammento di testo viene suddiviso in parti più piccole chiamate token.
  2. Modello di codifica (Encoder): Un codificatore specializzato basato su Transformer (come BERT o text-embedding-3 di OpenAI) elabora i token.
  3. Vettore ad alta dimensione: Il modello restituisce un elenco di numeri (in genere 384, 768 o 1536 dimensioni). Ogni dimensione rappresenta una diversa caratteristica o concetto semantico.
• Mappatura semantica: In questo spazio vettoriale, parole o frasi con significati simili sono posizionate vicine tra loro. Ad esempio, il vettore per “gatto” sarà più vicino a “gattino” che a “auto”.
• Metriche di distanza: I database vettoriali trovano il contesto pertinente misurando la distanza tra i vettori di query e quelli del documento utilizzando formule matematiche come la similitudine del coseno (angolo tra i vettori), il prodotto scalare o la distanza euclidea.

4. Il walkthrough completo del flusso di lavoro RAG

Ecco una guida dettagliata di come una richiesta si sposta attraverso un sistema RAG:

[Query utente] ──> [Modello Embedding] ──> [Vettore Query]
                                                │
                                                ▼
[Risposta LLM] <── [LLM] <── [Prompt] <── [Ricerca nel DB Vettoriale]
                             (Contesto + Query)

1. Input utente: Un utente invia una query (ad esempio, “Qual è stato il nostro fatturato nel terzo trimestre?”).
2. Vettorizzazione della query: La query viene convertita in un vettore dal modello di embedding.
3. Ricerca nel database: Il database vettoriale confronta il vettore della query con tutti i vettori dei documenti e recupera i primi K frammenti di testo più simili.
4. Fusione del contesto: I frammenti recuperati vengono iniettati in un modello di prompt insieme alla query originale dell’utente.
5. Inferenza LLM: L’LLM legge il prompt arricchito dal contesto e genera una risposta naturale e accurata.

5. RAG vs. Fine-Tuning: Qual è il migliore?

Quando si adatta un LLM a dati personalizzati, gli sviluppatori spesso scelgono tra RAG e Fine-Tuning. Ecco come si confrontano:

6. Tecniche RAG avanzate

La RAG di base è facile da creare, ma la RAG di livello di produzione richiede tecniche avanzate per gestire query complesse:

• Riscrittura della query: Riformulare la query dell’utente per migliorare l’accuratezza della ricerca vettoriale.
• Riranking (Riassegnazione del grado): Utilizzo di un modello secondario (come un cross-encoder) per rivalutare e riordinare i documenti recuperati, assicurando che i più rilevanti siano posizionati per primi.
• Ricerca ibrida: Combinazione della ricerca per parole chiave (BM25) con la ricerca vettoriale per catturare sia le corrispondenze esatte che i significati semantici.
• Frammentazione gerarchica: Memorizzazione di piccoli frammenti per un recupero preciso, ma collegandoli a frammenti padre più grandi per fornire un contesto più ampio all’LLM.

Conclusione

RAG è completamento diventato lo standard del settore per la creazione di applicazioni IA di produzione. Ancorando gli LLM con la conoscenza del mondo reale, colma il divario tra i pesi statici dei modelli e i dati dinamici e specifici del dominio. Sia che tu stia creando un assistente wiki aziendale interno o un bot di assistenza clienti automatizzato, i modelli RAG assicurano che la tua IA rimanga accurata, aggiornata e sicura.

Esplora altri approfondimenti sull’AI nel blog di Ghaznix →