RAG-Modelle verstehen: LLMs mit realem Wissen verankern

Große Sprachmodelle (LLMs) wie GPT-4 oder Gemini sind unglaublich leistungsfähig, haben aber einige kritische Schwachstellen: Sie halluzinieren, sie kennen keine Informationen nach dem Ende ihres Trainingszeitraums und sie haben keinen Zugriff auf Ihre privaten Domaindaten.

Um diese Einschränkungen zu lösen, verwenden Entwickler Retrieval-Augmented Generation (RAG). RAG ist ein Framework, das relevante Informationen aus einer externen Datenbank abruft und sie dem LLM zur Verfügung stellt, um genaue, kontextbezogene Antworten zu generieren.

Hier ist ein umfassender Leitfaden zum Verständnis von RAG-Modellen, wie sie funktionieren und warum sie für KI in Unternehmen unverzichtbar sind.

1. Was ist Retrieval-Augmented Generation (RAG)?

Im Kern kombiniert RAG zwei verschiedene Prozesse:

1. Retrieval (Abruf): Finden relevanter Dokumente oder Textabschnitte aus einer Wissensdatenbank basierend auf der Anfrage eines Benutzers.
2. Generation (Generierung): Einspeisen der abgerufenen Dokumente zusammen mit der Benutzeranfrage in ein LLM, damit dieses eine präzise Antwort generieren kann.

Denken Sie an eine Prüfung mit offenem Buch. Anstatt sich nur auf das zu verlassen, was das LLM während des Trainings gelernt hat (eine Prüfung mit geschlossenem Buch), darf das Modell ein Referenzbuch (die Wissensdatenbank) durchsuchen, bevor es antwortet.

2. Die RAG-Pipeline Schritt für Schritt

Eine Standard-RAG-Pipeline besteht aus drei Hauptphasen: Datenaufbereitung (Ingestion), Abruf (Retrieval) und Generierung (Generation).

Phase 1: Ingestion (Datenaufbereitung)

Bevor das System Informationen abrufen kann, müssen die Rohdaten verarbeitet werden:

• Laden: Dokumente (PDFs, Markdown, Webseiten usw.) werden gesammelt.
• Chunking (Aufteilung): Große Dateien werden in kleinere, handhabbare Textabschnitte (z. B. 500 Zeichen) unterteilt.
• Embedding (Einbettung): Ein Einbettungsmodell wandelt diese Textabschnitte in dichte mathematische Vektoren um, die ihre semantische Bedeutung repräsentieren.
• Speicherung: Diese Vektordarstellungen werden in einer spezialisierten Vektordatenbank (wie Milvus, Pinecone oder Qdrant) gespeichert.

Phase 2: Retrieval (Abruf der Antwort)

Wenn ein Benutzer eine Frage stellt:

1. Die Benutzeranfrage wird mit demselben Einbettungsmodell in einen Vektor umgewandelt.
2. Das System führt eine Vektorähnlichkeitssuche (wie die Kosinus-Ähnlichkeit) in der Vektordatenbank durch, um die für die Anfrage relevantesten Textabschnitte zu finden.
3. Die am besten passenden Abschnitte werden abgerufen.

Phase 3: Generation (Erstellung der Antwort)

1. Die abgerufenen Textabschnitte werden mit der ursprünglichen Benutzeranfrage in einer detaillierten Prompt-Vorlage kombiniert.
2. Dieser Prompt wird an das LLM gesendet.
3. Das LLM liest den Kontext, extrahiert die relevanten Fakten und generiert eine natürlichsprachliche Antwort, die auf den bereitgestellten Dokumenten basiert.

3. Wie Einbettungen (Embeddings) erstellt werden

Einbettungen sind das mathematische Rückgrat von RAG. Sie wandeln die menschliche Sprache in dichte numerische Vektoren um, die die semantische Bedeutung erfassen.

• Der Einbettungsprozess:
  1. Tokenisierung: Der Textabschnitt wird in kleinere Teile, sogenannte Tokens, zerlegt.
  2. Encoder-Modell: Ein spezialisierter Transformer-basierter Encoder (wie BERT oder text-embedding-3 von OpenAI) verarbeitet die Tokens.
  3. Hochdimensionaler Vektor: Das Modell gibt eine Liste von Zahlen aus (normalerweise 384, 768 oder 1536 Dimensionen). Jede Dimension repräsentiert ein anderes semantisches Merkmal oder Konzept.
• Semantische Zuordnung: In diesem Vektorraum sind Wörter oder Phrasen mit ähnlicher Bedeutung nahe beieinander positioniert. Beispielsweise liegt der Vektor für „Katze“ näher an „Kätzchen“ als an „Auto“.
• Distanzmetriken: Vektordatenbanken finden relevanten Kontext, indem sie den Abstand zwischen Anfrage- und Dokumentvektoren mit mathematischen Formeln wie Kosinus-Ähnlichkeit (Winkel zwischen Vektoren), Skalarprodukt oder Euklidischer Distanz messen.

4. Der komplette RAG-Workflow-Walkthrough

Hier ist ein Schritt-für-Schritt-Durchlauf, wie sich eine Anfrage durch ein RAG-System bewegt:

[Benutzeranfrage] ──> [Embedding-Modell] ──> [Abfragevektor]
                                                  │
                                                  ▼
[LLM-Antwort] <── [LLM] <── [Prompt] <── [Vektor-DB-Suche]
                            (Kontext + Anfrage)

1. Benutzereingabe: Ein Benutzer sendet eine Anfrage (z. B. „Wie hoch war unser Umsatz im dritten Quartal?“).
2. Abfrage-Vektorisierung: Die Anfrage wird vom Einbettungsmodell in einen Vektor umgewandelt.
3. Datenbanksuche: Die Vektordatenbank vergleicht den Abfragevektor mit allen Dokumentvektoren und ruft die Top-K am nächsten übereinstimmenden Textabschnitte ab.
4. Kontext-Fusion: Die abgerufenen Abschnitte werden zusammen mit der ursprünglichen Benutzeranfrage in eine Prompt-Vorlage eingefügt.
5. LLM-Inferenz: Das LLM liest den mit Kontext angereicherten Prompt und generiert eine natürliche, sachlich korrekte Antwort.

5. RAG vs. Fine-Tuning: Was ist besser?

Bei der Anpassung eines LLM an benutzerdefinierte Daten wählen Entwickler oft zwischen RAG und Fine-Tuning. Hier ist der Vergleich:

6. Fortgeschrittene RAG-Techniken

Ein einfaches RAG-System ist leicht aufzubauen, aber professionelle RAG-Systeme erfordern fortgeschrittene Techniken für komplexe Anfragen:

• Query Rewriting (Anfrage-Umschreibung): Umformulierung der Benutzeranfrage, um die Genauigkeit der Vektorsuche zu verbessern.
• Re-ranking (Neuordnung): Verwendung eines sekundären Modells (wie eines Cross-Encoders), um die abgerufenen Dokumente neu zu bewerten und zu ordnen, damit die relevantesten ganz oben stehen.
• Hybrid Search (Hybride Suche): Kombination aus Stichwortsuche (BM25) und Vektorsuche, um sowohl exakte Übereinstimmungen als auch semantische Bedeutungen zu erfassen.
• Hierarchical Chunking (Hierarchische Aufteilung): Speichern kleiner Abschnitte für präzisen Abruf, die jedoch mit größeren Eltern-Abschnitten verknüpft sind, um dem LLM einen breiteren Kontext zu bieten.

Fazit

RAG hat sich als Industriestandard für den Aufbau von produktiven KI-Anwendungen etabliert. Durch die Verankerung von LLMs mit realem Wissen schließt es die Lücke zwischen statischen Modellgewichten und dynamischen, domänenspezifischen Daten. Egal, ob Sie einen internen Firmenwiki-Assistenten oder einen automatisierten Kundensupport-Bot erstellen – RAG-Modelle sorgen dafür, dass Ihre KI präzise, aktuell und sicher bleibt.

Erkunden Sie weitere KI-Einblicke im Ghaznix-Blog →