Eigennamenerkennung (NER): Von der klassischen NLP zur KI-gestützten Extraktion

Die Eigennamenerkennung (Named Entity Recognition, kurz NER) ist ein Eckpfeiler der natürlichen Sprachverarbeitung (Natural Language Processing, NLP). Es handelt sich dabei um den Prozess, bei dem wichtige Elemente in unstrukturiertem Text automatisch identifiziert und in vordefinierte Kategorien eingeteilt werden – wie etwa Personennamen, Organisationen, Orte, Daten, Geldbeträge und Produktnamen.

Ohne NER würden Suchmaschinen, Empfehlungsdienste und automatisierte Dokumentenanalysesysteme Schwierigkeiten haben zu verstehen, wer, was, wo und wann in einem Text gemeint ist.

Hier ist ein umfassender Leitfaden zum Verständnis von NER, wie sich die Technologie entwickelt hat und warum die moderne generative KI die Entitätsextraktion komplett revolutioniert hat.

1. Die Entwicklung der NER-Techniken

Um zu verstehen, warum die KI-basierte NER so revolutionär ist, müssen wir uns ansehen, wie sich die Entitätsextraktion in den letzten Jahrzehnten entwickelt hat.

Phase 1: Regelbasierte und wörterbuchbasierte Systeme

Die frühe NER beruhte auf regulären Ausdrücken (Regex) und kuratierten Wörterbüchern (Gazetteers).

• Funktionsweise: Wenn ein Wort in einer Datenbank von Orten vorkam oder einem Muster wie [3 Ziffern]-[3 Ziffern]-[4 Ziffern] (Telefonnummer) entsprach, wurde es extrahiert.
• Einschränkungen: Äußerst fehleranfällig. Es konnte keine falsch geschriebenen Wörter, neue Entitäten oder Kontext erfassen. Beispielsweise konnte es nicht unterscheiden, ob sich „Apple“ auf die Frucht oder das Technologieunternehmen bezog.

Phase 2: Klassisches maschinelles Lernen (CRF & SVM)

In den 2000er Jahren wurden statistische Modelle des maschinellen Lernens wie Conditional Random Fields (CRFs) und Support Vector Machines (SVMs) zum Standard.

• Funktionsweise: Ingenieure erstellten manuelle Merkmale (z. B. Präfixe, Suffixe, Groß- und Kleinschreibungsmuster) und trainierten Modelle auf annotierten Daten, um die Wahrscheinlichkeit vorherzusagen, dass ein Token Teil einer Entität ist.
• Einschränkungen: Erforderte riesige annotierte Datensätze und eine mühsame manuelle Merkmalsentwicklung.

Phase 3: Deep Learning (BiLSTM-CRF & BERT)

Mit dem Aufkommen von Deep Learning revolutionierten bidirektionale Long Short-Term Memory-Netzwerke (BiLSTM) in Kombination mit CRFs und später Transformer-Modelle wie BERT die NLP.

• Funktionsweise: Wort-Embeddings erfassten die semantische Bedeutung, und tiefe neuronale Netze verstanden den Kontext. BERT-basierte Modelle konnten „Apple“ in „Apple hat ein neues iPhone auf den Markt gebracht“ anhand des umgebenden Kontextes als Organisation identifizieren.
• Einschränkungen: Erforderte immer noch überwachtes Fine-Tuning auf domänenspezifischen Datensätzen und bot nicht die Flexibilität, neue, undefinierte Kategorien ohne erneutes Training zu extrahieren.

Phase 4: Generative KI und LLM-basiertes NER

Heute bewältigen große Sprachmodelle (LLMs) wie Gemini, GPT-4 und Llama 3 die NER mithilfe von semantischem Verständnis und dem Befolgen von Anweisungen.

• Funktionsweise: Mithilfe von Zero-Shot- oder Few-Shot-Prompting kann ein Benutzer ein LLM anweisen, jeden beliebigen Entitätstyp zu extrahieren und in einem strukturierten Format (wie JSON) zurückzugeben.
• Warum es gewinnt: Es versteht komplexe Syntax, korrigiert Rechtschreibfehler, löst mehrdeutige Kontexte auf und benötigt keine Trainingsdaten für den Start.

2. Vergleich: KI-basiertes NER vs. Klassisches NER

3. Hauptanwendungen von KI-basiertem NER

KI-basierte Eigennamenerkennung geht über das einfache Hervorheben von Text hinaus. Durch die Umwandlung von unstrukturiertem Text in strukturierte, nutzbare JSON-Daten ermöglicht sie eine leistungsstarke Automatisierung:

Dokumentenanalyse & Informationsextraktion

Unternehmen verarbeiten täglich Tausende von Rechnungen, Lebensläufen, Verträgen und Ausschreibungen. KI-basiertes NER kann Folgendes extrahieren:

• Rechnungen: Steuernummern, Einzelposten, Gesamtbeträge, Rechnungsadressen.
• Lebensläufe: Kandidatennamen, Jahre an Erfahrung, spezifische Fähigkeiten, Universitäten.
• Verträge: Kündigungsfristen, Haftungsgrenzen, geltendes Recht, Namen der Unterzeichner.

Aufbau von Wissensgraphen

Durch das Extrahieren von Entitäten und den Beziehungen zwischen ihnen (z. B. [Jennifer Lee] -> [arbeitet bei] -> [Acme Innovations]) dient KI-basiertes NER als grundlegende Ingestions-Engine für Wissensgraphen (Knowledge Graphs), die zunehmend mit GraphRAG für fortgeschrittene Unternehmenssuchen kombiniert werden.

Erweitertes RAG & Metadaten-Tagging

In RAG-Systemen (Retrieval-Augmented Generation) verbessert die Indexierung von Dokumenten mit Metadaten-Tags (wie Autor, Produktversion, Land und Technologie) die Abrufgenauigkeit erheblich. KI-basiertes NER generiert diese Tags automatisch im großen Stil während der Dokumentenverarbeitung.

Klinische & Medizinische NLP

Gesundheitsdienstleister nutzen NER, um Patientensymptome, Dosierungen von Medikamenten, Krankengeschichten und Diagnosen aus ärztlichen Notizen zu extrahieren, während persönliche Gesundheitsdaten (PHI) automatisch geschwärzt werden, um Datenschutzbestimmungen einzuhalten.

4. Funktionsweise von KI-basiertem NER (Der Workflow)

Modernes KI-basiertes NER basiert auf dem Prompting eines LLMs mit einer Systemanweisung und einem Zielschema, um strukturierte Ausgaben zu erzwingen.

[Unstrukturierter Text] ──> [LLM + Systemanweisungen + JSON-Schema] ──> [Strukturierte JSON-Ausgabe]

1. Eingabetext: Der zu verarbeitende Rohtext.
2. System-Prompt & Schema: Wir definieren die zu extrahierenden Entitäten (z. B. Name, Unternehmen, Datum) und das genaue Format, das wir benötigen (z. B. JSON).
3. LLM-Extraktion: Das Modell führt eine semantische Analyse durch, identifiziert die Entitäten, löst Mehrdeutigkeiten auf und formatiert die Ausgabe.
4. Strukturiertes JSON: Die Ausgabe kann direkt in einer Datenbank gespeichert oder an eine API übergeben werden.

5. Implementierungsbeispiel: KI-basiertes NER in Python

Hier ist ein einfaches Python-Beispiel für die Durchführung von KI-basiertem NER unter Verwendung strukturierter JSON-Ausgabeschemata:

import json
from google import genai
from google.genai import types
from pydantic import BaseModel

# Gemini-Client initialisieren
client = genai.Client()

# Zielstruktur mit Pydantic definieren
class EntityExtraction(BaseModel):
    people: list[str]
    organizations: list[str]
    locations: list[str]
    dates: list[str]

text_content = """
Am 14. März 2024 wurde Jennifer Lee zur neuen VP of Engineering bei 
Acme Innovations Inc. mit Sitz in Kyoto, Japan, ernannt. Sie wird die Nachfolge von David Miller antreten.
"""

# Strukturierte Ausgabe von Gemini anfordern
response = client.models.generate_content(
    model='gemini-2.5-flash',
    contents=text_content,
    config=types.GenerateContentConfig(
        system_instruction="Extrahiere alle Personen, Organisationen, Orte und Daten aus dem Text.",
        response_mime_type="application/json",
        response_schema=EntityExtraction,
    ),
)

# Sauberes JSON-Ergebnis parsen und drucken
entities = json.loads(response.text)
print(json.dumps(entities, indent=2))

Ausgabe:

{
  "people": ["Jennifer Lee", "David Miller"],
  "organizations": ["Acme Innovations Inc."],
  "locations": ["Kyoto", "Japan"],
  "dates": ["14. März 2024"]
}

Fazit

Die Eigennamenerkennung hat sich von statischen Wörterbuchabfragen zu einer dynamischen, semantischen Fähigkeit entwickelt, die durch KI gestützt wird. Heute können Unternehmen komplexe domänenspezifische Entitäten aus unübersichtlichen Dokumenten ohne Trainingsdaten extrahieren. Indem Sie KI-basiertes NER in Ihre Workflows integrieren, können Sie unstrukturierte Textdateien in strukturierte Datenbankeinträge verwandeln und so neue Ebenen der Automatisierung und Business Intelligence erschließen.

Erkunden Sie weitere KI-Einblicke im Ghaznix-Blog →