Named Entity Recognition (NER): dalla NLP classica all'estrazione potenziata dall'IA

Il Named Entity Recognition (NER) è una pietra miliare del Natural Language Processing (NLP). È il processo di identificazione e classificazione automatica di elementi chiave in un testo non strutturato in categorie predefinite, come nomi di persone, organizzazioni, luoghi, date, valori monetari e nomi di prodotti.

Senza il NER, i motori di ricerca, i motori di raccomandazione e i sistemi di analisi automatizzata dei documenti farebbero fatica a capire chi, cosa, dove e quando all’interno di un testo.

Ecco una guida completa per comprendere il NER, come si è evoluta la tecnologia e perché l’IA generativa moderna ha completamente trasformato l’estrazione delle entità.

1. L’evoluzione delle tecniche NER

Per capire perché il NER basato sull’IA sia così rivoluzionario, dobbiamo guardare a come si è evoluta l’estrazione delle entità negli ultimi decenni.

Fase 1: Sistemi basati su regole e dizionari

Il NER iniziale si basava su espressioni regolari (regex) e dizionari curati (gazetteer).

• Come funzionava: Se una parola era presente in un database di luoghi o corrispondeva a un pattern come [3 cifre]-[3 cifre]-[4 cifre] (numero di telefono), veniva estratta.
• Limitazioni: Altamente fragile. Non era in grado di catturare parole con errori di ortografia, nuove entità o gestire il contesto. Ad esempio, non poteva distinguere se “Apple” si riferisse al frutto o all’azienda tecnologica.

Fase 2: Machine Learning classico (CRF & SVM)

Negli anni 2000, i modelli di machine learning statistico come i Conditional Random Fields (CRF) e le Support Vector Machines (SVM) sono diventati lo standard.

• Come funzionava: Gli ingegneri progettavano manualmente le caratteristiche (es. prefisso, suffisso, pattern di capitalizzazione) e addestravano i modelli su dati etichettati per prevedere la probabilità che un token facesse parte di un’entità.
• Limitazioni: Richiedeva enormi dataset etichettati e una noiosa progettazione manuale delle feature.

Fase 3: Deep Learning (BiLSTM-CRF & BERT)

Con l’avvento del deep learning, le reti bidirezionali long short-term memory (BiLSTM) abbinate ai CRF, e successivamente i modelli Transformer come BERT, hanno rivoluzionato l’NLP.

• Come funzionava: Gli embedding delle parole catturavano il significato semantico e le reti neurali profonde comprendevano il contesto. I modelli basati su BERT potevano identificare “Apple” come organizzazione in “Apple ha lanciato un nuovo iPhone” in base al contesto circostante.
• Limitazioni: Richiedeva ancora un fine-tuning supervisionato su dataset specifici del dominio e mancava della flessibilità necessaria per estrarre nuove categorie non definite senza un nuovo addestramento.

Fase 4: IA generativa e NER basato su LLM

Oggi, i Large Language Models (LLM) come Gemini, GPT-4 e Llama 3 gestiscono il NER utilizzando la comprensione semantica e il comportamento basato su istruzioni.

• Come funziona: Utilizzando il prompting Zero-shot o Few-shot, un utente può istruire un LLM a estrarre qualsiasi tipo di entità arbitraria e restituirlo in un formato strutturato (come JSON).
• Perché vince: Comprende la sintassi complessa, gestisce gli errori di ortografia, ragiona attraverso contesti ambigui e non richiede dati di addestramento iniziali.

2. Confronto tra NER basato su IA e NER classico

3. Applicazioni chiave del NER basato su IA

La Named Entity Recognition basata su IA va oltre la semplice evidenziazione del testo. Trasformando il testo non strutturato in dati JSON strutturati e pronti all’uso, consente una potente automazione:

Parsing dei documenti ed estrazione delle informazioni

Le aziende elaborano quotidianamente migliaia di fatture, curriculum, contratti e proposte (RFP). Il NER basato su IA può estrarre:

• Fatture: Partita IVA, voci di spesa, importi totali, indirizzi di fatturazione.
• Curriculum: Nomi dei candidati, anni di esperienza, competenze specifiche, università.
• Contratti: Date di scadenza, limiti di responsabilità, leggi applicabili, nomi dei firmatari.

Costruzione di grafi della conoscenza

Estraendo le entità e le relazioni tra di esse (es. [Jennifer Lee] -> [lavora presso] -> [Acme Innovations]), il NER basato su IA funge da motore di ingestion fondamentale per i grafi della conoscenza (Knowledge Graphs), che vengono sempre più abbinati a GraphRAG per ricerche aziendali avanzate.

RAG potenziato e tagging dei metadati

Nei sistemi di Retrieval-Augmented Generation (RAG), l’indicizzazione dei documenti con tag di metadati (come autore, versione del prodotto, paese e tecnologia) migliora significativamente l’accuratezza del recupero. Il NER basato su IA genera automaticamente questi tag su scala durante l’importazione dei documenti.

NLP clinico e medico

Le strutture sanitarie utilizzano il NER per estrarre sintomi dei pazienti, dosaggi dei farmaci, storie mediche e diagnosi dalle note dei medici, oscurando automaticamente le informazioni sanitarie personali (PHI) per rispettare le normative sulla privacy.

4. Come funziona il NER basato su IA (Il flusso di lavoro)

Il moderno NER basato su IA si basa sul fornire istruzioni di sistema a un LLM e definire uno schema di destinazione per imporre output strutturati.

[Testo non strutturato] ──> [LLM + Istruzioni di sistema + Schema JSON] ──> [Output JSON strutturato]

1. Testo di input: Il testo grezzo da elaborare.
2. Prompt di sistema e schema: Definiamo le entità che vogliamo estrarre (es. Nome, Azienda, Data) e il formato esatto di cui abbiamo bisogno (es. JSON).
3. Estrazione LLM: Il modello esegue l’analisi semantica, identifica le entità, risolve le ambiguità e formatta l’output.
4. JSON strutturato: L’output è pronto per essere memorizzato direttamente in un database o passato a un’API.

5. Esempio di implementazione: NER basato su IA in Python

Ecco un semplice esempio in Python su come eseguire il NER basato su IA utilizzando schemi di output JSON strutturati:

import json
from google import genai
from google.genai import types
from pydantic import BaseModel

# Inizializza il client Gemini
client = genai.Client()

# Definisci la struttura di destinazione usando Pydantic
class EntityExtraction(BaseModel):
    people: list[str]
    organizations: list[str]
    locations: list[str]
    dates: list[str]

text_content = """
Il 14 marzo 2024, Jennifer Lee è stata nominata nuova VP of Engineering presso 
Acme Innovations Inc., con sede a Kyoto, Giappone. Succederà a David Miller.
"""

# Richiedi output strutturato a Gemini
response = client.models.generate_content(
    model='gemini-2.5-flash',
    contents=text_content,
    config=types.GenerateContentConfig(
        system_instruction="Estrai tutte le persone, le organizzazioni, i luoghi e le date dal testo.",
        response_mime_type="application/json",
        response_schema=EntityExtraction,
    ),
)

# Analizza e stampa il risultato JSON pulito
entities = json.loads(response.text)
print(json.dumps(entities, indent=2))

Output:

{
  "people": ["Jennifer Lee", "David Miller"],
  "organizations": ["Acme Innovations Inc."],
  "locations": ["Kyoto", "Giappone"],
  "dates": ["14 marzo 2024"]
}

Conclusione

La Named Entity Recognition si è evoluta dalle ricerche statiche nei dizionari a una capacità semantica dinamica alimentata dall’IA. Oggi le organizzazioni possono estrarre entità complesse e specifiche del settore da documenti disordinati senza dati di addestramento. Integrando il NER basato su IA nei tuoi flussi di lavoro, puoi trasformare file di testo non strutturati in voci di database strutturate, sbloccando nuovi livelli di automazione e business intelligence.

Esplora altri approfondimenti sull’AI nel blog di Ghaznix →