Belirli Varlık Tanıma (NER): Klasik NLP'den Yapay Zeka Tabanlı Çıkarıma
Belirli Varlık Tanıma (Named Entity Recognition - NER), Doğal Dil İşleme (NLP) alanının temel yapı taşlarından biridir. Yapılandırılmamış metinlerde yer alan kişi adları, kuruluşlar, konumlar, tarihler, para birimleri ve ürün adları gibi önceden tanımlanmış anahtar ögelerin otomatik olarak tespit edilmesi ve sınıflandırılması sürecidir.
NER olmasaydı arama motorları, öneri sistemleri ve otomatik belge analiz yazılımları metin içerisindeki ‘kim, ne, nerede ve ne zaman’ sorularına yanıt bulmakta büyük zorluk çekerdi.
Bu kapsamlı rehberde NER kavramını, bu teknolojinin nasıl evrildiğini ve modern üretken yapay zekanın varlık çıkarım süreçlerini nasıl tamamen değiştirdiğini inceleyeceğiz.
1. NER Tekniklerinin Evrimi
Yapay zeka tabanlı NER’in neden bu kadar devrimsel olduğunu anlamak için varlık çıkarımının son birkaç on yılda nasıl bir dönüşüm geçirdiğine bakmamız gerekir.
1. Aşama: Kural ve Sözlük Tabanlı Sistemler
İlk dönem NER çalışmaları, düzenli ifadelere (regex) ve önceden hazırlanmış isim sözlüklerine (gazetteers) dayanıyordu.
- Nasıl çalışıyordu: Eğer bir kelime konum veritabanında yer alıyorsa veya
[3 haneli]-[3 haneli]-[4 haneli](telefon numarası) gibi bir kalıba uyuyorsa çıkarılıyordu. - Sınırları: Çok kırılgandı. Yazım hatalarını, yeni kavramları veya bağlamı algılayamıyordu. Örneğin, “Apple” kelimesinin bir meyveden mi yoksa teknoloji şirketinden mi bahsettiğini ayırt edemiyordu.
2. Aşama: Klasik Makine Öğrenmesi (CRF ve SVM)
2000’li yıllarda, Koşullu Rastgele Alanlar (CRF) ve Destek Vektör Makineleri (SVM) gibi istatistiksel makine öğrenmesi modelleri standart haline geldi.
- Nasıl çalışıyordu: Mühendisler önek, sonek ve büyük harf kullanımı gibi özellikleri manuel olarak tanımlar ve bir kelimenin belirli bir varlığın parçası olma olasılığını tahmin etmek için etiketlenmiş veriler üzerinde modeller eğitirdi.
- Sınırları: Muazzam miktarda etiketlenmiş veri seti ve zahmetli manuel özellik mühendisliği gerektiriyordu.
3. Aşama: Derin Öğrenme (BiLSTM-CRF ve BERT)
Derin öğrenmenin yükselişiyle birlikte, CRF’ler ile eşleştirilmiş çift yönlü uzun kısa vadeli bellek (BiLSTM) ağları ve daha sonra BERT gibi Transformer modelleri NLP’de devrim yarattı.
- Nasıl çalışıyordu: Kelime gömmeleri (word embeddings) anlamsal manayı yakalıyor, derin sinir ağları ise bağlamı anlıyordu. BERT tabanlı modeller, “Apple yeni bir iPhone tanıttı” cümlesindeki “Apple” kelimesini etraftaki kelimelerden yola çıkarak bir kuruluş olarak tanımlayabiliyordu.
- Sınırları: Halen alana özel veri setlerinde denetimli ince ayar (fine-tuning) gerektiriyordu ve yeniden eğitim almadan yeni, tanımlanmamış kategorileri çıkarabilecek esnekliğe sahip değildi.
4. Aşama: Üretken Yapay Zeka ve LLM Tabanlı NER
Günümüzde Gemini, GPT-4 ve Llama 3 gibi Büyük Dil Modelleri (LLM’ler), anlamsal anlama ve talimat takip etme yeteneklerini kullanarak NER işlemlerini yürütmektedir.
- Nasıl çalışıyor: Sıfır örnekli (Zero-shot) veya birkaç örnekli (Few-shot) yönlendirmelerle (prompting), bir kullanıcı LLM’e herhangi bir varlık türünü çıkarmasını ve bunu JSON gibi yapılandırılmış bir formatta vermesini söyleyebilir.
- Neden kazanıyor: Karmaşık sözdizimini anlar, yazım hatalarını tolere eder, belirsiz bağlamları çözümler ve başlamak için hiçbir eğitim verisine ihtiyaç duymaz.
2. Yapay Zeka Tabanlı NER ve Klasik NER Karşılaştırması
| Özellik | Klasik NER (BERT / CRF) | Yapay Zeka Tabanlı NER (LLM’ler) |
|---|---|---|
| Gerekli Eğitim Verisi | Yüksek (Binlerce etiketli örnek) | Sıfır ila Çok Düşük (Zero-shot / Few-shot) |
| Esneklik | Katı (Sadece önceden eğitilmiş kategorileri çıkarır) | Son Derece Yüksek (Prompt içinde herhangi bir varlığı tanımlayın) |
| Bağlam Anlayışı | Orta (Yerel bağlam penceresi) | Derin (Belgenin genel bağlamını ve amacını anlar) |
| Kelime Dağarcığı Dışı (OOV) Kelimeler | Zayıf (Görülmeyen kelimelerde zorlanır) | Mükemmel (Anlamsal akıl yürütme kullanır) |
| Çalışma Gecikmesi ve Maliyet | Hızlı ve Ucuz (Küçük CPU/GPU’larda yerel çalışır) | Daha Yavaş ve Yüksek Maliyetli (Büyük model çıkarımı gerektirir) |
3. Yapay Zeka Tabanlı NER’in Temel Uygulamaları
Yapay zeka tabanlı Belirli Varlık Tanıma, basit bir metin vurgulamanın çok ötesine geçer. Yapılandırılmamış metinleri yapılandırılmış, doğrudan kullanılabilir JSON verilerine dönüştürerek güçlü bir otomasyon sağlar:
Belge Analizi ve Bilgi Çıkarımı
İşletmeler her gün binlerce fatura, özgeçmiş, sözleşme ve teklif talebi (RFP) işler. Yapay zeka tabanlı NER şunları çıkarabilir:
- Faturalar: Vergi numaraları, kalemler, toplam tutarlar, fatura adresleri.
- Özgeçmişler: Aday isimleri, deneyim yılları, belirli beceriler, mezun olunan üniversiteler.
- Sözleşmeler: Fesih tarihleri, sorumluluk sınırları, geçerli kanunlar, imzacı isimleri.
Bilgi Grafiği Oluşturma
Varlıkları ve aralarındaki ilişkileri (örneğin, [Jennifer Lee] -> [çalışıyor] -> [Acme Innovations]) çıkararak, yapay zeka tabanlı NER, gelişmiş kurumsal aramalar için GraphRAG ile giderek daha fazla eşleştirilen Bilgi Grafikleri (Knowledge Graphs) için temel veri aktarım motoru görevi görür.
Gelişmiş RAG ve Meta Veri Etiketleme
Retrieval-Augmented Generation (RAG) sistemlerinde, belgelerin meta veri etiketleriyle (yazar, ürün sürümü, ülke ve teknoloji gibi) dizine eklenmesi, erişim doğruluğunu önemli ölçüde artırır. Yapay zeka tabanlı NER, belge aktarımı sırasında bu etiketleri otomatik olarak ölçekli bir şekilde oluşturur.
Klinik ve Tıbbi NLP
Sağlık kuruluşları; doktor notlarından hasta semptomlarını, ilaç dozajlarını, tıbbi geçmişleri ve teşhisleri NER kullanarak çıkarırken, gizlilik yönetmeliklerine uymak için Kişisel Sağlık Bilgilerini (PHI) otomatik olarak maskeler.
4. Yapay Zeka Tabanlı NER Nasıl Çalışır? (İş Akışı)
Modern yapay zeka tabanlı NER, yapılandırılmış çıktılar elde etmek için bir LLM’i sistem talimatı ve bir hedef şema ile yönlendirmeye dayanır.
[Yapılandırılmamış Metin] ──> [LLM + Sistem Talimatları + JSON Şeması] ──> [Yapılandırılmış JSON Çıktısı]
- Giriş Metni: İşlenecek ham metin.
- Sistem Yönlendirmesi ve Şema: Çıkarmak istediğimiz varlıkları (örneğin İsim, Şirket, Tarih) ve ihtiyacımız olan tam formatı (JSON gibi) tanımlarız.
- LLM Çıkarımı: Model anlamsal analiz gerçekleştirir, varlıkları belirler, belirsizlikleri çözer ve çıktıyı biçimlendirir.
- Yapılandırılmış JSON: Çıktı, doğrudan bir veritabanına kaydedilmeye veya bir API’ye aktarılmaya hazır hale gelir.
5. Uygulama Örneği: Python ile Yapay Zeka Tabanlı NER
İşte yapılandırılmış JSON çıktı şemalarını kullanarak yapay zeka tabanlı NER’in nasıl gerçekleştirileceğine dair basit bir Python örneği:
import json
from google import genai
from google.genai import types
from pydantic import BaseModel
# Gemini istemcisini başlatın
client = genai.Client()
# Pydantic kullanarak hedef yapıyı tanımlayın
class EntityExtraction(BaseModel):
people: list[str]
organizations: list[str]
locations: list[str]
dates: list[str]
text_content = """
14 Mart 2024 tarihinde Jennifer Lee, Japonya'nın Kyoto kentinde bulunan
Acme Innovations Inc. şirketinin yeni Mühendislikten Sorumlu Başkan Yardımcısı (VP) olarak atandı. Kendisi David Miller'ın yerini alacak.
"""
# Gemini'den yapılandırılmış çıktı talep edin
response = client.models.generate_content(
model='gemini-2.5-flash',
contents=text_content,
config=types.GenerateContentConfig(
system_instruction="Metindeki tüm kişileri, kuruluşları, konumları ve tarihleri çıkarın.",
response_mime_type="application/json",
response_schema=EntityExtraction,
),
)
# Temiz JSON sonucunu ayrıştırın ve yazdırın
entities = json.loads(response.text)
print(json.dumps(entities, indent=2))
Çıktı:
{
"people": ["Jennifer Lee", "David Miller"],
"organizations": ["Acme Innovations Inc."],
"locations": ["Kyoto", "Japonya"],
"dates": ["14 Mart 2024"]
}
Sonuç
Belirli Varlık Tanıma, statik sözlük aramalarından yapay zeka ile güçlendirilmiş dinamik, anlamsal bir yeteneğe dönüştü. Günümüzde kuruluşlar, karmaşık belgelerden alana özgü varlıkları hiçbir eğitim verisi olmadan çıkarabilmektedir. Yapay zeka tabanlı NER’i iş akışlarınıza entegre ederek yapılandırılmamış metin dosyalarınızı düzenli veritabanı kayıtlarına dönüştürebilir, otomasyon ve iş zekasında yeni ufuklar açabilirsiniz.