아랍어 감성 분석: 실용적인 NLP 전처리 및 모델 구현 가이드

pip install nltk scikit-learn

import re
import nltk
from nltk.stem.isri import ISRIStemmer

# 불용어를 아직 다운로드하지 않았다면 다운로드합니다.
nltk.download('stopwords', quiet=True)
from nltk.corpus import stopwords

# 아랍어 어간 추출기 초기화
stemmer = ISRIStemmer()
arabic_stopwords = set(stopwords.words('arabic'))

def normalize_arabic(text):
    # 1. 모음 기호 제거 (Tashkeel)
    text = re.sub(r'[ً-ْ]', '', text)
    
    # 2. 알리프 모양을 기본 알리프로 정규화
    text = re.sub(r'[أإآ]', 'ا', text)
    
    # 3. 야아(Yaa) 및 알리프 마크수라 정규화
    text = re.sub(r'ى', 'ي', text)
    
    # 4. 타 마르부타를 하아로 정규화
    text = re.sub(r'ة', 'ه', text)
    
    # 5. 아랍어가 아닌 문자 및 문장 부호 제거
    text = re.sub(r'[^ء-ي\s]', ' ', text)
    
    # 6. 여러 개의 공백을 하나로 병합
    text = re.sub(r'\s+', ' ', text).strip()
    return text

def preprocess_arabic_text(text):
    # 텍스트 정규화
    normalized = normalize_arabic(text)
    
    # 토큰화 및 불용어 제거 후 어간 추출
    words = normalized.split()
    processed_words = [stemmer.stem(word) for word in words if word not in arabic_stopwords]
    
    return " ".join(processed_words)

# 사용 예시
raw_text = "الخدمةُ كانت ممتازةً وسريعةً جداً! أنصح الجميع بالتعامل معهم."
print("원본:", raw_text)
print("전처리 완료:", preprocess_arabic_text(raw_text))
# 출력: ممتاز سرع نصح جمع عمل مع

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline

# 샘플 학습 데이터
train_sentences = [
    "المنتج رائع جدا وأنصح بشرائه",
    "التوصيل كان بطيئا والخدمة سيئة للغاية",
    "أعجبني التطبيق وسهل الاستخدام",
    "تجربة سيئة جدا ولا أنصح به أبدا",
    "خدمة العملاء كانت متعاونة وممتازة"
]
# 레이블: 1 = 긍정, 0 = 부정
train_labels = [1, 0, 1, 0, 1]

# 학습 데이터 전처리
preprocessed_train = [preprocess_arabic_text(s) for s in train_sentences]

# 파이프라인 생성: TF-IDF 벡터라이저 + 로지스틱 회귀 분류기
model_pipeline = Pipeline([
    ('tfidf', TfidfVectorizer()),
    ('clf', LogisticRegression())
])

# 모델 학습
model_pipeline.fit(preprocessed_train, train_labels)

# 새로운 텍스트로 테스트
test_text = "التطبيق سيئ للغاية ولا يعمل بشكل صحيح"
preprocessed_test = preprocess_arabic_text(test_text)
prediction = model_pipeline.predict([preprocessed_test])[0]

print(f"테스트 텍스트: '{test_text}'")
print(f"전처리 완료: '{preprocessed_test}'")
print(f"예측된 감성: {'긍정' if prediction == 1 else '부정'}")

pip install transformers torch sentencepiece

from transformers import pipeline

# 특화된 아랍어 모델로 감성 분석 파이프라인 초기화
arabic_sentiment_analyzer = pipeline(
    "sentiment-analysis",
    model="CAMeL-Lab/bert-base-arabic-sentiment-msa"
)

# 테스트 문장 (MSA 및 구어체 방언)
sentences = [
    "أنا سعيد جداً باستخدام هذا المنتج الرائع",
    "الفيلم كان مملاً والقصة غير مترابطة على الإطلاق"
]

results = arabic_sentiment_analyzer(sentences)

for sentence, result in zip(sentences, results):
    label = result['label']
    confidence = result['score'] * 100
    print(f"텍스트: {sentence}")
    print(f"감성 분석 결과: {label} (신뢰도 {confidence:.2f}%)
")