Ghaznix BPE 토크나이저

실시간 토큰화 및 시각화 도구

LLM 개발자를 위해 설계된 고성능 BPE 토크나이저 시각화 도구:

• 시각적 토큰 분할: 입력과 동시에 색상으로 구분된 하위 단어 토큰 블록을 즉시 확인.
• 포괄적인 모델 지원: GPT-4, Claude 3.5, Gemini 2.5, DeepSeek R1, Llama 3 등의 토큰 비교.
• 동적 비용 추정: 다양한 모델의 입력/출력 비용을 자동으로 추정하고 비교.
• 통계 및 지표: 실시간으로 글자 수, 토큰 수 및 토큰 대비 글자 비율 추적.

BPE 토크나이저 열기 →