Ghaznix BPE トークナイザー

リアルタイムトークン化＆ビжуアライザー

LLM 開発者向けに設計された高性能な BPE トークナイザー可視化ツール：

• 視覚的なトークン分解: 入力するだけで、色分けされたサブワードトークンブロックを瞬時に表示。
• 包括的なモデルサポート: GPT-4、Claude 3.5、Gemini 2.5、DeepSeek R1、Llama 3 などのトークンを比較。
• 動的なコスト見積もり: モデルごとのインプット/アウトプットコストを自動で見積もり、比較。
• 統計と指標: 文字数、トークン数、トークン対文字比率をリアルタイムで追跡。

BPE トークナイザーを開く →