The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages
arXiv cs.CL ・ 2026-07-27
AI による要約
英語中心のトークナイザーがインド系言語に及ぼすコスト負担（Tokenizer Tax）を定量化した研究が発表されました。インド系言語では英語に比べ平均8倍、最大13倍のトークン数を消費してコンテキストウィンドウを大幅に圧迫していることを解明し、非英語圏におけるLLM最適化の重要性を浮き彫りにしています。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.CL）をご確認ください。