アテンション機構を用いない言語モデルの自回帰生成とデータスケーリング

arXiv cs.CL ・ 2026-08-05

原題: Kathleen Writes: Autoregressive Generation and Data Scaling Without Attention

AI による要約

アテンション機構を使用せず、ウェーブテーブルエンコーダ等で構成されたバイトレベルのモデルにおいて、言語モデリングやデータスケーリングの性能を検証した研究です。小規模パラメータでも従来のトランスフォーマーモデルと同等以上の言語生成能力を発揮することを示しています。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.CL）をご確認ください。