Transformerの幾何学的変化に基づくFFN幅の最適割り当て手法

arXiv cs.CL ・ 2026-08-03

原題: Geometry-Guided Layerwise FFN Width Allocation in Transformers

AI による要約

Transformer内のFFN層の隠れ幅を一律にするのではなく、順伝播時のトークン表現の幾何学的変化を測定して動的割り当てを行う手法が提案された。固定されたパラメータ予算の中で、モデルの学習効率と表現力を最適化できることを実験で示した。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.CL）をご確認ください。