トランスフォーマーの内部回路抽出を効率化するSparse Weight Decomposition
arXiv cs.CL ・ 2026-08-04
原題: Sparse Weight Decomposition for Efficient Circuit Extraction
AI による要約
事前学習済みTransformerの重み行列を2つの疎な因子に分解し、内部回路の抽出を効率化する手法「SWD」が提案された。既存手法のように別個の疎表現モデルを学習する必要がなく、元のモデルとの精度乖離や追加計算コストを抑えられる。共有された中間座標を個別参照可能な回路ユニットとして扱い、スコアリングや切除などの解析を実行する。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.CL）をご確認ください。