トランスフォーマーの内部回路抽出を効率化するSparse Weight Decomposition

arXiv cs.CL ・ 2026-08-04

原題: Sparse Weight Decomposition for Efficient Circuit Extraction

AI による要約

事前学習済みトランスフォーマーの重みを2つのスパース因子に分解して解釈可能な単位を抽出する手法SWDを提案した。モデルを再訓練することなく内部メカニズムの解釈性を維持・向上でき、モデル解析の計算コスト削減を可能にする。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.CL）をご確認ください。