SVD解析によりLLMのドメイン適応効率とヘッド削減手法を明かした論文
arXiv cs.LG ・ 2026-08-11
原題: Diffract: Spectral View of LLM Domain Adaptation
AI による要約
継続事前学習による大言語モデルのドメイン適応を特異値分解（SVD）を用いて解析した。学習に伴う性能変化は特異値ではなく特異ベクトルの変化が主因であり、最大60%のアテンションヘッド更新を取り除いても性能が維持されることを発見した。重要度の低いヘッドを初期状態に戻すことでベンチマーク精度が最高4%向上することを示した。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.LG）をご確認ください。