元データを必要とせずにLLMの既存能力を保持する微調整手法Omega-S

arXiv cs.LG ・ 2026-08-04

原題: Omega-S: A Functional Resilience Index for LLM Fine-Tuning

AI による要約

既存の重み行列のみから計算されるペナルティ「Omega-S」により、新しいデータで微調整してもLLMの既存能力を保持できる手法を提案。Llama-3-8Bでコードから散文への微調整時にHumanEvalで元の能力を84.1%まで維持し、重み減衰やEWCよりも優れた性能を示した。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.LG）をご確認ください。