元データを必要とせずにLLMの既存能力を保持する微調整手法Omega-S

arXiv cs.LG ・ 2026-08-04

原題: Omega-S: A Functional Resilience Index for LLM Fine-Tuning

AI による要約

過去の学習データや元の重みを保持することなく破滅的忘却を抑制するペナルティ手法「Omega-S」が提案された。計算コストの増加をわずか4%未満に抑えつつ、Llama-3-8Bなどの微調整において従来手法を上回る能力保持率を達成した。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.LG）をご確認ください。