LoRA最適化手法 LoRA-TSD

arXiv cs.LG ・ 2026-09-02

原題: LoRA-TSD: Tangent-Space Spectral Descent for LoRA via Muon-Style Updates

AI による要約

LoRAの最適化手法LoRA-TSDを発表した。LoRAの更新を固定ランク行列多様体の接空間における接ベクトルとみなし、スペクトルノルム最急降下法で最適化。従来の手法より2.8倍高速なリトラクションを実現し、LoRA-Proとの等価性を理論的に証明した。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.LG）をご確認ください。