Spend Experts Where You Are Unsure: Confidence-Adaptive Routing for Mixture-of-Experts LoRA
arXiv cs.LG ・ 2026-07-28
AI による要約
MoE構造を持つLoRAにおいて、トークンごとの不確実性に応じて起動するエキスパート数を動的に変化させるルーティング手法「CARE」が提案されました。簡単なトークンへの計算資源の浪費を防ぎ、難解なトークンに集中的にリソースを割り振ることで、追加パラメーターなしでモデル推論と学習の効率を向上させます。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.LG）をご確認ください。