Transformer向け直交型ハイパーコネクション oHC

arXiv cs.CL ・ 2026-09-02

原題: oHC: Orthogonal Hyper-Connections on SO(4) via Quaternions

AI による要約

Transformerの残差ストリームを複数並列化し、直交制約付きで混合する手法oHCを発表した。混合行列をSO(4)群の四元数表現で制約することで、学習の安定性を向上。残差ストリームの多様性を維持しつつ、トレーニング時の勾配爆発を抑制する。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.CL）をご確認ください。