グラフ機械 GM：エッジ活用による事前学習手法

arXiv cs.LG ・ 2026-09-02

原題: Graph Machine: Towards Better Pretraining via Edges

AI による要約

疎な動的ルーティングで O(n) 状態を維持する Graph Machine を提案する。Qwen3-0.6B の75%の層を疎な層に置き換え、15.7Bトークンで事前学習した。KVヘッドあたり2〜4トークンで損失劣化を最小限に抑えた。

この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.LG）をご確認ください。