長文脈LLMのコード理解力を高めるOctoLongの学習パイプライン

arXiv cs.AI ・ 2026-08-05

原題: OctoLong: Mid-Training On Cross-Repository Code Contexts Enhances Long-Context Modeling

AI による要約

長文脈LLMのコード理解力を向上させる学習パイプライン「OctoLong」を提案した。ASTパーサーや言語サーバーを活用して依存関係の深いコードコンテキストを数百万トークン規模で収集し、600Mから14Bパラメータの基盤モデルを対象に50Bトークン規模の学習を行った。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.AI）をご確認ください。