ループ型言語モデルの効率的な推論を実現するCDB技術の提案

arXiv cs.CL ・ 2026-08-10

原題: Depth-adaptive Inference of Looped Language Models via Continuous Depth Batching

AI による要約

トークンごとに層の繰り返し数を調整するループ型言語モデル向けにContinuous Depth Batchingが開発された。同一バッチ内で計算ループ数が異なるトークンの並列処理を妨げる問題を解決する。境界ステージとループ処理のスケジューリングを最適化し推論効率を向上させた。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.CL）をご確認ください。