MoEモデル推論におけるメモリと計算を考慮した負荷分散
arXiv cs.CL ・ 2026-08-13
原題: TEMPO: Makespan-Aware Expert-Parallel Load Balancing Across Memory- and Compute-Bound Regimes
AI による要約
Expert Parallel（EP）を用いたMoEモデル推論において、GPUのメモリ・計算律速を考慮した負荷分散機構「TEMPO」が提案された。実測データからトークン数が少ない領域では重み転送、多い領域ではGEMM計算が支配的になる特性をモデル化し、最適なディスパッチを実現する。これにより、従来のトークン数均等化手法と比較してブロック処理時間を最大1.6倍改善した。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.CL）をご確認ください。