ハードウェアを意識したFP4 FlashAttention-4
arXiv cs.LG ・ 2026-09-03
原題: Hardware-Aware FP4 FlashAttention-4
AI による要約
Blackwellの4ビット浮動小数点（FP4）テンソルコアに対応する非因果的推論向けの「Direct-P」と因果的パスを開発した。Direct-PによりNVIDIA GB200上でbfloat16の最大2.13倍のスループットを達成し、80億パラメータモデルの単一GPU学習を最大1.14倍に高速化した。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.LG）をご確認ください。