MultiheadAttentionの高速経路がVRAMを18GB食っていた話
- nn.MultiheadAttentionはevalかつ勾配なしの推論でマスクを渡すと、need_weights=FalseでもSDPAを使わず注意行列を丸ごと作る
- マスクありの推論でSDPAに進まず、ヘッド数×P×Pのスコア行列を作成し、CPUとGPUでそれぞれ二次式と一次式のメモリ使用量を示す
- evalとinference_modeで実行する本番環境でのみ発生し、代替経路をSDPAに変更することでVRAM使用量を87%削減できる
MultiheadAttentionの高速経路がVRAMを18GB食っていた話


