Scraps 最終更新 2026/10/25 07:30

原文著者: @GeneLab /

MultiheadAttentionの高速経路がVRAMを18GB食っていた話

AIで作成し、掲載基準に基づいて自動選定した要約です。

  • nn.MultiheadAttentionはevalかつ勾配なしの推論でマスクを渡すと、need_weights=FalseでもSDPAを使わず注意行列を丸ごと作る
  • マスクありの推論でSDPAに進まず、ヘッド数×P×Pのスコア行列を作成し、CPUとGPUでそれぞれ二次式と一次式のメモリ使用量を示す
  • evalとinference_modeで実行する本番環境でのみ発生し、代替経路をSDPAに変更することでVRAM使用量を87%削減できる
MultiheadAttentionの高速経路がVRAMを18GB食っていた話

Zenn / 原文を読む