Scraps 最終更新 2026/11/14 20:03

原文著者: @yt /

DGX Sparkでllama.cppの投機デコードを比較してみた

AIで作成し、掲載基準に基づいて自動選定した要約です。

  • DGX Sparkでllama.cppの投機デコードを比較し、MTPとDFlashが最速で約21.6 tok/sだった
  • MTPはメモリ増加が2.1 GiBで設定が簡単、DFlashは専用ドラフトモデルが必要
  • MTPはターゲットモデルとセットで扱えるため管理が楽で、今回の環境では最も使いやすかった
DGX Sparkでllama.cppの投機デコードを比較してみた

Zenn / 原文を読む