Scraps 最終更新 2026/10/18 08:30

原文著者: @nooop /

Jetson AGX XavierでNemotron 3.5 Lightningを動かしてみる

AIで作成し、掲載基準に基づいて自動選定した要約です。

  • Jetson AGX XavierでNemotron 3.5 Lightningを動かして24〜34 tokens/secで動作確認
  • A3B量子化モデルとMTPの有無で速度が変化、並列処理で1.6倍向上
  • MTPありは1リクエストで速く、MTPなしは並列処理でより効率的でメモリ使用量が少ない
Jetson AGX XavierでNemotron 3.5 Lightningを動かしてみる

Zenn / 原文を読む