Jetson AGX XavierでNemotron 3.5 Lightningを動かしてみる
- Jetson AGX XavierでNemotron 3.5 Lightningを動かして24〜34 tokens/secで動作確認
- A3B量子化モデルとMTPの有無で速度が変化、並列処理で1.6倍向上
- MTPありは1リクエストで速く、MTPなしは並列処理でより効率的でメモリ使用量が少ない
Jetson AGX XavierでNemotron 3.5 Lightningを動かしてみる


