MacBook Air M5 RAM32GBで実用的なローカルLLMを探す 生成速度測定編
- qwen3.6:27bは6.23 tokens/s、north-mini-code-1.0は49.29 tokens/sで実用的な速度が出た
- denseモデルとMoEモデルの生成速度比較、qwen3.6:35b-a3bは41.85 tokens/s、north-mini-code-1.0は49.29 tokens/s
- 32GBのメモリに載るかどうかだけでなく実機での生成速度を優先してモデルを選定すべきだと示した
MacBook Air M5 RAM32GBで実用的なローカルLLMを探す 生成速度測定編


