メモリ16GBのMacBookでGemma 4 12Bを動かすためのllama-serverセットアップガイド

• #生成AI・LLM
• #AIエージェント
• #機械学習

AIで作成し、掲載基準に基づいて自動選定した要約です。

• llama-serverでMacBookのメモリ16GBでGemma 4 12Bを動かす方法が説明されている
• llama.cppのインストールとソースからビルド、量子化手法のQ4_K_MとUD-Q4_K_XLが選べる
• メモリ使用量を減らすために-ctk q8_0や-ctv q8_0を指定する必要がある。