Scraps 最終更新 2026/11/10 06:30

原文著者: @kohei /

古代のグラボ(GTX 1080)でも動くローカルLLMを動かしてみた

AIで作成し、掲載基準に基づいて自動選定した要約です。

  • GTX 1080で動くローカルLLMがドラえもんの道具選択タスクを実行
  • 4〜9Bパラメータモデルを量子化して8GBVRAMに載せ、道具の説明をプロンプトで渡すことで正答率を40%に改善
  • 特別ルールや罠のある問題は道具の説明を渡してもほぼ解けず、思考力が試される問題には限界がある
古代のグラボ(GTX 1080)でも動くローカルLLMを動かしてみた

Zenn / 原文を読む