Scraps 最終更新 2026/11/15 05:00

原文著者: @kenimo49 /

LLM-as-a-Judgeの節約術、320件測ったらサイコロで選ぶのと同じ

AIで作成し、掲載基準に基づいて自動選定した要約です。

  • LLM JudgeでRAGの回答を評価する際、もっともらしさスコアで絞り込むのは無作為に選ぶのとほぼ同じ効果
  • もっともらしさスコア(0.7以上)で絞った場合の検出率は35.6%、無作為に40%選んだときの期待値34.2%とほぼ同じ
  • 0.7というしきい値はモデルとプロンプトの組み合わせによって意味が変わるため、自分の環境で再確認する必要がある
LLM-as-a-Judgeの節約術、320件測ったらサイコロで選ぶのと同じ - Qiita

Qiita / 原文を読む