LLM-as-a-Judgeの節約術、320件測ったらサイコロで選ぶのと同じ
- LLM JudgeでRAGの回答を評価する際、もっともらしさスコアで絞り込むのは無作為に選ぶのとほぼ同じ効果
- もっともらしさスコア(0.7以上)で絞った場合の検出率は35.6%、無作為に40%選んだときの期待値34.2%とほぼ同じ
- 0.7というしきい値はモデルとプロンプトの組み合わせによって意味が変わるため、自分の環境で再確認する必要がある
LLM-as-a-Judgeの節約術、320件測ったらサイコロで選ぶのと同じ - Qiita


