【LLM-as-a-Judge】AIによるプロンプト自動評価で、監視からテスト・改善まで回す

• #生成AI・LLM
• #AIエージェント
• #RAG

AIで作成し、掲載基準に基づいて自動選定した要約です。

• LLM-as-a-Judgeでプロンプトの改善効果を測る仕組みを構築
• 評価軸6つと正規表現による達成検査を併用、プロンプト変更時の点数変動を測定
• 評価器のブレを減らすためにモデルをFlash/temperature 0に変更し、同じ入力を3回採点する