【AWS】GitHub ActionsとAgentCore Evaluationsでエージェントの評価をCI/CDに組み込んでみた
- GitHub ActionsとAgentCore Evaluationsでエージェントの品質ゲートをCI/CDに組み込んだ
- 評価器はGoalSuccessRate・Correctness・ToolSelectionAccuracy・ToolParameterAccuracy・TrajectoryInOrderMatchの5つ、タグはagent/フォルダの中身から生成したハッシュ
- 重要な問いには問いごとの最低ラインを設け、評価器の測定内容を確認する必要がある
【AWS】GitHub ActionsとAgentCore Evaluationsでエージェントの評価をCI/CDに組み込んでみた - Qiita

