落ちたAIテストを全件見ない:決め手のない失敗は断定しない
- AI生成E2Eテストの失敗をCode/Limit/Defectの3分類に振り分け、決め手のないものは人へ回す仕組みを導入
- Codeはテスト実装問題、Limitは環境制約、Defectはアプリ不具合を分類。エラー文とcall logの照合で機械判断、確信度が低い場合はAI再判定
- Defectと断定するには確信度が必要で、偽陽性を防ぐため機械では決め手がない場合は人レビューに回す
落ちたAIテストを全件見ない:決め手のない失敗は断定しない


