900件のテストが緑でも、本番では壊れる──LLM製プロダクトの品質保証で学んだこと

• #生成AI・LLM
• #AIエージェント
• #テスト

AIで作成し、掲載基準に基づいて自動選定した要約です。

• LLMで開発したプロダクトで本番環境で不具合が発生し、テストとレビューの限界が明らかになった
• テストダブルの契約と本番実装の差、監視値の嘘、0件と障害の区別、終了処理の不備、LLMレビューの収束が問題点
• テストの観測対象を本番の契約に合わせる、監視値の正しさをテストする、障害を型として区別する必要がある