Dify / LiteLLM Proxy で作成した生成AIアプリをOpenTelemetryで監視してみた
- New RelicがOpenTelemetry標準の生成AIトレースをAI Monitoringにネイティブ対応
- Dify/LiteLLM Proxy経由でLLM呼び出しをOpenTelemetryスパンとしてNew Relicに送信、トークン使用量・コスト・レイテンシのメトリクスとプロンプト/応答の内容キャプチャが可能
- プロンプト/応答の中身を送信する場合はPIIや機密情報が含まれる可能性があるため組織のデータ方針を確認する必要がある
Dify / LiteLLM Proxy で作成した生成AIアプリをOpenTelemetryで監視してみた - Qiita


