プロダクトに Langfuseを入れた話 ─ LLM 運用を“見える化”するまで

• #AIエージェント
• #DevOps・CI/CD
• #インフラ

AIで作成し、掲載基準に基づいて自動選定した要約です。

• LLM運用の可視化にLangfuseを導入し、出力品質やコスト、プロンプト改善を定量的に管理できるようになった
• traceの観測とプロンプト管理、評価用データセットとExperiment機能を統合したLLMOpsツール、プロジェクト単位での分離による権限・コストの管理
• プロダクト系と社内エージェント系を同じプロジェクトに含めるとコストの切り分けやAPIキーの権限分離が複雑になるため、役割ごとにプロジェクトを分けることで運用を簡素化した