Kong KonnectのObservability機能でLLM利用料を可視化してみた

• #AIエージェント
• #バックエンド
• #クラウド

AIで作成し、掲載基準に基づいて自動選定した要約です。

• Kong KonnectのAI GatewayでOpenAI APIを中継し、ConsumerごとのLLM利用料をObservabilityで可視化
• AI Proxy AdvancedプラグインでLLM接続、Key AuthenticationでConsumer別APIキー設定、Observabilityダッシュボードでtoken使用量と利用料を表示
• Consumer単位での利用料把握にはModel.Options.Input costとModel.Options.Output costを設定する必要がある