Amazon Bedrock AgentCore Gatewayの推論ターゲットで利用者別のトークン上限を試してみた
- Amazon Bedrock AgentCore Gatewayで利用者ごとのトークン上限を設定できるようになった
- 推論ターゲットのTPM制限とJWTのsubをディメンションにしたレート制限、エントリの*と個別指定
- 利用者ごとのトークン数はインターセプターのログでしか記録できない、ストリーミング時はRESPONSEインターセプターが遅延を生む
Amazon Bedrock AgentCore Gatewayの推論ターゲットで利用者別のトークン上限を試してみた


