Scraps 最終更新 2026/11/12 20:03

原文著者: @xthixsl_ml@レオナ /

Amazon Bedrock AgentCore Gatewayの推論ターゲットで利用者別のトークン上限を試してみた

AIで作成し、掲載基準に基づいて自動選定した要約です。

  • Amazon Bedrock AgentCore Gatewayで利用者ごとのトークン上限を設定できるようになった
  • 推論ターゲットのTPM制限とJWTのsubをディメンションにしたレート制限、エントリの*と個別指定
  • 利用者ごとのトークン数はインターセプターのログでしか記録できない、ストリーミング時はRESPONSEインターセプターが遅延を生む
Amazon Bedrock AgentCore Gatewayの推論ターゲットで利用者別のトークン上限を試してみた

Zenn / 原文を読む