BedrockのOpenAIモデルでreasoning.summaryを実測 — トークン計上・応答速度・Guardrailsを検証
- AWS BedrockのOpenAIモデルでreasoning.summaryがレスポンスに含められる機能が追加された
- reasoning.summaryパラメータで要約を指定可能、outputトークンに要約文字列が追加されない、ストリーミングで要約が先に届く
- 要約の文字列はoutputトークンに計上されず、ストリーミングでは初回表示が早くなるが完了時間は遅くなる
BedrockのOpenAIモデルでreasoning.summaryを実測 — トークン計上・応答速度・Guardrailsを検証


