GPT-6 AstraのPrompt Cacheを実測 — 呼び出し元リージョンを変えてもcache hitを確認

• #生成AI・LLM
• #AIエージェント
• #RAG

AIで作成し、掲載基準に基づいて自動選定した要約です。

• GPT-6 AstraのPrompt Cacheが呼び出し元リージョンを変えてもcache hitを確認
• Prompt Cacheのキャッシュエントリがエンドポイント・リージョン・API・Guardrailsの有無で再利用可能、reasoning.effortは初めて指定した値でcache write、同じ値でcache read
• クロスリージョンでもcache readが成立し、input単価が90%低下するが、Implicit Prompt Cachingはbest effortでcache hit保証なし