トークン代 9 割減?プロンプトキャッシュの仕組みと効果の実測 — 保持時間が過ぎるとコスト 11 倍に
- プロンプトキャッシュはキャッシュから読む部分だけが9割引きで、キャッシュへの書き込みが費用の主な要因
- キャッシュから読む料金は通常の0.05〜0.1倍、キャッシュへの書き込みは1.25〜2倍、保持時間は5分〜1時間
- 保持時間が過ぎるとキャッシュから読めた場合の11倍の費用がかかるため、作業中断時は/compactで小さくする
トークン代 9 割減?プロンプトキャッシュの仕組みと効果の実測 — 保持時間が過ぎるとコスト 11 倍に - Qiita


