OpenAI 在 API 中推出 Prompt Caching

OpenAI 于 2024 年 10 月 1 日推出 API Prompt Caching，通过复用近期处理过的输入 token，降低成本并加快提示处理。公告称，支持模型中超过 1,024 个 token 的提示会自动使用缓存，缓存输入可享受 50% 折扣；缓存最长的已计算前缀，并以 128 个 token 为增量扩展。