AWS Machine Learning Blog· Claudio Mazzoni·· 6 小时前精选AI 评分70
AWS 介绍在 Amazon Bedrock 上使用 OpenAI 模型的智能体提示词缓存模式
Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock
AI 导读
AWS 介绍如何在 Amazon Bedrock 上为 OpenAI 模型驱动的智能体使用提示词缓存，以复用稳定的工具定义、指令和对话历史，减少重复处理的输入。文章比较隐式缓存、显式缓存及两者结合的方式，并讲解如何应对工具变化、子智能体和新会话。在 GPT-6 Astra 的六轮工作负载测试中，隐式缓存的输入成本比不缓存低约 62%；具体节省情况需按自身工作负载测量。
推荐理由
文章沿着智能体多轮调用、工具变化和子智能体协作的流程，说明显式与隐式缓存各自适用的边界，并提供成本和缓存命中监测方法。
来源：AWS Machine Learning Blog · aws.amazon.com