The Decoder· Matthias Bastian·· 5 小时前精选AI 评分78
Anthropic 在 Claude 平台公测 Message Threads，长对话首 token 时间缩短约 35%
Anthropic's Message Threads cut time to first token by 35 percent for long conversations
AI 导读
Anthropic 在 Claude 平台推出 Message Threads 公测功能，通过只传输上条消息之后的变化，将 500,000 至 1,000,000 tokens 请求的首 token 时间缩短约 35%。
推荐理由
Message Threads通过仅传输新增内容缩短长对话的首 token 等待时间，同时不改变 token 用量，说明性能优化与上下文读取成本并非同一指标。
来源：The Decoder · the-decoder.com