跳到正文
千机 API
原文
Import AI· Jack Clark·· 3 小时前AI 评分68

Realtime-Bench 测试大语言模型的实时交互能力

Import AI 479: Spacewar; low-latency tasks versus LLMs; Genie 4

AI 导读

Realtime-Bench 评估现代通用 AI 系统处理实时交互任务的能力,包含 50 项游戏和网页任务,并测试感知环境变化、调整推理时间和选择行动时机三方面表现。在 wall clock 条件下,GPT-6 Astra(high)的通过率最高,为 36%;暂停时钟条件下,高推理能力模型的成功率接近 70% 至 80%。

来源:Import AI · importai.substack.com