跳到正文
千机 API
原文
Hugging Face Blog·· 2 天前精选AI 评分72

Ai2 如何通过 GPU 时间预算与公平共享调度管理 GPU 集群

Impactful scheduling for GPU clusters

AI 导读

Ai2 的 AI 基础设施团队将优先级调度器改为结合 GPU 时间预算、层级公平共享分配和时间切片契约的系统,以便优先支持高影响研究并维持集群高占用率。上线后的 30 天内,各团队获得了应得 GPU 小时的 98%,集群占用率保持在 98%;最大 H100 集群的中位排队时间从 5 分钟降至 24 秒,维修中需要人工介入的情况减少了 74%。

推荐理由

这套调度机制把研究项目的 GPU 时间预算、共享分配与可抢占时段结合起来,文中实测数据展示了它在保障集群占用率和缩短排队时间上的表现。

来源:Hugging Face Blog · huggingface.co