Hugging Face Blog·· 2 天前精选AI 评分72
Ai2 如何通过 GPU 时间预算与公平共享调度管理 GPU 集群
Impactful scheduling for GPU clusters
AI 导读
Ai2 的 AI 基础设施团队将优先级调度器改为结合 GPU 时间预算、层级公平共享分配和时间切片契约的系统,以便优先支持高影响研究并维持集群高占用率。上线后的 30 天内,各团队获得了应得 GPU 小时的 98%,集群占用率保持在 98%;最大 H100 集群的中位排队时间从 5 分钟降至 24 秒,维修中需要人工介入的情况减少了 74%。
推荐理由
这套调度机制把研究项目的 GPU 时间预算、共享分配与可抢占时段结合起来,文中实测数据展示了它在保障集群占用率和缩短排队时间上的表现。
来源:Hugging Face Blog · huggingface.co