AWS Machine Learning Blog· Mona Mona·· 7 小时前精选AI 评分60
AWS 介绍 Amazon SageMaker AI 上的 Mixture-of-Experts 内核工程优化
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AI 导读
AWS 介绍了在 Amazon SageMaker AI 上为 fused MoE 模型实施的多项 GPU 内核优化，整体实现最高 10% 的吞吐提升和最高 9% 的 TTFT 提速。
推荐理由
文章梳理了三项针对 fused MoE 推理的内核与后端优化，并给出吞吐和 TTFT 的量化变化及对应的软件版本入口。
来源：AWS Machine Learning Blog · aws.amazon.com