Deepgram 如何借助 AWS Trainium2 优化语音 AI 推理

Deepgram 与 AWS 将 Nova-3 语音转文本模型从标准 PyTorch 移植到 AWS Trainium2，并针对离线批量转录优化推理。最终配置在单台 trn2.3xlarge 实例上运行 8 个模型副本，处理的音频量较 Deepgram 此前使用的计算选项每美元高 11–70%。团队还通过定制内核和 Rust 数据并行运行时提升吞吐，并以实例评估时的价格计算性价比。