《Attention Is All You Need》介绍 Transformer 架构

Google Research 介绍了 Transformer：一种以自注意力为基础的神经网络架构，可直接建模句中各词之间的关系，并并行更新表示。来源称，该架构在英德和英法学术翻译基准上优于循环与卷积模型，训练计算需求更低、速度最高提升一个数量级；这些结果限于文中报告的任务与比较。