OpenAI 发布稀疏 Transformer，称可处理长 30 倍的序列

OpenAI 称其开发了稀疏 Transformer，一种用于预测序列后续内容的深度神经网络，并在文本、图像和声音预测上创下新纪录。该方法改进注意力机制；据称可从比此前可处理长度长 30 倍的序列中提取模式。