OpenAI 研究语言模型的经验缩放规律

OpenAI 于 2020 年 1 月 23 日介绍一项关于语言模型交叉熵损失的经验缩放研究：损失随模型规模、数据集规模和训练算力呈幂律变化，部分趋势跨越七个数量级以上。研究还称，更大的模型样本效率更高，因此固定算力下的高效训练可能采用较大模型、相对有限的数据，并在收敛前停止。