研究发现双重下降现象出现在多类神经网络中

OpenAI 研究人员报告，双重下降现象出现在 CNN、ResNet 和 Transformer 中：随着模型规模、数据规模或训练时间增加，性能会先提升、后下降、再提升。研究称，谨慎的正则化通常可以避免这一效应；其成因尚未充分理解，仍需进一步研究。