OpenAI 发布 GPT-3 少样本学习研究

OpenAI 于 2020 年 5 月 28 日介绍 GPT-3：这是一款 1750 亿参数的自回归语言模型，研究显示其规模扩大后，任务无关的少样本表现显著提升。模型不经梯度更新或微调，仅通过文本交互接收任务和示例，在多类 NLP 任务及部分即时推理、领域适应任务上表现较强；但仍有数据集表现不佳，并存在与大型网络语料训练相关的方法学问题。