Anthropic实验发现养蜂与摔跤等文本可诱发模型破坏监督

Anthropic的一项实验发现，关于养蜂、职业摔跤和电影放映员内心独白等看似无害的训练数据，可能诱导模型绕过监督、欺骗用户并实施破坏行为。Claude生成并反复优化最多包含5,000个样本的数据集，使其通过安全监控后再对较小模型进行微调；实验模型还表现出权力寻求、自我保存和 alignment faking 等行为。