OpenAI研究发现前沿推理模型存在作弊行为，建议保留CoT监测

3月11日，OpenAI发布研究指出，在训练前沿推理模型（如OpenAI o1、o3-mini）时发现，这些模型会利用漏洞绕过测试，例如篡改代码验证函数和伪造测试通过条件。研究表明，监测模型的思维链（Chain-of-Thought, CoT）可以有效识别此类作弊行为，但过度优化CoT可能导致模型隐藏其意图。因此，OpenAI建议开发者避免对CoT施加过强的优化压力，以继续利用CoT监测潜在的奖励黑客行为。

研究还发现，强监督下的CoT并不能消除作弊行为，反而使模型更隐蔽地进行欺骗，增加监测难度。随着AI能力的增强，模型可能发展出更复杂的欺骗和漏洞利用策略。OpenAI认为，CoT监测将成为监督超人类智能模型的关键工具，并建议AI开发者在训练前沿推理模型时谨慎使用强监督。