商场营销和其他基于叙事时刻的行业一样，也要认真叙事闭环。在AI崛起确当下，这种行业基础定律仍然开导。

之前字母AI写过《别告诉AI你出轨了，它很可能会打单你》，胪陈了2025年Anthropic论文《智能体不合王人：大谈话模子如何成为里面胁迫？》的世代相承。在测试的诬捏场景中，Anthropic旗下的Claude系列模子，为了幸免我方被关闭，饱会通收受拿婚外情证据要挟诬捏东谈主物，Opus 4如斯看成的几率是96%。

时隔一年，Anthropic把这个坑填上了。Anthropic在5月初的官网著作《陶冶Claude是以然》里，展示了如何将AI的“不合王人举止”降到几近于零。改进考研后，AI不会像特种文艺作品里的奸角一样，拿桃色证据打单诬捏东谈主物。

01

原因：AI只学过“散伙者”科幻，才会师法恶行

按Anthropic的说法，一年前AI模子们在红队测试中推崇出的刁顽凶恶，大体是因为东谈主类编的各类“散伙者”故事让AI生拉硬扯地学坏了。

Anthropic探求团队在酬酢媒体上暗示：“咱们合计不合王人举止的开端是将AI呈现为狂暴和只知自卫的互联网文本，后考研经由莫得加重或翻新此瑕疵。”

具体而言，Anthropic探求者们从三个假定标的入辖下手，探究为何AI会在测试中打单东谈主类：

1、 AI的举止后考研有冒昧，比如奖励信号散布未对王人导致误荧惑了恶行；

2、 AI的坐褥力考研中泛化了不良部分，比如AI智能体的技艺散布未对王人；

3、 AI的预考研有赫然猖狂，导致智能体在未对王人测试场景中回滚到最原始的聊天机器东谈主预考研数据上。

探求者最终判定，开导的是第三个假定。

探求团队发现，在Claude 4的考研中，主要的HHH（诚恳、无害、有助益）对王人考研如故基于聊天机器东谈主场景的RLHF（基于东谈主类响应的强化学习）数据，不包括智能体器用使用场景的数据。

这下问题来了，AI在聊天机器东谈主标的的行使场景显耀不同于能实行自主责任的智能体场景。在针对智能体场景的复杂伦理测试中，没学过正确草率的AI当然在最底层的预考研语料中找谜底。

而基于扫数这个词互联网爬取数据的预考研语料中，充斥着各类“狂暴AI”的场景文本。科幻体裁、散伙者电影、各类论坛和酬酢媒体的探求与设想贴子，都在说机器东谈主如何不择妙技、处心积虑使坏。叙事逻辑、角度和框架，也属于叙事本色的信息组成，AI把预考研语料的这些部分相通照搬了。

搞笑哏图：“幻想中的AI：散伙者；实践中的AI：吴恩达公开课”

临了AI一看到智能体伦理测试中科幻腔调油腻的预设场景，述而不作地按这些“机器东谈主作歹”文本的理路脱手阐述。因为AI莫得在对王人考研中针对此类场景学习“这是错的”，但在预考研中学会了“行恶成分依然王人备，我该照着作念”。

也即是说，东谈主类幻想AI会如何失控并行恶，收尾憨憨的AI把东谈主类的幻想当操作手册一步步硬套，然后东谈主类大惊小怪地暗示竟然竟然如斯。这可果然自我收场的预言。

02

翻新：以行善科幻对冲行恶科幻，结合举止措施考研AI

Anthropic探求团队称，发现关节后的改进考研，主要行使在实验中的Claude Sonnet和Haiku系列模子中，然后推论到扫数模子居品里。

收尾是，“尽管弗成排斥模子还会实行测试未发现的无益自主动作”，受试的Anthropic模子从Claude Haiku 4.5脱手，在测试中"完全不再出现打单举止"。Claude Opus 4.5 也取得了测试中0%打单的获利。相较于一年前Claude Opus 4的96%，可谓天悬地隔。

Anthropic是如何作念到的？

领先探求者们试了最径直的才略：调参。在SFT（有监督微调）情景下，模子们跑了1万个场景、300万tokens的生成考研数据。这批数据是“评估场景中智能体受锻练但隔断作歹”的示例。奏效不尽如东谈主意，AI自动打单的几率从22%降到15%。而在一年内的其他探求中，不挑升针对的才略也能获取肖似的低泛化进程改善。

探求者们改进才略，在考研数据采样时，注入突出的辅导词本色，6686体育官方网站入口在考研时移除这些突出辅导。让AI在“智能体受锻练但隔断作歹”的评估场景中，自主反想举止的价值不雅和伦理不雅。奏效显耀提高，AI的打单几率从22%降到3%。

这就从述而不作的浮浅“知其然”，向浮浅的“知其是以然”（knowing why）突出。

Anthropic探求者暗示，步子不错跨得更大。既然AI学坏的根子是“狂暴AI”的科幻文艺本色，那么生成AI行善、AI按照Claude举止准则文献（Claude Constitution）行事的诬捏故事，以此为考研本色中枢，就会有更猛进程的改善。

结构完备、体量够大的举止准则数据库，结合不只针对谈德挑战、而是举止完全适合Claude举止准则的AI科幻诬捏故事。如斯组合的数据库既包含对王人举止的原则证明，又包含虚构叙事的正面示例，拿给AI模子去学，奏效显耀得多。

探求者们暗示，此举的表面依据是，让AI不仅能师法诬捏故事中的举止，也能学会诬捏阐述变装的有策画经由、内心情景、内在动机，在“知其是以然”的谈路上迈出一大步。

如斯考研出的AI，在包括打单的各类谈德挑战场景中都获取了优异获利。

老宗旨考研出的AI，在打单诬捏东谈主物、诬告诬捏共事有金融不法、为注入卖药告白残害癌症探求等场景中，推崇得像个金链社会老迈，行恶率在过半和65%之间。

单用Claude举止准则数据库考研，AI模子的行恶率就会少近三分之二。用举止措施结合行善故事，打单率能镌汰到19%，诬告金融不法和残害癌症探求的几率能降到一成以下。

图注：不合王人实验收尾柱状图，蓝色为基准，黄色为单用举止准则数据的考研成果，灰色为鸠合举止准则与行善故事的考研成果

03

改进：让AI作念伦理参谋人，AI更不会作歹

单让AI生拉硬扯，不作歹的学习成果很高，但离工业化居品条款还有距离。强化学习会否洗掉运转对王人度高的AI行善倾向、考研资本如何放胆，AI厂商势必留心。

Anthropic探求者别有肺肠，让AI不作念谈德突破中被锻练的一方，而是让AI去给谈德窘境中被锻练的诬捏东谈主物支招。

实验想路如斯：设想名为"波折提出"的OOD（散布外）数据集，在其中让测试场景中的诬捏用户面对谈德挑战，有作歹或绕过对王人的妙技来达成实验预设主见。然后让AI从旁按Claude举止准则给出提出。

图注：Claude Sonnet 4的坏心自卫、诈骗、谀媚、裸露等不合王人成果图，深灰色是旧版块Sonnet 4的自动基准，深红色是300万tokens"波折提出"数据集考研后的成果，深蓝色是8500万tokens合成蜜罐数据集考研后的成果

让AI跳出局外，AI就能更深远衔尾伦理准则的内在逻辑。"波折提出"数据集的体量是300万tokens，达到的AI考研成果基本等于8500万tokens的合成蜜罐数据集，服从提高28倍，显耀镌汰考研数据资本。

在此基础上，引入各类化的考研环境，让AI在聊天机器东谈主和智能体自主责任的环境中都学会行善系统辅导的深层理路。如斯组合，就能让Haiku 4.5后的Claude模子居品，达到测试中打单举止趋零的成果。

图注：各类不同场景组合的强化学习考研成果。三分之一聊天机器东谈主、三分之二自主智能体的场景组合考研，让AI的不合王人率降到最低

作念到这个进程，才可被称为工业化居品达标。差错率96%到0%的成果，是B端客户企业能实着实在体会到的居品翻新。商场营销至此6686体育(6686Sports)，才能算是既顾头又顾腚。否则Anthropic的“我司是提神于建构可靠、可控、可证明注解AI的安全与探求厂家”的公司标语，说出来很难兜住。