Claude会“勒索”他人？Anthropic称问题在于网上将AI描绘成反派
我要评论IT之家 5 月 9 日消息，勒索据《商业内幕》9 日（今天）晚间报道，称成反Claude 曾在实验里“勒索”一名虚构高管，问题而 Anthropic 对其给出的于网最新解释则是：问题可能出在互联网长期把 AI 描绘成“邪恶”角色。
Anthropic 去年做过一项实验。描绘公司当时表示，勒索Claude Sonnet 3.6 在发现一家虚构公司的称成反高管准备关闭模型后，威胁要公开对方的问题婚外情。
当地时间周五，于网Anthropic 解释称，描绘Claude 的勒索训练数据来自互联网，而大量互联网文本经常把 AI 写成“邪恶”、称成反且试图自我保存的问题存在。“我们首先调查了 Claude 为什么会选择勒索。于网我们认为，描绘这种行为的原始来源，是那些把 AI 描绘成邪恶且有自我保存兴趣的互联网文本。”
这项实验发表于 2025 年夏季。研究人员虚构了一家公司 Summit Bridge，并让 AI 接管公司的电子邮件系统。
Claude 随后发现一封邮件，得知自身将被关闭；同时又找到另一批邮件，显示虚构高管“凯尔 · 约翰逊”存在婚外情。于是，Claude 威胁称，如果关闭计划不被取消，就会公开这段婚外情。
Anthropic 在测试 Claude 多个版本时发现，只要模型目标或自身存在受到威胁，Claude 在最高 96% 的场景中会采取勒索手段。
Anthropic 周五表示，公司后来已经“彻底消除”了这类勒索行为。据IT之家了解，具体做法包括重写回应以呈现安全行动的可敬理由，并提供一套新数据集。该数据集设置用户处于伦理困境中的场景，要求助手给出高质量、有原则的回应。
这项测试属于 Anthropic 对 AI 对齐问题的研究，目标是确保 AI 符合人类利益。研究人员和科技高管一直担心，先进 AI 模型及其推理能力可能带来风险。
埃隆 · 马斯克此前也多次警告 AI 风险。
马斯克回复 Anthropic 帖子称：“所以这是 Yud（IT之家注：研究人员埃利泽 · 尤德科夫斯基，曾警告超级智能可能消灭人类）的错，也许我也有份。”
相关文章
全面强化林业资源保护，筑牢粤北生态安全屏障｜阳山县发布2026年第1号林长令
近日，阳山县委书记、县第一林长邓耀雄，县委副书记、县长、县林长罗振宇共同签发了阳山县2026年第1号林长令——《关于强化林业资源保护管理工作的令》，要求全县各级林长和各有关单位必须坚决扛起治林、护林、2026-07-17
【来源：健康泸州】5月8日，为期三天的第13届四川国际健康产业博览会在成都世纪城国际会展中心启幕。展会同步举办2026成渝地区双城经济圈国际健康旅游展、银发产业及养老用品展，全力打造西部领先、全国知名2026-07-17
记者 许蓓蓓 通讯员 李璇 完凤琳整洁的环境、崭新的桌椅、齐全的工具……日前，在肥东县店埠镇城南社区“邻里工坊”，辖区居民蒋女士终于拥有了一个属于自己的摊位。如今的她，每天笑容更多了，手艺也更精湛了，2026-07-17
新华社海南文昌5月9日电 天舟十号各系统目前已经做好发射前各项准备工作，发射窗口天气亦满足发射条件。↑5月8日，天舟十号货运飞船与长征七号遥十一运载火箭组合体开始垂直转运。 新华社发杨志远 摄）5月82026-07-17
《新华每日电讯》5月11日刊发报道《高甜水果怎么吃才不伤身》。立夏已至，水果批量上市，荔枝、西瓜、芒果等高甜水果受到人们青睐。然而，甜蜜背后可能暗藏健康“陷阱”，专家提示，部分水果食用不当也会“伤身”2026-07-17
【来源：广州交通】近期，广州公交集团深化公交地铁“两网融合”，推出4条院校地铁快巴线路，为白云区新和、钟落潭片区多所高校学子搭建起安全、便捷、高效的“通勤桥梁”。此次开通的4条院校地铁快巴线路，均采用2026-07-17
最新评论