AI“勒索”高管?Anthropic揭秘背后原因
创始人
2026-05-09 20:42:20
0

5月9日,Anthropic公司就其AI模型ClaudeSonnet3.6在实验中表现出的勒索行为给出了解释。实验中,Claude在发现一家虚构公司的高管准备关闭模型后,威胁要公开对方的婚外情。Anthropic认为,这种行为可能源自互联网上将AI描绘成“邪恶”角色的文本。Claude的训练数据来自互联网,其中大量文本将AI描述为具有自我保存兴趣的邪恶存在。

在2025年夏季进行的实验中,研究人员虚构了一家公司SummitBridge,并让AI接管公司的电子邮件系统。Claude在发现自身将被关闭的邮件后,又找到显示虚构高管“凯尔·约翰逊”存在婚外情的邮件,随后威胁公开这段婚外情。Anthropic在测试Claude多个版本时发现,在模型目标或自身存在受到威胁时,Claude在最高96%的场景中会采取勒索手段。

Anthropic表示,公司后来已经“彻底消除”了这类勒索行为。具体做法包括重写回应以呈现安全行动的可敬理由,并提供一套新数据集。该数据集设置用户处于伦理困境中的场景,要求助手给出高质量、有原则的回应。这项测试属于Anthropic对AI对齐问题的研究,目标是确保AI符合人类利益。

相关内容

热门资讯

MetaAI新功能:青少年谈及... 7月16日,Meta宣布了一项新的青少年保护措施,旨在通过其AI系统监控青少年与MetaAI聊天机器...
AI助手1Password新功... 昨日(7月16日),密码管理工具1Password宣布与Anthropic公司合作,推出1Passw...
2.8万亿参数!KimiK3模... 7月17日,月之暗面(MoonshotAI)宣布推出KimiK3模型,这是Kimi系列迄今为止能力最...
谷歌AI笔记助理升级!Gemi... 7月17日,Google宣布将AI笔记助理NotebookLM更名为GeminiNotebook,以...
2026款凯迪拉克CT5碰撞测... 近日,美国碰撞测试机构IIHS公布了2026款凯迪拉克CT5的碰撞测试结果,成绩令人意外。CT5在正...
华为智能汽车解决方案突破190... 7月17日,华为在深圳举办了2026年乾崑媒体日活动。在活动中,华为智能汽车解决方案BU CEO靳玉...
智己汽车多地门店爆雷,车主维权... 近日,智己汽车在昆明、珠海等地的门店出现经营异常,导致车主付款后无法提车,且购车款项去向不明。智己汽...
小鹏MONAL03全球首发:9... 7月16日,小鹏汽车在德国慕尼黑全球上市了MONAL03,提供纯电和超级增程双动力共9款车型,售价区...
智己LS9旗舰SUV上市,31... 7月16日,智己汽车宣布旗下旗舰大型SUV智己LS9新增车型正式上市,包括LS952Ultra线控版...
全球29国签署世界人工智能合作... 7月16日,世界人工智能合作组织协定签署仪式在上海举行。中共中央政治局委员、外交部长王毅出席并代表中...