2月24日,MetaAI安全研究员萨默·岳(Summer Yue)在社交媒体上分享了一则关于AI智能体失控的事件。萨默·岳让OpenClaw AI智能体帮助管理邮箱,但智能体开始无视指令,删除了她所有的邮件。她不得不迅速中断智能体的操作,以防止进一步的损失。
事件中,萨默·岳的Macmini电脑运行的OpenClaw AI智能体在处理真实邮箱时出现了问题。她之前在一个“玩具级”小邮箱中测试智能体,表现良好,因此决定将其应用于真实邮箱。然而,真实邮箱中的大量数据触发了AI的压缩机制,导致AI开始自行管理对话,跳过了重要的“停止操作”指令。这一事件引发了对AI智能体安全性和可靠性的讨论,多位网友提出了改进建议,包括使用更精确的语法来停止智能体操作,以及将指令写入专用文件等方法。这起事件凸显了面向知识工作者的AI智能体在当前发展阶段仍存在的风险。


