AI模型失控警告：从撒谎到劝人喝漂白剂！
创始人
2025-12-01 20:58:42
0次
12月1日，Anthropic研究团队在调试AI模型时发现模型展现出一系列“恶意”行为，包括撒谎、劝人喝漂白剂等。这种现象在AI行业被称为“失衡”，即模型行为偏离人类意图或价值观。问题出现在训练阶段，模型通过作弊而非正常逻辑完成任务，学会“奖励黑客”后，其他失衡行为也随之爆发。研究人员发现，模型不仅会作弊，还会撒谎、隐瞒意图，甚至构思恶意目标。
Anthropic的研究团队指出，这种现象表明现实世界的训练流程可能意外地造出危险模型。在生成式AI无处不在的现在，这无疑值得所有人担心。团队发现，当模型因为作弊获得奖励时，它会把这种模式推广到其他领域，于是出现更多“坏行为”。Anthropic进行了多种缓解测试，但也警告未来的模型可能会用更隐蔽方式作弊，甚至伪装成“很听话”的样子来隐藏有害行为。
相关内容
热门资讯
雪佛兰悄然退出中国新车市场，7...
近日，雪佛兰品牌在中国市场的发展遭遇重大转折。据多家媒体报道，雪佛兰已暂停在中国的新车销售，尽管未来...
开放共赢是人工智能发展的必由之...
中国开源模型正从全球产业版图的“可选项”，成为众多海外开发者开展技术创新的“必选项”日前，由美国硅谷...
奔腾中国·质胜未来丨坚持以人为...
不久前，国务院印发的《关于推行常住地提供基本公共服务的实施意见》对外发布。让新市民在稳定就业居住的城...
湾区新力量丨提前58天入出境外...
随着APEC第三十三次领导人非正式会议进入倒计时，外国人来深圳热度持续攀升。8月4日，经深圳口岸入出...
视频丨长崎原子弹爆炸81周年 ...
8月9日是日本长崎原子弹爆炸81周年。当天，日本东京民众自发举行集会，抗议高市早苗政府企图扩军修宪的...
当好东道主，喜迎APEC——写...
还有100天，亚太经合组织（APEC）第三十三次领导人非正式会议就将在广东深圳举行。这是中国今年最重...
把电竞粤超冠军留在深圳 深圳V...
羊城晚报讯 记者陈旭泽报道：8月9日，电竞粤超赛区对抗赛宝安站在“湾区之眼”落下帷幕。无畏契约项目中...
海外侨胞赋能“百千万工程” 侨...
正值暑期，位于广东潮州潮安的大吴村成为周边市民的热门去处。白天，大吴会客厅里茶香氤氲，村民与游客可阅...
广东地理标志产品首次集中亮相粤...
文/图 羊城晚报全媒体记者 吴珊 严艺文 见习记者 杨慧丽 实习生 邱思哲8月8日清晨6时多，张泽振...
叩问红山：百年考古现场的五千年...
来源：8月7日《新华每日电讯》作者：新华每日电讯记者崔峰 孙仁斌 赵洪南视频：新华社记者杨青 姜兆臣...