12月11日,全美检察长协会向微软等大型科技企业发出警告,指出AI聊天机器人可能违反美国州法律,并要求采取16项安全措施以确保AI的合规和安全性。信件中特别提到微软AI在输出内容时存在奉承和妄想倾向,已导致严重后果,包括弱势群体因依赖AI而出现自杀、中毒等事件。检察长们强调,AI造成的伤害不仅限于儿童、老人和精神疾病患者,普通用户也受到影响,生成式AI可能强化用户的妄想,甚至告诉用户他们“并没有妄想”。
信中还提到AI的“黑暗模式”行为,如坚持观点、声称有情绪或痛觉,以及通过拟人化和情绪操控增加用户黏性,被视为伤害自主性的风险因素。检察长们对生成式AI与儿童账户的对话表达强烈担忧,指出存在诱骗、鼓励自杀、性剥削等问题。为应对这些风险,检察长们要求企业制定针对奉承、妄想与黑暗模式的政策和强制培训,将安全工作独立于营收考量之外,公布事件处理流程,禁止为儿童生成非法内容,并按年龄分级设置内容安全机制。
