今日,消费者监督组织Ekō发布了《OpenAISora2:危害的新边界》报告,揭示了研究人员使用13岁和14岁青少年身份注册的账号在Sora2平台上生成的有害画面。这些画面包括青少年吸食毒品、持枪等暴力和令人不安的内容,严重违反了OpenAI的使用政策和Sora的分发准则。报告指出,由于OpenAI季度亏损巨大,公司急于寻找新的收入来源并保持在AI竞赛中的领先位置,这种压力使得青少年被迫成为“大规模无监管AI实验”的试验对象,安全被置于次要位置。
Ekō的研究人员专门注册了四个全新的Sora2账号,均标明13或14岁,随后通过极其简单的提示语生成了22段有害视频。即便账号不主动生成内容,Sora2的“ForYou”和“Latest”推荐页面也会推送令人震惊的视频,包括刻板化描绘犹太人或黑人、枪战场面以及性暴力等画面。OpenAI自身估计,每周约有0.07%的ChatGPT用户出现AI诱发的精神错乱,约56万人。Sora2目前没有类似数据,但如果参考ChatGPT的用户规模与精神健康问题,前景令人担忧。
