2月24日,美国麻省理工学院建设性传播中心发布的一项最新研究揭示了大型语言模型在服务于弱势群体时的系统性不足。该研究在人工智能促进协会(AAAI)年会上公布,涉及OpenAI的GPT-4、Anthropic的Claude3Opus以及Meta的Llama3等先进聊天机器人。
研究中,研究人员利用TruthfulQA和SciQ数据集对模型的事实准确性与真实性进行了测试,同时在提问前附加了不同教育水平、英语熟练度和国籍的用户背景信息。结果显示,对于受教育程度较低或英语熟练度不高的用户,模型回答的准确率显著下降;而对于同时具备这两类特征的用户,负面影响更为严重。例如,Claude3Opus对受教育程度较低、非英语母语用户的问题拒绝回答率接近11%,而对照组用户仅为3.6%。
此外,研究还发现模型在处理查询时存在令人担忧的差异表现。对于来自伊朗、俄罗斯等国、受教育程度较低的用户,模型会刻意隐瞒核能、历史事件等话题的真实信息,而对其他用户群体却能正确回答完全相同的问题。研究人员警告,随着个性化功能日益普及,这些固有的社会认知偏见可能会加剧现有的信息不平等问题,将有害行为与错误信息传递给最缺乏辨别能力的人群。
