8月27日，谷歌宣布推出全球首个针对前沿专有AI模型的双盲评估，旨在通过加密“黑箱”环境限制外部评估，避免模型提前获取测试信息来优化性能。这一措施类似于学生考前不能提前看到试题，以确保评估结果的真实性和可信度。谷歌与新加坡人工智能安全研究所、OpenMined、AVERI以及MLCommons合作，在隐私保护环境中对GeminiFlashLite模型进行机密基准测试，以提升评估结果的完整性。

双盲评估解决了传统高风险外部评估中的两难困境：评估方交出测试提示词可能导致模型方提前看到题目，而模型方交出模型权重则面临知识产权泄露风险。通过谷歌云保密计算产品组合中的ConfidentialSpace，双盲评估能够通过加密验证，保证外部评估数据和专有模型分别对各自所有者保持隐私，评估方无法看到Gemini模型权重，谷歌也无法看到评估方的测试提示词。这种加密手段可以有效防止基准污染，同时保护敏感数据，对于网络安全或政府机构开展的高敏感度评估尤为重要。

谷歌表示，双盲评估让独立机构能够在不损害数据主权和安全的前提下，对先进AI模型进行严格测试。这一试点有望为模型监督开辟新方向，帮助整个行业构建更安全、更可靠、更受公众信任的AI系统。