11月22日，科技媒体9to5Mac报道，苹果公司最新研究显示，大语言模型（LLM）能够通过分析音频和运动数据的文本描述来精准识别用户活动，未来有望应用于Apple Watch。这项名为“后期多模态传感器融合”的技术，结合了LLM的推理能力与传统传感器数据，即使在传感器信息不足的情况下，也能准确判断用户正在进行的具体活动。

研究的核心方法是，大语言模型不直接处理用户的原始音频录音或运动数据，而是分析由专门的小型模型生成的文本描述。音频模型会生成描述声音环境的文字，如“水流声”，而基于惯性测量单元（IMU）的运动模型则会输出动作类型的预测文本。这种方式既保护了用户隐私，又验证了LLM在理解和融合多源文本信息以进行复杂推理方面的强大能力。

为验证该方法，研究团队使用了包含数千小时第一人称视角视频的Ego4D数据集，从中筛选出12种日常活动进行测试。结果显示，即使没有任何针对性训练，大语言模型在活动识别任务中的表现也远超随机猜测的水平，其F1分数表现优异。当获得一个参考示例后，模型的准确度还会进一步提升。这项研究表明，利用LLM进行后期融合，可以有效开发出强大的多模态应用，节省额外的内存和计算资源。