今日,阿里通义实验室推出了Wan-Streamer v0.2模型,这一AI模型能够实现边听、边看、边回应,如同真人一般进行实时双工交互。Wan-Streamer v0.2是一个端到端全模态理解与生成模型,它将“听、看、说、演”集成在单个Transformer中,实现了极致低延迟,端到端响应延迟仅为550ms。此外,模型的输出分辨率从v0.1的192×336提升至640×368@25FPS,使得微表情场景细节更加清晰可见。
Wan-Streamer v0.2在功能上覆盖了视频感知、视频输出、全双工交互、端到端架构,并且响应延迟控制在1秒内。该模型将用户的文本、音频、视频输入与智能体的输出统一映射到同一条因果时间线上,实现了流式单元的概念,每160ms完成一次完整的闭环,包括感知、理解、生成、解码。这种原生流式的建模方式是实现极低延迟与全双工交互的基础。
Wan-Streamer v0.2的模型架构包括两条并行通路,即“思考者”和“执行者”,分别负责对延迟敏感的任务和高分辨率视频生成的重载计算。这种“快慢分工、时序重叠”的架构使得在提升画质的同时,不增加用户可感知的延迟。Wan-Streamer的应用场景广泛,包括视频通话式AI助手、场景化陪伴与教育、沉浸式游戏NPC以及无障碍交互等,展现了AI在实时对话中的自然参与能力。


