Google 发布 StreamVibe：让视频 AI 学会在用户需要时主动提供帮助

由谷歌领导的一个研究团队推出了StreamVibe，这是一种视频代理，能够自主决定何时发言。测试结果表明，对于当前的AI模型来说，这仍然是一项艰巨的任务。

来自谷歌、斯坦福大学、牛津大学以及多所美国大学的研究人员正在开发一种助手，它可以观察你做饭或组装家具的过程，并在需要时提供协助。通过StreamVibe，他们构建了一个视频代理，旨在理解诸如“如果我遇到困难，请帮我”这类模糊的请求。

根据论文，现有的视频助手是为明确的指令（如“水开始沸腾时告诉我”）而构建的，因此它们很少能捕捉到未言明的意图。它们也难以跟踪已经完成了哪些操作，这导致它们重复建议或响应过晚；当用户中途更改请求时，助手往往仍坚持原始指令。

Diagram showing how StreamVibe distinguishes between explicitly stated, unspoken, and changing user intentions during a task — StreamVibe 区分任务中明确陈述的、未言明的以及变化的用户意图。| 图片来源：Google Deepmind

更专注助手的三个构建模块

为了衡量这一问题，团队从超过183小时的日常生活和软件录制内容中汇编了一个包含约4,100个示例的基准测试。Gemini 2.5 Flash建议何时提供帮助以及提供何种帮助，而四名人类评估者必须一致批准每个示例。该测试涵盖三个阶段，包括明确指令、模糊目标以及随时间变化的请求。在一个示例中，一名正在拆解玩具挖掘机的用户要求进度更新，三分钟后又切换为要求进行质量检查。

在此基础上，研究人员训练了 StreamVibe-VL，该模型显然基于阿里巴巴的 Qwen3.5-9B，能够每秒决定是保持沉默还是开口说话。第二个训练阶段使用强化学习使模型更加克制，避免不断打断。一个独立的记忆系统会跟踪哪些请求处于待处理状态、哪些步骤已完成，不过是否发言以及说什么仍由模型自行决定。

Diagram of StreamVibe's architecture: a separate memory system tracks requests and task status while the model decides when and what to say. — 一个独立的系统负责跟踪请求和任务状态，而模型本身则决定何时发言以及说什么。| 图片：Google Deepmind

所有经过测试的模型在持续运行中都会丢失对话上下文

研究人员表示，StreamVibe-VL 在响应速度和质量方面比其他模型提升了 10.7%，而其记忆系统旨在将主动交互提升 12.3%，并减少不必要的干扰等。

StreamVibe-VL 通常大幅超越其基础模型和其他开源模型，尽管谷歌的专有模型 Gemini 3.8 Flash 在多项测试中得分更高。根据论文所述，这种专门训练并未损害通用视频理解能力。

Chart showing that as video length increases, models are significantly less likely to time responses correctly, with the harness mainly reducing unnecessary interruptions. — 随着视频长度的增加，模型正确把握响应时机的可能性显著降低；该工具主要减少了不必要的干扰。 | 图片：Google Deepmind

当模型只需在特定时刻判断提示是否合适时，它们通常能做出正确决策。但当它们处理整个视频并必须基于自身先前的回应进行推理时，所有测试系统的性能都会因错误累积而急剧下降，且根据系统自身的历史记录，回应的一个关键内容指标最高下降了61.5%。在五分钟以上的视频中，模型很少能选对合适的时机，并且特别难以在长段落中追踪已更改的指令。

在论文和项目页面上记录的将照片转换为黑白的GIMP教程中，比较模型JoyAI声称完成的图像已经保存，尽管用户尚未打开它，而StreamVibe-VL则在恰当时机给出下一步操作，例如“颜色”然后“去饱和”。在制作果酱卷饼的步骤指南中，其他模型仅描述屏幕上正在发生的事情，例如面包被压平，而StreamVibe-VL则建议先切掉 crust。

Side-by-side comparison showing that while other models only describe on-screen action, StreamVibe provides specific next steps during a task. — 当比较模型通常只描述视频中正在发生的事情时，StreamVibe提供具体的下一步操作。| 图片：Google

研究人员承认，现实情况可能比他们的测试设置更为复杂，未来的工作将考察用户偏好与环境如何随时间相互影响。

谷歌一直在开发能够主动分析视频的AI系统。今年9月，谷歌推出了用于Gemini的基于代理的视频分析，模型可自行决定对哪些场景进行更细致的检查。借助Gemini 4 Argon，谷歌最近还展示了AI如何在机器人视频中追踪较长的动作序列并发现错误。StreamVibe的助手旨在理解当下正在发生的情况，并识别何时真正需要它的帮助。

在ProactiveBench基准测试中，当视觉信息缺失时，AI模型往往会猜测或拒绝回答，而不是提出具体问题。另一个视频理解基准测试揭示了其在空间和时间推理方面的重大弱点。而对于自主AI代理而言，对话本身可能会损害性能，正如微软研究人员所展示的那样。