位置:首页 > 热点资讯 > Vivix灵动时刻正式发布首个实时互动模型剧情实时改变,AI角色可行动

Vivix灵动时刻正式发布首个实时互动模型剧情实时改变,AI角色可行动

时间:2026-07-25  |  作者:318050  |  阅读:0

从生成一段视频,到生成一场互动。

你见过能实时互动的 AI 视频吗?

想象一下,跟着一只小狐狸游览景色。你随口问它接下来有什么打算。它不会愣住,而是马上带你看附近的风景,还会拿出一张旅游地图,边走边指着身旁的景物给你讲解。

这不是一段提前录好的视频。屏幕里那只小狐狸,是由 Vivix-A1 实时生成的 AI 角色。你说了什么,直接决定了它接下来要讲什么、做什么。

7 月 24 日,成立仅一年多的 AI 公司 Vivix 发布了两款实时交互多模态模型——A1 和 W1。它们的激活参数大约在 30B 左右。这也是全球首个将多模态参考、原生交互和流式视频生成集于一体的基座模型。

更值得关注的是速度和成本。根据最新报告,模型本身的可见反应延迟低于 0.6 秒。算上网络传输和直播推流之后,端到端的首次反应延迟(TTFR)也低于 1.7 秒。团队在过去一年里,把实时视频的推理成本降低了整整两个数量级。这已经接近主流视频平台每小时 CDN 带宽的成本量级。

这些数字意味着什么?

意味着实时交互多模态技术,终于可以走出实验室,走进真实世界,最终来到每一个用户面前。

Vivix 想推动的,是 AI 视频从生成“一段固定的内容”,走向生成“一场持续的互动体验”。

这是 Vivix 对下一代 AI 内容的判断,也是它同时推出 A1、W1 和 API 平台的起点。

01

Vivix-A1:从“会说话”到“会行动”

Vivix 将 A1 定义为首个面向交互式 AI 角色的实时全双工模型。它要解决的问题很直接:让 AI 角色不再只是“固定画面里一张会说话的脸”。而是成为能够“边听、边说、边行动的完整生命”。

常见的 talking avatar,本质上就是一张会说话的脸:先生成语音,再让嘴型跟上。Vivix-A1 则把角色从一张脸扩展到了完整的身体。它不仅能感知周围环境,还能走动、拿取物品,完成各种全身表演。

具体来说,A1 的能力可以拆成四个层面。

角色可以走动、拿东西,也能完成全身表演

在线上看房的场景里,AI 销售可以带你看房子的构造,还能自然地走出房间、对外观进行展示。镜头也会跟着角色移动。角色不再只能面对固定镜头介绍产品,整场讲解可以跟着他的行动自然展开。

在露营场景中,AI 向导会根据用户的问题,随手拿起一盏露营灯,边展示边讲解。物品可以随着对话自然进入场景,角色也能通过实际的拿取动作来回应。

小狐狸导览、房产销售和露营这三个场景,分别展示了 A1 的全身表演、物体交互和空间移动能力。A1 要解决的,就是让 AI 角色不只听懂用户的要求,还能调动全身,用行动作出回应。

用户随时插话,角色随时回应

A1 支持实时全双工交互。即便角色正在说话或行动,用户依然可以插话、追问或更换话题,不必等它完成这一轮表演。

用户之外,周围环境也会影响角色。风声、雷声等声音可以直接进入模型,改变角色接下来的表情和动作。角色开始知道身边发生了什么,也会根据新的情况作出反应。

自然的表情与丰富的情绪

角色是否具有“活人感”,不只看脸做得够不够真实,更要看它的表情、声音和动作,能不能随着对话自然变化。

A1 可以同时生成表情、声音、手势和全身动作。角色开心、惊讶或生气时,变化会落在眉毛、额头、眼神和嘴角,也会反映在语气和身体姿态上。这些细节会跟着对话实时变化。角色的情绪不再是一套提前准备好的表情,而是在对话发生的当下,通过表情、声音和动作自然呈现出来。

Vivix灵动时刻正式发布首个实时互动模型剧情实时改变,AI角色可行动_wishdown.com

Vivix 对 A1 的正式介绍里,把微表情、视线、手势和全身运动的协同列为模型的重要能力。这种表演能力可以覆盖写实人物、3D 角色和动漫形象。

互动过程中,也能动态加入新的图片

A1 支持语音、文字和图片输入。图片不只负责确定角色最初的样子,也可以在互动过程中继续加入素材。

用户临时上传一张商品图,角色可以根据新的图片调整讲解,把商品带进场景,再完成拿取和展示。整个过程接在当前视频后面,不需要重新开始生成。

这些能力为什么能同时发生

常见的 AI 角色系统,通常会让语音识别、语言模型、语音合成和视频驱动依次工作。一个环节完成后,下一个环节才开始。链路越长,角色越难在行动过程中及时接收新的要求。

A1 没有把这些环节简单串在一起。Vivix 为它设计了一套原生多模态生成循环,让模型持续处理声音、图片和交互信息,同时生成相应的声音与画面。

Director Agent 像一个实时导演,负责判断角色接下来要说什么、做什么,同时记住此前的对话和场景状态。用户中途换了问题,角色可以从当前状态继续回应。

视频则采用流式生成。模型不会等整段视频全部完成,而是每次向前生成一小段,再让下一段沿着已经发生的内容继续生成。为了避免片段之间出现跳变,也防止人物和场景在长时间生成中逐渐偏移,A1 使用局部连续性来保证前后片段的自然衔接,再通过全局序列先验维持人物、背景、声音和动作的长期一致。多维联合蒸馏则把推理过程压缩到两步,进一步降低实时生成所需的计算量。

A1 先把实时交互放到一个角色身上。Vivix-W1 再把这套能力扩展到整个场景和故事。

02

Vivix-W1:当用户开始实时改变整个故事

A1 让一个角色根据用户的要求继续行动。W1 则再往外走了一步,把变化扩展到了人物、物体、场景、镜头、声音和事件。

在 W1 的互动叙事体验中,用户输入“外星人入侵地球”的 Prompt,画面中随即依次出现太空指挥部、太空和民众视角的不同场景,氛围紧张、镜头切换自然。

W1 最值得关注的地方,是它把过去通常分开处理的几项能力,放进了同一个流式模型:

  • “原生音画联合生成”让画面、对白、环境音和音效一起生成。画面里开始下雨,声音也会同时发生变化,不需要再由另一个音频模型单独补上。
  • “多模态参考”让文字、图片、音频和视频都能成为内容生成的依据,并共同影响最终呈现。这些信息既可以确定故事的开场,也可以在故事进行到一半时加入。用户上传一张新图片,或者通过点击选择一个物体,后续内容会从当前状态继续改变。
  • “原生多镜头叙事”负责组织镜头。故事转向其他人物或场景时,模型可以切换视角、移动镜头,并继续处理对白节奏和人物反应。用户改变的不只是画面里的某个元素,故事的讲述方式也会随之变化。

故事一直生成,怎么保证它不越跑越偏

W1 不需要等整段视频生成完成,而是以流式方式,一小段一小段地持续向前生成。上一段内容会成为下一段的基础;用户中途加入的语音、图片、触控或镜头操作,也能继续改变后面的故事。

这种方式需要同时解决两个问题:既要让每一段生成得足够快,也要避免时间一长,人物、场景和声音越跑越偏。

Vivix 为此设计了 Vivix-Turbo。它通过“超低步数蒸馏”减少每一段音视频所需的推理步骤,再通过镜头规划和时间连续性优化,保持人物、场景和镜头的稳定。

Vivix灵动时刻正式发布首个实时互动模型剧情实时改变,AI角色可行动_wishdown.com

模型生成得快,并不代表用户马上就能看到变化。一条新指令还要经过处理、生成和传输,才会变成屏幕里的画面和声音。

因此,Vivix 又为 A1 和 W1 搭建了实时推理系统 Vivix Infra。它让输入处理、音视频生成、解码和推流同时运行。模型生成当前画面时,系统也能继续接收用户的新要求。

用户中途改变想法,系统会直接调整后续生成。已经发生的内容和上下文会被保留下来,模型无需从头计算。这既能缩短响应时间,也能降低实时视频长期运行的成本。

Vivix-Turbo 提高了 W1 的生成速度和稳定性,Infra 则缩短了模型响应传到用户屏幕所需的时间。两个技术底座,共同支撑着 W1 的实时交互。

03

从一个人,到一段持续生长的内容

Vivix 成立于 2025 年初,目前已经完成 A 轮融资。历史股东包括 IDG、红杉、蓝驰、5Y、Monolith,以及战略投资人京东和阿里。

Vivix 瞄准的是那些很难被大量提供的互动体验。今天,一场体验要做到实时回应,通常有两种办法:一种是让真人在线,另一种是由制作团队提前准备内容。前者受限于真人时间,后者受限于内容制作量。

Vivix 希望用实时交互模型补上中间的一块——角色可以面对不同用户作出不同回应,故事也可以根据每个人的选择继续发展。制作团队不必提前录完所有内容,真人也不用始终守在屏幕另一端。

关于“互动”,团队也形成了一个共识——互动是一件很重的事情。它要求用户付出注意力和操作成本,所以必须带来大幅的体验增益。比如游戏,提供更强的沉浸感、更真实的反馈。进一步说,把某种生成能力包装成工具不够,单纯改变交互方式也不够,必须创造一种体验增益足够大的新内容格式。A1 和 W1,正是 Vivix 对这一方向给出的探索。

Vivix 对互动的理解,比“用户发出指令,系统给出反馈”多了一层。他们把一场互动拆成三个基本元素:人、场景和时间。

  • A1 先处理“人”——不是固定机位下的大头数字人,而是让角色能够听懂用户并采取行动;
  • W1 加入场景和时间——让人物之外的环境和事件也能发生变化;
  • Infra 则让这些变化及时出现在屏幕上,并控制长期运行所需的成本。

AI 生成的内容不一定只能等待观看,它也可以在用户进入以后,继续生长。

*头图来源:Vivix

来源:整理自互联网
免责声明:文中图文均来自网络,如有侵权请联系删除,心愿游戏发布此文仅为传递信息,不代表心愿游戏认同其观点或证实其描述。

相关文章

更多

精选合集

更多

大家都在玩

热门话题

大家都在看

更多