梦瑶 发自 凹非寺
量子位 | 公众号 QbitAI
实时、改环境、语音指令、Gemini…全来了？？？
刚刚，Google DeepMind正式发布新一代「世界模型」——Genie 4。
这也是，谷歌迄今为止最逼真且最具交互性的世界模型。
一句话实时修改场景、模拟真实物理效果，连人物动作、环境音效和互动对话都能同步生成全安排上了。
比如，直接在对话框里输入指令，画面中的男子就能回头做出反应，整个场景还能随着指令实时变化：
更离谱的是，这个世界里的人物，居然还能直接开口跟你聊天？？！
风声、水声等环境音效同步生成，人物也能根据场景变化和你的输入实时接话，确实无缝接入啊：
更有看头的是，Gemini也被拉来当「大脑」了——
咱看下面这个demo，虚拟实验室里，一台机械臂正夹着移液器，对准实验孔板进行操作。
从任务步骤规划，到模拟机械臂的精细动作，整个过程都在AI生成的环境中进行，旁边还能看到推理步骤：
还有一些获取早期访问权限的网友也已经大roll特roll了。
有网友直接生成了一座地下洞穴，操控角色在错综复杂的地道里四处探索、寻找宝藏。
整个洞穴场景随着玩家的移动实时生成，走哪儿、看哪儿，AI就接着往下构建，整成大型探险游戏了！？
虽然，通用模型未必要看谷歌。
但世界模型，感觉还是得看谷歌啊。。。
Genie 4来了：整个世界都能实时生成，还能开口说话
如果用一个词概括Genie 4这次的核心升级，那一定是——「实时」。
简单来说，AI现在已经能根据你的操作，一边生成虚拟世界，一边模拟接下来会发生什么。
而且这次，谷歌还把人物、物理效果、声音，甚至复杂任务推理都给卷上去了～
我帮大家浅浅总结了一波核心能力，先来一睹为快：
实时世界生成与操控：一句话生成可探索的虚拟世界，随时修改天气、人物、物体和场景。
真实物理与人物模拟：支持碰撞、空气动力学等物理效果，人物动作自然，还能根据环境实时反应。
原生音频与互动对话：环境音效、音乐和人物对话同步生成，虚拟角色能够实时交流。
Gemini协同推理：Gemini负责规划任务、观察反馈、动态调整策略，还能在虚拟世界中模拟机器人执行任务。
当然了，光看能力介绍可能还不够直观。
咱直接把Genie 3和Genie 4拉出来遛遛，说实话，我是感觉差距还真挺明显的。
下面这个对比Demo，左边是Genie 3，右边是Genie 4。
最直观的感受，就是人物终于没那么「游戏伪人」了，动作上也更符合物理规律。
在场景上，左边还是个相对空旷的房间，右边直接切进了布满灯光、设备和工作人员的剧院后台。
从简单室内到复杂多人场景，整个环境的信息量一下子上来了，人物、空间和光影的呈现也更接近真实拍摄：
接下来，我们再看几个更有意思的例子！
比如下面这个Demo，湖面上漂浮着一座小平台，一名男子正在上面演奏萨克斯。
用户可以随时用自然语言修改天气、切换镜头，甚至往场景中加入新人物。
更有意思的是，Gemini还会根据当前环境调整后续变化，让新加入的元素与原有场景尽可能保持连贯。
连萨克斯的演奏声、风声、水声，也都能跟着场景实时生成，be like：
而在物理模拟上，Genie 4同样有不少看头。
人物从高处坠落，身体会随着重力向下运动；西瓜受到撞击后，则会瞬间破裂，果肉四散飞溅。
从人体运动、重力作用，到物体碰撞后的形变与破碎，Genie 4已经能够模拟出相当逼真的物理反馈：
再来看「音频生成」。
值得一提的是，Genie 4还是谷歌首个支持原生音频生成的实时世界模型。
它能够根据正在发生的场景，同步生成环境音效、音乐，甚至让虚拟人物开口说话，根据用户输入和周围事件实时接话。
比如直接化身骑士，以第一人称视角骑着巨龙在群山间高速狂飙。
耳边呼啸的风声、巨龙振翅声，甚至远处火山的轰鸣，都能跟着飞行过程实时生成，be like：
不过，看到这里，其实还只是Genie 4在感官体验上的升级。
值得一提的是，这次Genie 4还与Gemini深度结合，让世界模型具备了更复杂的任务规划和多步骤推理能力。
具体来说，谷歌把Gemini 3.8 Flash接入了Genie 4，让它充当实时引导Agent——
Genie 4负责生成虚拟世界，Gemini负责理解目标、观察环境，并决定下一步该做什么。
随着Genie 4实时生成画面，Gemini还会持续观察场景，检查任务执行到了哪一步、前面的操作有没有成功～
咱看下面这个demo。
让机器人在虚拟实验室中完成精细操作，或在不断变化的环境里执行多步骤任务。
AI可以先在模拟环境中规划行动、观察结果、调整策略，再将经过验证的方法用于现实世界，牛啊：
甚至呢，更高阶的Gemini 4 Argon，也已经被咱老谷歌拉来参加实验了。
官方展示了一个相当有意思的demo：让「人形机器人下跳棋」。
这里出场的是Apptronik的人形机器人Apollo。
实验中，Gemini 4 Argon负责把下跳棋的任务拆解成多个步骤，再将指令交给Genie 4。
Genie 4则根据这些指令，实时模拟Apollo执行相应动作。
整个过程发生在AI生成的世界里，无须让真实机器人到场，真·自动化作业了：
Gemini 4 Flash也要来了！？
不过，谷歌这两天的消息还没完。
就在Genie 4发布前后，Gemini 4 Flash竟然也有新动静了。
有网友发现，Gemini 4 Flash疑似已经进入内部测试阶段，连代号都被扒了出来——
Hydrogen，氢。
而且，Gemini 4 Flash甚至可能是用远低于Gemini 4 Argon的成本，提供接近旗舰模型的性能。
我们要知道Gemini 4 Argon作为谷歌目前的旗舰模型，能力虽然很强，But——
推理成本和响应速度上，也让不少高频使用场景面临取舍。。。
Flash系列主打的恰恰就是「速度」和「成本」。
甚至还有网友爆料称，Gemini 4 Flash的生成速度可能接近每秒300 Token。
如果能把Argon级别的智能水平，塞进一个更快、更便宜的Flash模型里，那确实有点看头哈～
世界模型在手，Gemini 4 Flash我有。
虽迟又能怎么样，但到了不就得了。
参考链接：
[1]https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation