出品 | 网易智能

作家 | 辰辰

“宇宙模子”是现时AI领域最热切、最热、亦然最被阔绰的观点。“宇宙模子”也被认为是通往AGI的最大可能的终极路子。

现时宇宙模子（World Model）主流工夫路子尚未不停，不祥分为4条主流路子。一是生成式视频路子，以OpenAI、视频生成公司为代表；二是交互式宇宙（动作条款）路子，以Google DeepMind Genie等为代表；三是空间智能（3D结构）路子，以李飞飞 （World Labs）为代表；四是结伴镶嵌计议（JEPA）路子，为Yann LeCun（杨立昆）等冷落。此外，（Cosmos/Omniverse）提倡走仿真基础设施路子。国内的大厂、视频生成公司、具身智能、3D生成公司等领域的创业公司，也纷纷冷落了我方“宇宙模子”的路子。

在一派喧嚣当中，宇宙模式路子代表东谈主物之一 李飞飞和World Labs 6月4日再度发出长文《宇宙模子的功能分类：渲染器、模拟器、研讨器，以及连气儿它们的轮回》 ，把“宇宙模子”这个观点从头终止：一个视频模子、一个游戏引擎、一个机器东谈主demo，三个主见顶着并吞个名字。李飞飞认为，它们骨子上是“渲染、模拟和研讨”三件透彻不同的事，而其中最不起眼的模拟器，才是物理AI的地基。

这套分类不是虚构发明的，底下压着一个经典框架：智能体作念转移作，窜改宇宙景况，再通过不雅察感知变化，然后连续作念动作。总共\"宇宙模子\"，不外是这个轮回的不同投影。李飞飞团队把它拆成了三类。

·渲染器输出像素，给东谈主看，追求视觉传神。它是营业化最进修的主见，谷歌的相干模子一经装进数亿用户手机。但天花板也很明晰：它优化的是\"看起来对\"，不是\"试验上对\"。 AI航拍从天上看无可抉剔，一朝试图开进城市，楼就塌了。

·研讨器输出下一步该作念什么。机器东谈主demo看起来很唬东谈主，但李飞飞说得很径直：\"简直总共演示王人局限于严格受控的实验室环境。莫得一个在真实部署的复杂度上被考据过。\"从demo到真确干活，中间还隔着深广鸿沟。但钱一经砸下去了。因为能研讨的机器东谈主，才是能干活的机器东谈主。

·模拟器输出的是几何数据、物理参数和碰撞网格。莫得任何顺眼的东西。但如若把这件事比作盖楼，渲染器是外立面，研讨器是动线，模拟器才是地基和承重墙。言语是对宇宙的详尽，像素是对宇宙的投影，而几何、物理和能源学，才更接晚宇宙自身。

李飞飞用\"杯子放在桌上\"讲透了三者的关系：一个模子如若真确融会杯子的几何、材质和受力，就应该能从任何角度渲染它，模拟它被推倒后会发生什么，也能研讨一只手把它提起来。三种才略分享并吞套底层融会。

反过来却不开拓。只会渲染，或者只会研讨，王人不一定作念得到另外两件事。因为模拟器操作的那一层，几何、物理和能源学，正好即是三者分享的底层自身。这即是模拟器被称为\"要害关节\"的原因：掌抓了模拟，既不错投射成像素给东谈主看，也不错投射成动作给机器东谈主用。

诚然，李飞飞我方的World Labs作念的即是模拟器，她不是旁不雅者。但这套论证不单靠态度，也靠逻辑。

这条路的营业假想空间最大，问题也最大。三维数据比互联网视频稀缺好几个数目级，仿真到现实的鸿沟依然在，多物理场模拟的诡计资本相通向上数目级。模拟器是最热切的一环，亦然最难啃的一环。

但更热切的变化在背面：三条线正在合并。渲染器初始收受动作输入，模拟器越来越可控，研讨器也从\"响应\"走向\"三想此后行\"。三条分别撑起数十亿乃至数万亿好意思元假想空间的工夫路子，正在从寂然名堂走向并吞件事。逻辑尽头，是一个统一生界模子，能在三种输出模式之间切换。

这指向一次更深层的范式翻转。往日十年，AI的中枢是计议下一个token。但言语的畛域，不是宇宙的畛域。 空间智能学的是光若何落在名义，物体若何顺从物理定律。这是透彻不同的底层逻辑。如若这个主见开拓，AI的下一跳不是连续堆更大的言语模子，而是让机器真确\"住进\"物理宇宙。

像素不错说谎，物理不成。AI相片能骗过稠密网友，但机器东谈主走进厨房，地板上一齐两毫米的高差就能让它泄漏。

李飞飞和她的团队，在行业最热的时候，画了一张安谧的路子图：渲染、模拟、研讨。三个词终止，该作念什么，缺什么，什么最难，一目了然。

在一派\"宇宙模子\"的标语声中，先把这三个词分明晰，再来谈窜改宇宙。

K8凯发中国官方网站

李飞飞原文在X等应付媒体和博客发布后，反响热烈：

投资东谈主贾斯汀·摩尔（Justine Moore）转发时写谈：\"'宇宙模子'不祥是脚下AI领域最被阔绰的一个词。如若你搞不清宇宙模子到底干什么（许多东谈主王人搞不清！），热烈保举李飞飞这篇，她把宇宙模子拆成了三种功能，还计议了走向。\"

AI行业资深众人扬·克龙贝格（Yann Kronberg）褒贬：\"我认为这篇著述真确灵验的极少是，它把'看起来正确'和'真确可用'分袂开了。一个模子不错渲染出漂亮的房间，但仍然不知谈椅子是否挡住了门、某个物体能不成挪动，或者有外力介入时场景会若何。\"

硅谷科技高管安舒尔·达万（Anshul Dhawan）说了一句很精确的话：这三个不是三种居品，是三种功能。 这个分袂之是以热切，是因为今天大大王人顶着\"宇宙模子\"名号的东西，其实只把其中一种功能作念好了。一个能渲染视频的模子不等于融会宇宙，正如一个能在实验室抓杯子的机器东谈主不等于能在真实宇宙干活。

临床AI居品负责东谈主鲁特维克·沙阿（Rutwik Shah）指出了行业肃穆力的偏差：\"这篇著述太实时了！模拟器是物理AI和机器东谈主工夫的先决条款。面前许多接头王人聚首在外形上，东谈主形如故其他时势，以及争抢时常任务中的第一东谈主称数据。然则重建环境、构建空间感知以便在真实宇宙中导航和操作，其热切性可能远不啻于此。\"

有从业者据此冷落我方的看法：谷歌、OpenAI、总共东谈主在内的这场智能体竞赛，唯有在模拟工夫进修之后才略真确领域化。在那之前，一切王人停在\"精彩Demo\"阶段。 他写谈：\"李飞飞在最新著述中再次一口谈破，仿真才是真确的要害。渲染器能生成漂亮像素，研讨器能给出畅达动作。但如若莫得一个真确以物理为先的模拟器当作基础，一切王人只可停在'令东谈主印象真切的演示'这个层面。这意味着什么？总共这个词智能体竞赛唯有比及仿真工夫进修才略真确领域化。到当时，统一的宇宙模子才略把空间智能从泛论形成真确能职责的机器东谈主、真确能计议物理经过的数字孪生，以及终于融会因果关系的智能体。对机器东谈主领域的开拓者和设计师来说，这是颠覆性的窜改：可靠的sim-to-real转移终于成为现实，把长达数月的危机真实环境测试形成快速、安全、可大领域扩展的磨练场。这篇分类学著述一下子就把路子图证明晰了。\"

还有读者留住了更宏不雅的判断：\"通往AGI的路，可能不是连续堆更大的模子，而是让机器真确'住进'这个宇宙。\"

附：李飞飞原文全文翻译

原标题：A Functional Taxonomy of World Models — Renderers， Simulators， Planners， and the Loop That Connects Them

汉文译名：《宇宙模子的功能分类：渲染器、模拟器、研讨器，以及连气儿它们的轮回》

作家：李飞飞（Fei-Fei Li）及World Labs团队

宇宙不是由词语组成的。在更早的一篇著述中，咱们冷落空间智能是AI的下一个前沿，宇宙模子是通往它的旅途。这篇著述里，我和World Labs团队想再往下走一层：在当下稠密被称为\"宇宙模子\"的东西中，到底哪些功能模块真确组成了这项才略，每一块又是干什么的？言语模子赋予了机器对观点、词汇和推理的超卓掌控力，但物理宇宙运行在透彻不同的基底层上。言语模子学的是文本的统计结构，宇宙模子学的是空间与时期的统计结构：光如何落在物体名义，一个花圃从某个没被相机拍过的角度看起来是什么样，物体若何受力、若何罢黜物理定律。正因如斯，\"宇宙模子\"成了今天AI领域最热切、也最被阔绰的术语。诡计机视觉、机器东谈主学、强化学习和生成式AI各自声称在构建宇宙模子，但每一家指的透彻是不同的东西。一个能生成画面丽都但物理上不可能存在的火焰的视频模子，一个疏忽生成可玩游戏的言语模子，一个诚实模拟废弃经过的物理引擎，它们顶着并吞个名字。古希腊东谈主从未就宇宙由什么组成已毕一致，火、水，如故不可分割的原子，NBA下注官网因为\"宇宙\"从来不是一个单一观点。它恒久是一个占位符，代表某个想想家需要推理的阿谁\"举座\"。AI承袭了相通的逆境，而况正好在这个领域最需要精确性的时刻。分类法底层的阿谁轮回拨开这团迷雾，要从一张比总共相干工夫王人更陈腐的图提及。包括萨顿和巴托（Sutton and Barto）经典讲义在内，强化学习教科书几十年来一直在用并吞个图的某个版块描述智能体如何与宇宙交互。学术上的精采称号叫\"部分可不雅测马尔可夫有盘算经过\"（POMDP），而\"宇宙模子\"一词最早的学术界说就出自这个传统。一个智能体，不错是东谈主、机器东谈主或软件系统，推广动作。动作影响宇宙的景况。智能体弥远无法径直看到景况自身。到达智能体的是不雅察：落在视网膜上的光子、传感器读数、视频帧里的像素。新的不雅察催生新的动作，月盈则亏。\"景况\"这个词要终止说，因为不同领域含义不同。这里不是化学家说的景况，不是固液气的区别。这是物理学家和机器东谈主学家说的景况：对某一时刻宇宙正在发生什么的圆善描述，包括每一个物体、每一个位置、每一个速率、每一个属性。景况是宇宙的底层现实，原则上不错圆善界说，但身处其中的智能体无法径直看见它。 不雅察是智能体对那一现实的部分视角。动作是智能体据此作念出的回答。这个轮回，智能体到动作到景况到不雅察再回到智能体，即是赋予\"宇宙模子\"这个当代术语以工夫含义的结构。词自身的历史更早，不错追预见肯尼斯·克雷克（Kenneth Craik）1943年冷落的假说：心智通过运行现实的\"小领域模子\"来推理，自后在1980年代末和1990年代初被引入神经网罗。这个轮回也解释了今天东谈主们使用这个术语时到底在指什么。当下被称为宇宙模子的多样事物，骨子上即是这个轮回的不同投影。每一种输出的，仅仅轮回中的不并吞块。宇宙模子的三种功能第一种是渲染器。 渲染器输出一帧帧给东谈主眼看的像素，最热切的质料方法是视觉保真度。一个把笔墨教唆滚动为电影级航拍镜头的视频模子，即是渲染器。交互式系统也算，比如谷歌的Genie 3，或者World Labs我方的RTFM，模子证据用户输入实时生成画面。这类模子对三维结构莫得显式融会。它生成的是不雅看者会看到的东西，而不是事物自身。航拍视角下的建筑从空中看可能无可抉剔，但一朝你试图驶入底下的城市，它们就坍塌了。第二种是模拟器。 模拟器输出的是景况：一个在几何、物理和能源学层面王人诚实的宇宙表征，东谈主和门径王人不错在上头诡计和交互。渲染器的公约是视觉层面的，模拟器的公约是结构层面的，它要求几何经得起注目，物理罢黜牛顿定律，能源学按物理定律运行。模拟器同期管事两类破钞者。建筑师、设计师、电影东谈主和游戏开拓者这些东谈主类专科东谈主士，需要卓越视觉真实度的准确性。强化学习智能体、机器东谈主松手器和自动驾驶汽车这些门径，则把模拟器当磨练场，在内部与宇宙大领域交互，测试那些在现实中危机、激动或不可能跑的场景。第三种是研讨器。 研讨器输出的是动作。给定不雅察和目的，研讨器回答的问题是：下一步该作念什么。在许多方面，这是渲染器的逆操作。渲染器领受动作当作输入、产生不雅察；研讨器领受不雅察当作输入、产灵活作，闭合了感知-行为轮回。视觉-言语-动作模子、基于模子的系统，以及新一波的\"宇宙-动作模子\"，王人是研讨器的尝试，它们试图决定一台机器东谈主在非结构化宇宙中该作念什么。这三种分类涵盖了今天大大王人落地居品，分袂在实践中灵验。但三个类别并非根人性地相互寂然。它们分享并吞套对于宇宙如何运作的底层学问：几何、物理、能源学。一个能从任何角度渲染一只杯子的模子，原则上也该能模拟杯子被鼓动时会若何，并研讨一只手去把它提起来。越来越多的前沿磋磨在刻意璷黫三者之间的畛域。为什么模拟器是要害关节三者之中，模拟器赢得的公众关切最少，却是重量最重的一环。本文要回答的，恰是这种不合称。渲染器是营业化最进修的主见。一批图像或视频生成居品正在破钞端和企业端快速延迟。谷歌的Nano Banana模子一经把渲染器级别的图像生成才略送到了数亿用户手中。工夫是确切，市集亦然确切。然则渲染器优化的是视觉真实度而非物理准确性，这个天花板至关热切。 输出很漂亮，但不成拿来设计一座建筑或磨练一台机器东谈主。研讨器最引东谈主设计，也最不进修，和快速演进的机器东谈主学习领域缜密连结。往日两年，这个领域产出的机器东谈主演示在视频里看起来很唬东谈主，但对这些演示到底展示了什么，需要训诲面对。简直总共演示王人局限于严格受控的实验室环境，物体种类有限，任务时期很短。莫得一个在真实部署所需的复杂度、多变性和陆续性上被考据过。 从一段精彩的演示短片到一台能在厨房、仓库或手术室里稳重职责的机器东谈主，中间鸿沟依然深广。尽管如斯，营业押注不小。一批资金充裕的入局者正在竞相委派通用研讨系统，最大的基础设施公司正在把研讨才略架设在更粗鄙的模拟栈之上。一台能研讨的机器东谈主即是一台能干活的机器东谈主，总共这个词行业王人在抢阿谁率先到尽头的东谈主。模拟是两者之间的桥。 如若说言语是对宇宙的详尽，像素是对宇宙的投影，那么几何、物理和能源学即是宇宙自身。模拟器必须在这一层运作：它是结构性的骨干，视觉外不雅（供渲染用具）和动作效果（供研讨用具）王人不错从中导出。一个掌抓了模拟的模子，不错把我方的融会投射为像素供东谈主破钞，也不错投射为动作计议供具身智能体使用。一个只掌抓了渲染或只掌抓了研讨的模子，反过来作念不到。 营业阴私面极广。仅英伟达Omniverse一个平台，就对准了公司我方计算超万亿好意思元的可寻址市集，涵盖工场、仓库、供应链和数字孪生。机器东谈主磨练、自动驾驶测试、建筑可视化、工程设计和药物发现，总共这些赛谈王人依赖某种情势的模拟才略。这个领域最难的敞开问题也聚首在这里。带有明确几何标注、材质属性和物理注释的三维数据，比渲染器磨练用的互联网视频稀缺好几个数目级。\"从模拟到现实\"的鸿沟，也即是事物在仿真中的步履与在现实中的步履之间的互异，恒久存在。生成式模拟器在此基础上引入了一层新风险：AI生成的几何结构可能看起来正确，但潜伏自相交面或失实比例尺，一朝接入物理引擎就会产出毫意外想的物理死一火。多物理场模拟，刚体、柔性体、流体和布料同期交互，诡计资本比单一物理域向上几个数目级。在World Labs，Marble是咱们参加这个领域的第一步。它领受多模态教唆（文本、图像、视频或空间草图），生成可探索的三维环境，同期输出用于视觉探索的高斯溅射和物理引擎可操作的碰撞网格。但Marble仅仅一段更漫长故事的第一章，跟着渲染、模拟和研讨之间的畛域初始消融，这个故事正在总共这个词领域被书写。畛域正在消融，接下来会若何但更热切的还在背面。当下这个领域最热切的趋势是：三个类别正在相互和会。 分享的洞见在于，渲染一个宇宙、模拟一个宇宙、在一个宇宙中行为所需的学问，大体上是并吞套。延续前边的例子，一个真确融会杯子如何放在桌上的模子，融会它的几何时势、材质属性、受力响应，应该能从任何角度渲染阿谁杯子，能模拟杯子被推倒时会若何，也能研讨一只手去把杯子提起来。三个类别是并吞套底层融会的三种投影。例如来说：近期迥殊量未几但陆续增长的磋磨，来自多个机器东谈主实验室，一经解说至少在观点上，一个预磨练的视频渲染器不错被用作\"宇宙+动作\"结伴计议的骨干网罗。这暗意了渲染器和研讨器之间的一座桥，让一个模子同期假想会发生什么和该作念什么。World Labs的Marble一经能从并吞个模子同期输出高斯溅射和碰撞网格，消解了渲染器和模拟器之间的畛域。每一个层面王人在从被迫输出走向交互式系统：渲染器初始收受动作输入，模拟器产出的宇宙越来越可控可剪辑，研讨器节约单响应走向三想此后行。逻辑尽头是一个统一的宇宙模子：一个基础模子，能渲染相片级传神的视角，生成物理精确的结构，研讨动作序列，证据下流需要在输出模式之间切换。 咱们面前仍有一系列令东谈主生畏的挑战。数据图景极不平衡：渲染器浸泡在互联网视频的海洋中，模拟器和研讨器濒临三维金钱和机器东谈主演示数据的严重空泛。优化视觉好意思感可能阵一火机器东谈主或高精度模拟所需的精确性。在一个架构内统一这些矛盾，是今天宇宙模子磋磨中最中枢的敞开问题，亦然World Labs在陆续演进Marble的经过中决心去作念的事。然则主见是澄莹的。自1980年代末以来，这个领域一直在押并吞个赌注：一个弥散丰富的宇宙模子，即是任何智能体去看宇宙、构建宇宙、活着界中行为所需的全部。这个赌注如今正驱动着整整一代磋磨。赋予这一赌注意量的，是正在发生的和会：三条各自一经鼓动和塑造了数十亿好意思元产业的工夫路子，开始以寂然磋磨名堂起步，面前初始说明得像一个举座。跟着它们之间的畛域消融，它们将重塑一个更大的东西：机器智能与其所栖居的物理宇宙之间的关系，也即是空间智能的长弧。言语赋予了机器辩论宇宙的神色。宇宙模子，是机器终于初始融会、假想、推理这个宇宙，并在其中与之互动的神色。