李飛飛最新 CoRL2026 演講實錄:從「櫥櫃模型」到世界模型,機器人需要什麼樣的 AI ?
時隔兩年,World Labs 的工作已經完全不同了。 作者丨齊鋮湧 編輯丨岑 峯 2026年11月,CoRL(機器人學習頂會)在奧斯汀開幕。這一屆的演講嘉賓,有一個無法迴避的名字,李飛飛。斯坦福教授、ImageNet發起者、World Labs創始人。就在本屆CoRL之前,World Labs被AMD收購的消息正在圈內發酵,她即將出任AMD首席科學家。這屆CoRL現場,她不僅全面介紹了World Labs最近的工作和她的行業觀點,還邀請AMD蘇媽參與了對話圓桌,某種意義上,這是她的"AMD首秀"。爲她做開場介紹的,是她的學生、本屆CoRL組織者之一Yuke(朱玉可)。他講了一個細節:畢業典禮上,李飛飛對他說,“你在我的實驗室時是我的學生,但從今往後,你是我的朋友。”這場演講的正式主角,是World Labs與斯坦福團隊研發的新模型Atlas:一個統一的生成與重建世界模型。以下是AI科技評論帶來的現場實錄。▎《Atlas:A Unified World Model for Generation and Reconstruction》▎分享者:李飛飛非常榮幸受邀來到CoRL,尤其是有好幾位我的前學生都是組織者。你們幹得真棒,我知道,因爲我很多論文和工作坊提案都被你們拒了。(全場笑)向CoRL致敬。今天我想分享我們實驗室最近開發的一個模型,叫Atlas:一個統一的生成與重建世界模型。既然在CoRL,就先從機器人學的動機講起。機器人領域最近變化很大,但不管我們用什麼方法,機器人要解決的根本問題是:給定世界狀態、給定目標、給定機器人,每一個時刻下一步該做什麼?大體上,機器人需要解決幾個問題:第一,理解和表示世界的狀態,用隱式還是顯式可以討論,但"理解"本身很重要;第二,預測有後果的動作,並加以規劃。雷峯網最後,數據永遠是難題。機器人是典型的長尾問題,成功部署極其受限,所以我們總希望能通過儘可能多地模擬不同環境來補充真實數據,用於訓練和評估。無論用什麼方法,這三個問題在機器人學裏都依然重要。而它們恰好對應世界模型要解決的問題:理解環境,對應渲染;預測動作後果,對應規劃;模擬世界狀態,對應仿真。渲染、規劃與仿真,世界模型的三大維度我不想教條地說它們完全獨立,實際上它們在很多方面可以統一、彼此銜接,這些都是這個領域最前沿、最令人興奮的方向。今天我要專門講的Atlas,主要解決渲染和仿真問題,尤其是模擬世界的幾何以及3D/4D動態。簡而言之,Atlas是一個從零訓練的自迴歸基礎模型,單一模型,接收多模態輸入,文本、圖像、視頻、深度信號、灰度框(graybox)或3D結構信號。它輸出像素幀;不僅生成時空上漂亮的幀,還能合成新視角,從而實現高精度、高保真的3D重建。Atlas:聚焦於渲染和仿真先回顧一點歷史。計算機視覺有兩個非常重要的問題,研究者們花了幾代人的時間去理解。一是3D重建問題,從經典的"Building Rome in a Day"到最近的NeRF類神經渲染工作,根本問題是:給定不同相機位姿下的圖像,構建符合真實世界的3D世界。大多數方法需要大量帶位姿的圖像;位姿覆蓋不足時,重建出的區域就充滿不確定性。經典三維重建的問題所在另一條線是生成式AI。擴散架構天然適合多視角生成的探索,讓我們離"生成+重建"越來越近。已有不少出色工作嘗試聯合去噪多個視角來保持空間一致性,但總體結果有限:空間一致性難維持,且每次去噪只對應固定目標視角,計算昂貴、無法實時。經典三維重建很難維持空間一致性改變視角或實時運行,計算成本太高Atlas延續這條思路,試圖用一個模型架構、一套訓練配方,把生成與重建統一在同一個屋檐下。它是這樣做的,首先是一個極端:給定多張圖像,Atlas做重建;圖像足夠多時,做稠密重建,很好地恢復場景。另一個極端:零像素條件,只給一個文本提示,Atlas做純生成,並生成多幀視角一致的圖像。Atlas還能做連接兩端的事:我們稱之爲稀疏重建:只給極少量視角,極端情況只有一張圖,Atlas能估計相機位姿,再生成儘可能多的視角,重建並生成完整世界。它在一個模型內,從稠密重建到稀疏重建再到純生成,自由切換。看個例子。在座至少有人認得,這是斯坦福校園著名的主廣場(Main Quad)。給定兩張有限的圖像,模型"幻覺"出一個主廣場,熟悉斯坦福的人知道,這不是真的主廣場,它"神似"但不是:有一點那些拱廊的影子,大部分是生成的。給8張圖,效果好得多,相對這麼大的空間,8張圖非常稀疏,但它基本給出了整個廣場的全貌,只是著名的紀念教堂缺失了,因爲輸入圖像裏沒有它。最後是33張圖,總體上仍然非常稀疏,但其中一張裏有紀念教堂,於是Atlas基本上重建出了漂亮的、完整的斯坦福主廣場。還有一點要指出:這33張圖都是在地面上拍的,就是一個人拿着相機走了一圈,但我們生成了完全不同的視角,包括你們現在看到的這個航拍視角。Atlas的技術洞見是什麼?就是大家都聽過的下一token預測。我們的說法是,視角即一切(Viewpoint is all you need)。在強相機條件下預測下一個視角,這就是我們的目標函數。架構上,它是一個多視角自迴歸擴散Transformer。所以Atlas可以:輸入文本,生成帶相機位姿的圖像;輸入圖像,估計位姿,並基於輸入生成更多新位姿的圖像;接收多視角輸入,沿不同相機路徑在視角間插值和外推,恢復3D場景;還能接收深度圖或灰度框,輸出RGB像素,這在很多機器人和遊戲場景裏非常有用。Atlas 的生成、重建能力非常強看一些量化結果。幾天前,一個我們事先並不知情的第三方機構用約50萬次人工判斷,對多個最先進視頻模型做了相機控制生成的盲測( Rapidata 測評機構),Atlas排在榜首,明顯領先第二名。Atlas能生成超過60秒、視角一致的視頻。我特別想對比一下我們一年半前的上一代模型:那時生成範圍和幾何一致性都非常有限,有人批評說:“你們做的不是世界模型,是closet models(祕密不公開的,類似於被關在櫥櫃裏的模型)。”(全場笑)現在,我們已經從"櫥櫃"走進了大得多的世界。這是個有趣的生成例子:Atlas能接收兩張毫不相干的圖像,估計出合理的相機位姿,再補全場景其餘部分,創造出一個融合兩處場景的奇幻世界。這對創意應用非常合適。還有這個:給Atlas灰度框輸入,它能據此生成一個完整精美的大世界,這對機器人、設計和創意工作都很有用。重建方面,我們拿Atlas和專門的3D重建模型對比:在深度預測任務上跨7個數據集測試,Atlas甚至超過了最近最先進的專用3D重建與深度預測模型。Atlas本身不必使用高斯潑濺(Gaussian Splatting)做表示,但如果後置接上它,我們在6個數據集上與專用模型比較高斯潑濺重建誤差,Atlas同樣達到很強的SOTA水平。我們還調節輸入視角數量,從稀疏重建平滑過渡到稠密重建,在兩個數據集上都表現很好。看幾個例子。這是3D重建社區很著名的一套公寓:只給8張圖,Atlas重建出這個相當大的公寓,我們可以採樣各種視角,人對相機有完全的控制。這是一個"單圖升維"的例子:一張輸入圖,得到一個高斯潑濺世界,一個非常漂亮的奇幻空間。這個例子裏,模型不僅生成場景,還生成深度信息,讓藝術家能精確控制相機方向,得到想要的運鏡效果。再看兩個好玩的。熟悉電影的人知道"子彈時間"(Bullet Time):《黑客帝國》裏那個經典視效,當年需要數百臺相機陣列捕捉時空動態。現在,用我們辦公室裏臨時搭的3臺iPhone,Atlas就能重建這個時空動態場景,呈現漂亮的子彈時間效果。另一個進展是,我們最近把模型蒸餾到了實時運行:15fps。你們現在看到的是有人實時"駕駛"Atlas、實時生成的錄屏,可以看到保真度和視角一致性都非常好。(編者注:多視角自迴歸擴散加上 15fps 實時生成,背後對底層算力吞吐的要求不言而喻。就在這場演講結束後的對話中,李飛飛與 AMD CEO 蘇姿豐兩人正好深聊了世界模型與底層算力的協同問題,詳見今日次條實錄。)最後,Atlas在機器人仿真中確實有潛在應用,我們正在測試:既用於訓練導航機器人,也用於把真實世界接入仿真、再回到真實的機器人操作。這些機器人只在仿真的虛擬世界中訓練,卻能零樣本部署到真實世界。我們正在結合Atlas深化這項工作。Atlas可以給機器人重建空間,提供仿真環境大家可以關注我們的X賬號,很快就能看到這個工作的首映,我保證是個很棒的視頻。創作者可以用Atlas實現創作夢想,精確的相機控制、物體交互和實時導航。我們很快會向全世界開放Atlas,敬請期待。最後打幾個廣告。一是斯坦福BEHAVIOR挑戰賽,今年已是第二年,明天公佈獲獎者。今年非常激動人心,我們看到了包括生成式AI在內的新方法湧現。此外,我還有很多學生很努力才進入CoRL,我們有6篇論文,World Labs團隊和斯坦福學生團隊爲這些研究付出了很多。謝謝大家。雷峯網▎後記:以上就是演講全文,這個主題爲《一個統一的生成與重建世界模型——Atlas》的演講結束後,李飛飛還與AMD CEO蘇姿豐(Lisa Su)進行了一場關於算力、機器人與“這個時代最大的失誤”的爐邊對話。這是在AMD收購World Labs後兩位的首次同臺,但那是另一個故事,我們下一篇推文見。