智源悟界·PhysCapBench:首個跨領域的世界模型“物理數據量尺”
物理AI基模的核心,是從真實經驗中學習可遷移的物理規律,形成理解、預測和作用於物理世界的能力。真實世界的數據裏藏着豐富的物理信息:互聯網視頻記錄運動與環境演化,Egocentric呈現手物交互,真機軌跡記錄動作與狀態響應,力觸反饋補充接觸力、滑移與形變,不同數據共同提供了互補的物理經驗。如何衡量、提煉和耦合這些數據中的物理特性,是構建物理AI基模亟待解決的基礎問題。圍繞這一問題,智源研究院聯合逆矩陣、北京大學、清華大學、北京航空航天大學推出悟界·PhysCapBench——首個覆蓋第三人稱場景、第一人稱操作與手持夾爪示範三大領域,統一評測視頻Caption物理信息的基準。 悟界·PhysCapBench: A Cross-Domain Benchmark for Physically Grounded Video Captioning跨領域視頻描述物理信息評測基準它從視頻描述入手,統一度量描述對物理信息的覆蓋與保真,爲描述策略選擇、標註質量評估和訓練數據優化提供一把跨領域的“物理數據量尺”。 圖1:悟界·PhysCapBench整體框架——跨領域數據、物理標註、描述評測與下游驗證 世界模型缺的物理信息,可能就藏在一段Caption裏。在世界模型預訓練數據的建設中,我們持續觀察到:面對第三人稱場景、第一人稱操作與手持夾爪示範等不同來源的視頻,現有Caption往往能概括場景與動作,卻未能充分保留運動、接觸、狀態變化及其時序關係;這一缺口不只存在於原始數據的簡短說明裏,也可能出現在更長、更流暢的自動生成描述中。語言表達的完整,並不等於物理信息的完整。軟膠玩具是一個典型例子(見圖7):它被壓扁後,會隨壓力解除逐漸恢復形狀,受壓、形變、卸載與回彈,共同構成這一過程的關鍵物理信息。在我們的生成對比中,使用物理描述時,結果更好地保留了玩具的立體形態與卸載後的恢復趨勢;使用原始描述時,玩具在壓力解除後仍呈現明顯的扁平狀態。Caption對物理過程的表達,直接關係到模型獲得怎樣的條件與監督。悟界·PhysCapBench把預訓練數據實踐中的觀察與思考,沉澱爲跨領域參考描述、統一評價維度與下游驗證流程:既評價Caption保留了哪些物理信息,也檢驗這些信息能否服務於視頻生成與機器人策略學習,爲多源真實數據轉化爲有效訓練監督提供依據。01 覆蓋三類互補數據,建立跨領域評價框架第三人稱場景、第一人稱操作與手持夾爪示範,從不同視角呈現物理過程,爲世界模型提供互補的學習經驗:第三人稱場景重點覆蓋物體運動、形變、相互作用與環境變化;第一人稱操作關注人與物體的接觸、操作過程及狀態轉換;手持夾爪示範則記錄夾爪與物體的交互、操作階段及執行結果。我們把三類數據納入同一評價框架,以物理信息的準確性與完整性作爲共同的質量目標。基準共包含1,500段視頻序列,每個領域各500段;對於多視角示範,同一次交互過程作爲一段視頻序列組織。 圖2:第三人稱場景、第一人稱操作與手持夾爪示範中的物理過程 圖3:三大領域數據概覽02 七個評價維度,定位Caption的物理信息缺口描述策略對任務目標、動作步驟和狀態變化的覆蓋各有側重。悟界·PhysCapBench 從七個維度評價Caption,把整體質量落到具體的信息類型,爲描述策略選擇與標註優化提供依據。七個維度各自的檢查重點如下。 圖4:悟界·PhysCapBench的七個物理信息評價維度七個維度合起來要回答的,其實是同一個問題:這段描述有沒有把物理過程說清楚、說準。以下爲第一人稱操作領域的描述策略榜單,綜合得分與七個維度分數一欄排開,可以直接看出不同策略的信息短板。 圖5:第一人稱操作領域描述策略榜單,綜合得分與七個維度 Physis爲內部測試03 以視頻證據爲基礎,構建可覈驗的物理描述物理過程通常跨越多個時間階段:接觸發生前的運動、接觸後的形變,以及動作結束後的狀態,往往需要結合連續的視頻證據才能準確描述。因此,高質量的物理Caption需要同時滿足信息覆蓋與證據一致性——既保留關鍵變化,也確保描述能夠在視頻中得到支持。悟界·PhysCapBench圍繞這一要求組織參考描述構建流程:從全局觀察與事件定位出發,逐步梳理參與對象、動作過程、接觸關係和狀態變化,再對描述內容進行覈驗,七名專業標註人員參與標註與質量檢查。對於機制與因果信息,描述以可觀察證據爲基礎;對於複雜操作,則重點檢查階段劃分、交互關係與結果狀態是否保持一致。 圖6:基於視頻證據的物理標註流程通過這一流程,參考描述既服務於統一評測,也爲後續描述生成和數據標註提供可複用的質量依據。 04 物理信息寫得完整,下游模型表現能好多少?描述質量的評價,需要進一步與下游效用建立聯繫:悟界·PhysCapBench從視頻生成與操作策略兩個方向,檢驗更完整的物理信息能否改善模型表現。視頻生成方面,更完整的物理描述能提供更有效的生成條件。開頭提到的軟膠玩具案例,直觀展示了不同描述條件下的生成差異。 圖7:軟膠玩具受壓與卸載後的生成對比。左爲真實視頻,中爲使用物理描述的生成結果,右爲使用原始描述的生成結果 進一步,在固定生成模型、首幀與生成時長的條件下,分別使用原始數據描述和物理描述作爲條件,比較生成視頻與真實視頻之間的感知差異。 圖8:原始描述與物理描述條件下的視頻重建指標對比。LPIPS與PVCS衡量感知差異,數值越低越好;連線連接同一模型在兩種描述條件下的均值,綠色標註爲相對下降幅度物理描述在兩個領域、兩種生成模型上均帶來改善。其中,第一人稱操作領域的 LPIPS相對下降最高達到30.88%,PVCS相對下降最高達到28.09%。這些結果表明,描述中保留的動作、交互與狀態信息能夠形成有效的生成條件,幫助模型生成更接近真實視頻的演化過程。機器人策略方面,通過Training Instruction Upsampler豐富訓練語言監督。它在原始任務指令的基礎上,補充視頻中可觀察的動作過程、接觸關係與狀態變化,爲策略學習提供更完整的語言監督;增強指令用於訓練階段,推理時仍使用原始簡短指令。下面的物理交互示例展示了操作過程中需要關注的狀態變化:失敗軌跡在操作與放置過程中使碗發生傾斜、翻倒,未形成穩定堆疊;成功軌跡則完成了三隻碗的堆疊。 圖9:RoboDojo 接觸與放置示例,左側失敗、右側成功物體是否隨夾爪穩定運動、接觸後是否發生傾斜、釋放後是否形成穩定支撐,都是操作過程中的關鍵狀態信息,將這些信息納入訓練描述,有助於爲策略學習提供比任務目標更充分的過程監督。爲評估訓練指令增強的實際效果,我們在一個RoboTwin 2.0子任務中開展受控實驗:使用同樣的50條示範,對其中一半訓練樣本採用增強指令,π0.5 在40個共享測試初始場景中的成功次數從15次提升至18次,成功率由37.5% 提升至45.0%,提高7.5個百分點。在RoboTwin與RoboDojo的多任務評估中,四種策略模型的所選任務平均成功率均有所提升。從生成條件到訓練指令,兩類實驗展示了物理描述的下游價值,也爲數據優化提供了依據:Caption的質量應與模型預測和執行所需的信息相聯繫。05 總結世界模型的數據建設,需要關注視頻中有哪些物理經驗,以及這些經驗是否被完整、準確地轉化爲訓練監督。悟界·PhysCapBench將預訓練中的數據實踐,沉澱爲一把跨領域的“物理數據量尺”:通過三大領域的參考數據、七個物理信息評價維度,以及視頻生成與操作策略的下游驗證,它爲描述策略選擇、標註質量評估與訓練數據優化提供統一依據。從評測Caption的物理信息,到驗證其下游價值,悟界·PhysCapBench爲世界模型基座建設提供可複用的數據與評測基礎設施。官方網站https://hfwang2001.github.io/physcapbench-site/Githubhttps://github.com/hfwang2001/PhysCapBenchHugging Facehttps://huggingface.co/datasets/hfwang01/PhysCapBench論文鏈接http://arxiv.org/abs/2611.16424