Newsora
雷峯網11/18 16:28 · 2h ago

清華徐夢迪:預訓練做再好都不夠,機器人需要在部署中學習 | CoRL 2026

人機交互不只是目標,更是解決方案。 作者丨鄧哲敏 編輯丨齊鋮湧 2026 年 11 月 12 日,CoRL 2026 “Learn@Deploy”(機器人部署中學習)半日研討會上,清華大學交叉信息研究院助理教授徐夢迪以 Keynote 講者身份做開場報告。徐夢迪從清華車輛工程專業畢業後,前往卡內基梅隆大學機械工程系讀博,師從 Safe AI Lab 負責人趙鼎,論文《構建可適應的通用機器人》拿下該系最佳博士論文獎。她在論文中指出,構建通用機器人不能只靠堆參數、堆數據、指望預訓練自然泛化,必須補上適應的能力,讓機器人到現場後靠少量新信息快速調整策略。博士畢業後,徐夢迪來到斯坦福視覺與學習實驗室,跟隨吳佳俊、李飛飛做博士後。期間,她做了 ROSETTA,用大模型把人類五花八門的口語偏好轉成機器能學的獎勵信號,讓機器人學會訓練時沒見過的新指令。2025年,徐夢迪加入清華叉院,組建自己的實驗室,方向進一步聚焦到“部署時學習”。2026 年初,團隊發佈 CoVer-VLA,讓機器人在行動前先多生成幾組候選動作,再用驗證器挑出最貼合指令的那一組,以此對齊指令。而 Dex-X 從人類視頻學習靈巧操作,靠仿真補上視頻裏缺失的觸覺監督,入選 CoRL 2026。在這場報告中,徐夢迪對近兩年的工作做了集中提煉,並向學界分享了她對未來技術發展的判斷。以下爲雷峯網從現場帶回的演講實錄精編。▎報告人:徐夢迪 清華大學交叉信息研究院助理教授報告題目:Building Adaptable Generalist Robots for Human-Centered Environments01爲什麼要在部署中學習今天我想討論的是,如何構建可適應的通用機器人,尤其是有人類在場景中的機器人。這類場景的獨特挑戰在於,機器人要在開放世界中完成導航和操作任務,比如清理午餐後的桌面;還要與人交互,從遵循指令、偏好、手勢,到物理輔助,比如扶人站立或行走。我有一些觀察,希望能激發大家思考爲什麼在以人爲本的場景中部署時學習非常重要。第一,人類很容易要求機器人完成超出其技能範圍的任務。最簡單的辦法是讓人做一次,機器人直接學習人的行爲或偏好。比如倒水,機器人起初不會,或者遇到一個沒見過的新水杯,人可以演示一次,讓機器人瞭解物體性質並完成任務。第二,開放世界環境很多情況下是可觀測的。比如低成本機械臂要拿一個裝了很多水的水壺,第一次嘗試後,它知道水壺超出了負載,第二次就可以吸取經驗,改用雙臂抬杯再倒水。第三,人類偏好差異很大。倒水時,不同人想要的水量不一樣,哪怕是同一個人,一天當中不同時間想要的水量也可能不同。機器人需要與人進行流式交互,比如讓人按綠色按鈕直接控制水量。這些觀察都引導我們得出一個結論:機器人必須在部署時獲取新信息來適應其策略。但機器人學習仍然是機器學習問題,必須有監督。我們在部署時能獲得哪些監督信號呢?我認爲有三種是最重要的:智能體系統、人類反饋、仿真。第一個是智能體系統,由語言模型、視覺語言模型或獨立驗證器組成,幫助機器人判斷行爲的好壞,並提供這些好和壞的信號,讓機器人在不同嘗試中適應策略。另一個自然的監督資源,是讓人類直接與機器人交互。但人的指令類型多樣,包括語言、手勢、演示及聯合模態。最後就是仿真,既可作爲評估平臺,也可用於訓練,廣義上包括物理模擬器、機器人模擬器和世界模型,通過預測不同動作的結果來幫助機器人選擇更好的動作。接下來我將分享我們近期的三篇論文,每篇都結合了不同的資源。02規模驗證比規模策略學習更有效首先,讓我們談談爲什麼規模驗證很重要。我們的結論是,規模驗證可以比規模策略學習更有效地實現視覺語言動作對齊。做這項工作是因爲我們觀察到,即使是最先進的視覺語言動作模型,指令遵循能力仍然有限。已有做法一是通過改寫指令增強訓練數據,但這不可能覆蓋部署時所有人類指令;二是用更大的視覺語言模型骨幹,但學習動作生成會導致嚴重遺忘。那麼,能否假設已有預訓練視覺語言模型,只做輕量修改,通過測試時推理和驗證來提升策略?我們提出訓練一個獨立驗證器,用對比學習訓練,並與視覺語言動作模型組合成對比驗證框架。離線訓練時生成困難正例和負例;部署時驗證器在兩個層面工作,先驗證當前任務的好指令,再驗證給定指令下的好動作。論文鏈接:https://arxiv.org/abs/2602.12281流程是:給定用戶提示和當前場景圖像,先用視覺語言模型生成多樣化改寫指令,再對每個改寫指令多次調用視覺語言動作模型得到候選動作塊,然後在指令層面和動作層面分別打分,選擇最優動作部署。驗證器純離線訓練,部署時只需多次並行查詢,延遲很小。例如,做批量 32 時只增加約 8 毫秒,約佔整體延遲 1%。實驗還比較了不同採樣機制:只加高斯噪聲、重複查詢原模型、只做指令採樣、指令與動作混合採樣。結果表明混合採樣顯著提高動作多樣性,從而更可能採樣到最佳動作塊,減少動作錯誤。混合採樣的意義正在於用不同語言指令提高動作多樣性。我們還比較了“把額外數據直接用於微調 Pi 0”和“用少量數據訓練驗證器並在部署時驗證生成樣本”。後者性能提升快約 7 倍。分佈內提升約 20%,分佈外約 10%。該框架也較通用,可插入不同類型的視覺語言動作模型,並在每個動作塊開始時反覆驗證和選擇。03如何適應多樣化人類指令第二篇工作更貼近人本環境,目標是讓機器人策略更適應不同人類指令。這項工作約兩年前完成,當時用強化學習學習新技能,填補預訓練技能集與人類所需技能集之間的差距。論文鏈接:https://openreview.net/forum?id=Ig6goVdtjb我們做了個大型調查,讓機器人與 20 個不同的人交互,那些人對機器人沒什麼瞭解。我們發現人類的指令確實非常多樣化,而且人會切換角色,有時會把自己代入爲機器人,有時又像是機器人的監督者。要讓機器人適應這些偏好,在當時很難。我們的做法是,用智能體系統(比如視覺語言模型)把人類偏好轉化爲學習獎勵信號,再用這些獎勵訓練強化學習智能體。通過實驗,我們注意到最關鍵的組件是消除人類指令的歧義。最近我用 Codex 處理類似任務時也看到,即使指令很模糊,它也會先做 grounding,把指令與當前機器人 rollout 和當前場景關聯起來。當時我們試圖讓 grounding 機制更明確,而現在,最先進的語言模型已經具備這種機制。04從人類演示中學習第三篇工作討論如何從人類演示中學習。假設機器人跟場景裏的人交互,讓機器人學新技能最簡單的辦法,就是讓人演示一遍任務,機器人從演示裏學有用的行爲信號。論文鏈接:https://arxiv.org/abs/2609.07747難點在於,人類視頻雖然有豐富的行爲和偏好信息,但存在形態差距和模態差距。比如觸覺信息對人類很重要,沒有觸覺可能完不成任務,但機器人從人類視頻中很難直接獲得接觸信息。我們的辦法是用仿真器作爲橋樑填補接觸信息,使機器人在部署推理時能利用觸覺信息。流程很簡單,就是一個教師—學生架構,而且教師和學生都在仿真裏訓練。結果再次證明觸覺信息很重要:沒有觸覺,成功率至少要降 10%,尤其在靈巧操作場景裏,觸覺特別關鍵。05核心理念通過過去的這些工作,我形成了一些理念,我認爲如果想研究部署時學習,下面這幾點非常重要:第一,機器人應該像人一樣學習,既從智能體系統學習,也先人類學習。人機交互不只是目標,也是讓機器人更有能力、更通用的解決方案。第二,上下文學習很重要。機器人需要高頻與人交互,並且高頻適應策略。最輕量的方式是上下文學習,不更新模型參數;部署時也可能需要用新收集的交互數據更新參數。第三,機器人系統應作爲整體系統進化。System 1 可能需要新的機器人模型來實現更好的無意識學習,但整體上機器人系統可能是至少兩層結構的複雜系統,並帶有駕馭機制來利用不同語言模型的信息。第四,仿真很重要,它提供了探索場景的替代方式,也能節省探索和獎勵成本。國際機器人頂會 CoRL 2026 即將召開,歡迎參會的研究者、學生,以及關注 AI 前沿進展的讀者加入我們雷峯網的交流羣。在這裏,你可以認識同行、交流研究,分享招生信息、科研合作、約飯、投稿、組隊參會等,尋找潛在的合作伙伴。大會期間,我們也會持續帶來現場報道速遞、嘉賓演講解讀、前沿方向梳理和論壇精華。會場見,也在羣裏見。? 進羣傳送門: 掃碼進羣或添加微信szhsn610,備註:CoRL+單位/學校+姓名+方向。

Aggregator site: only the publisher's summary is shown here. Read the full story at the source.
Read full story →