Newsora
IT之家11/21 11:24 · 20m ago

騰訊混元姚順雨團隊:Hy4 仍有很大改進空間,計劃訓練更大規模模型

IT之家 11 月 21 日消息,11 月 21 日凌晨,騰訊首席 AI 科學家、混元大模型負責人姚順雨和團隊成員,在 Reddit 進行了一場持續 120 分鐘的 AMA,回答全球開發者關於混元的“任何問題”。問答環節,有人詢問:字節跳動、Kimi 等似乎都在往 3 萬億、甚至 5 萬億參數的超大模型推進,而你們還在 7000 億。爲什麼?你們怎麼看參數量對模型能力的實際影響?這方面有什麼計劃?混元團隊回應:“Hy3 和 Hy4 已經表明,做得紮實的小模型也能超過更大的模型。它們的成本也更低,而且在這個過程中,你能學到更多、收穫更多。”不過,混元團隊也表示,Hy4 仍有很大的改進空間,尤其是通過後訓練。“我們正投入大量精力進行大規模強化學習,同時繼續改善用戶體驗和模型安全。我們還計劃訓練更大規模的模型。”對於是否有可能推出 240 億到 310 億參數的稠密模型?該團隊表示:“有可能,我們正在考慮。”對於是否會發布對標 Qwen 27B 稠密模型的小模型?發佈 100B 以下、專門做編程的模型嗎?該團隊表示:“第一個,有可能。第二個,大概不會。”IT之家注:姚順雨本科畢業於清華大學姚班,獲普林斯頓大學計算機科學博士學位,2024 年加入 OpenAI 並參與智能體產品 operator 與 deep research 開發。其研究聚焦語言智能體與現實世界交互,提出 ReAct 方法首創“推理 — 行動”結合的智能體範式,被學術界與工業界廣泛採納。2025 年 12 月,騰訊升級大模型研發架構,新成立 AI Infra 部、AI Data 部、數據計算平臺部,全面強化其大模型的研發體系與核心能力。姚順雨出任“CEO / 總裁辦公室”首席 AI 科學家,向騰訊總裁劉熾平彙報;同時兼任 AI Infra 部、大語言模型部負責人,向技術工程事業羣總裁盧山彙報。今年 7 月,騰訊宣佈混元多模態模型部門與大語言模型部門合併,成立基礎模型部,統一由姚順雨管理,以進一步提升模型研發和協同效率,探索全模態模型的智能上限。

Aggregator site: only the publisher's summary is shown here. Read the full story at the source.
Read full story →