Newsora
IT之家11/19 14:55 · 6m ago

豆包實時音視頻通話模型 1.0 API 全量上線,可實現邊看邊聽邊說全模態實時交互

IT之家 11 月 19 日消息,今天,火山引擎正式上線豆包實時音視頻通話模型(SeedRealtime 1.0) API 服務,帶來全模態交互的新體驗。據介紹,SeedRealtime 將聲音、畫面、時序與表達統一到同一個端到端模型中,能在連續的多模態信息流上實時交互,帶來“邊看、邊聽、邊說”的全新體驗。這大大降低了傳統語音級聯繫統依賴 ASR、VLM、TTS 等多個模塊串聯帶來的延遲疊加和信息損耗。模型不再只是等待用戶提問,而能持續理解場景變化,在合適的時機主動開口,把看、聽、說納入同一套實時決策體系,讓“聽到的”和“看到的”共同參與每一次實時判斷與表達。IT之家注意到,SeedRealtime 原生支持聲音、畫面與時序信息的深度融合,既能結合場景消解同音詞歧義,也能準確理解視覺中的時序指代,讓所見、所聞與所說融爲一體。這意味着,在多人、嘈雜、開放的真實環境中,模型不僅能看懂當前畫面,還能分清說話對象、理解上下文關係,並基於多模態信息完成更準確的實時判斷。無論是多人協同交流、跨語言導覽,還是帶視覺上下文的實時問答,交互都更自然、更完整。在多人聚餐場景中,Seed Realtime 1.0 可結合視覺、語音區分自動不同人物,記住各人身份,還能能依據多人不同需求定製旅行方案。Seed Realtime 1.0 具備持續環境感知與主動表達能力,能夠在察覺關鍵目標出現、畫面狀態變化或任務節點到來時,主動進行提醒、反饋和補充,讓交互從被動響應升級爲主動協作。這種能力讓模型可以更好適配真實業務流程。例如在設備操作、學習輔助、任務提醒等場景中,模型能夠持續觀察當前狀態,在合適時機主動介入,而無需用戶每一步都顯式發問。對開發者而言,這將幫助實時 AI 應用從“會對話”進一步走向“會協助”。在機器操作場景中,Seed Realtime 1.0 看到用戶將整顆咖啡豆倒入萃取手柄,及時提醒咖啡豆需要先研磨;萃取完成後,根據咖啡油脂和出液量,主動給出縮短萃取時長的建議,可在真實場景裏自主點評,不用用戶一步步提問。在學習場景中,Seed Realtime 1.0 能持續監控翻頁畫面,識別到指定章節後快速提醒用戶並,並隨即報出學習率、動量、權重衰減等關鍵配置訓練參數。Seed Realtime 1.0 能夠實時感知用戶的對話狀態與交流節奏,在適當時機自然接話、停頓與回應,並具備較強的抗干擾能力,可分辨旁人閒聊與背景噪聲,不因干擾誤觸發。相比級聯模型,Seed Realtime 1.0 的音視頻對話節奏問題減少了一半,單次對話能夠完整、順暢交流的概率也有明顯提升。這意味着,開發者在構建語音助手、智能硬件、陪伴式應用、實時客服等場景時,有機會獲得更接近自然交流的人機互動體驗。在嘈雜交通場景中,Seed Realtime 1.0 能夠自動過濾機場內的無關閒聊信息,當用戶詢問時,調用之前看到的大屏航班信息作答,同時精準識別指示牌,主動指引旅客到達網約車上車點。在家庭場景中,媽媽在一旁忙着別的事,讓 Seed Realtime 1.0 陪女兒學習動物英文。背景裏爸爸正在接電話、人聲不斷,但模型不受影響,始終跟着女孩手指的方向實時糾音、舉例造句,出聲時不遲疑,受干擾時不跑偏。

Aggregator site: only the publisher's summary is shown here. Read the full story at the source.
Read full story →