黃仁勳「每天都在用」的 Perplexity 開始重構 Attention,把「判斷」做成了一個獨立模型
Decider v1.3:63 項分類任務準確率達 91.6%,對標 Jev 成本直降 61%。 作者丨鄭佳美 編輯丨岑 峯 剛剛,黃仁勳每天都在用的「AI 導師」 Perplexity 有了新動作:正式推出 Decider v1.3,直接把 AI 系統裏的判斷能力單獨做成了一套模型。Perplexity 這次直接改了模型處理判斷任務的方式:同一份上下文可以同時交給多個問題使用,模型只需進行一次前向傳播,就能輸出各個問題的答案概率。 過去需要反覆調用 LLM、生成文本、解析結果的流程,現在可以收斂到一次模型計算中。爲了讓多個問題共享計算時不互相干擾,Perplexity 還重新設計了 Attention 機制,讓共享狀態讀取全部問題,同時限制問題之間直接交換信息。v1.3 進一步加入 Locate 能力,可以根據字段描述直接定位原文跨度,將判斷與文本抽取整合進同一套架構。這套模型已經進入 Perplexity 的生產系統。在一次內部安全審查中,它單日處理了 7000 個 Agent 會話,累計讀取 10 億 token,並推動 14 項規則修復。從技術架構來看,Decider 有三個緊密關聯的設計層次:輸入端如何把共享上下文與獨立問題組織在一起,注意力層如何控制不同問題的信息交互,訓練與輸出層又如何讓同一套模型兼顧分類判斷和文本定位。其中,隔離式問題注意力改變了多任務共享計算的底層方式,也是理解整個 Decider 架構的關鍵切口。01一份上下文,承載多個判斷任務Decider 的輸入其實是由共享狀態(State)和若干問題塊(Question)組成。State 保存網頁、文檔或 Agent 執行記錄,Question 描述具體判斷目標,並列出候選答案。每個候選項映射到預定義標籤 Token,例如 A、B、C,特殊的 Token 則標記答案讀取位置。模型處理時,會提取 Marker 對應位置的隱藏狀態,交給決策頭計算各候選項的分數,再轉換爲概率分佈。這裏的決策頭由基礎模型原有的語言模型輸出層改造而來:Perplexity 保留 A、B、C 等候選標籤對應的權重行,移除其餘詞表輸出權重,再針對決策任務進行訓練。原本用於計算下一個 Token 概率的輸出層,由此轉爲專門處理選項判斷。這個設計讓任務定義與輸出計算分離。調用方可以通過自然語言描述問題,通過選項限定答案空間,模型則負責根據上下文計算各選項的概率。情感分析、自然語言推理、意圖檢測、實體匹配、內容審覈、事實覈查和評分,可以採用同一套輸入協議,不需要爲每種任務單獨建立一套模型結構。Perplexity 將數百個公開數據集轉換爲 State、Question、選項和目標組成的統一訓練格式。訓練目標既可以是正確標籤,也可以是完整的答案概率分佈。對於同一段長文本需要執行多項判斷的情況,多個 Question 可以放進同一次前向傳播,模型只需處理一份共享上下文。不過計算收益需要準確理解:增加問題仍然會增加 Question Token 和注意力計算,Decider 節省的主要是長文本被重複編碼的開銷,以及生成式模型逐 Token 解碼和外部解析的成本。問題數量越多、共享文本越長,複用價值越明顯。輸出概率還保留了業務策略的調整空間。模型負責給出候選項的概率分佈,應用根據誤報、漏報的業務代價設置閾值。網頁過濾和 Agent 執行審查可以使用不同門檻,無需爲每種業務重新訓練決策模型。02多任務如何共享信息,互不干擾輸入協議確定後,新的問題落在模型內部:多個 Question 同時進入 Transformer,它們之間應該建立怎樣的信息連接?Decider 以生成式 LLM 爲骨幹,原有因果注意力按照文本順序組織信息,當前位置只能讀取自身及前面的 Token。這種結構適合逐步生成文本,卻不利於需要理解完整上下文的判斷任務。Perplexity 因此改用雙向注意力,讓 Token 可以讀取完整輸入。消融實驗顯示,這項調整改善了模型的決策表現。雙向注意力開放了完整上下文,但也讓多個問題之間出現信息交互。v1.2 使用完全互見模式,State 和全部 Question 可以相互讀取。這樣一來,某個問題的表示可能受到其他問題的影響,調用方調整問題組合時,原有判斷也可能隨之變化。v1.3 引入的 Isolated Question Attention 改變了這套連接關係:State 可以讀取全部 Question,而每個 Question 只能讀取 State 和自身 Token,不能直接讀取其他問題。這裏有一個關鍵細節:State 不再只是保存原始文本的容器,它還承擔了跨任務的信息匯聚作用。它可以讀取整組問題,在多層注意力計算中形成包含任務條件的上下文表示,每個 Question 則通過 State 獲取相關信息,並保留自身的任務描述。這種結構切斷了 Question 之間直接傳遞局部表示的路徑,但沒有消除全部間接影響。由於 State 已經讀取其他問題的信息,經過多層 Transformer 的傳播,問題 A 的信息仍可能先進入 State 的後續表示,再被問題 B 讀取。Perplexity 控制的是直接注意力連接,而非讓各項任務在數學意義上完全獨立。這個區別也解釋了爲什麼 v1.3 沒有選擇完全可緩存模式。團隊測試過另一種結構:State 只讀取自身內容,Question 再讀取 State 和自身 Token。雷峯網這樣同一段文本可以在不同請求之間複用緩存,因爲 State 表示不依賴具體問題集合。但代價是 State 編碼時看不到任務要求,無法根據當前問題調整上下文表示。Perplexity 最終選擇隔離式問題注意力,保留問題對上下文的條件作用。團隊還通過標籤擾動測試檢驗輸出穩定性。在 372 道多項選擇題上,改變選項順序、標籤映射和標籤名稱後,Decider v1.3 只有 0.27% 的問題發生語義答案變化,Jev 1.14 的變化比例爲 2.69% 至 4.84%。相同輸入重複執行時,Decider v1.3 的輸出保持一致。隔離式注意力由此成爲 Decider 的核心架構設計:它決定了共享上下文怎樣參與多項判斷,也決定了不同問題之間可以通過哪些路徑交換信息。03從選項判斷,到文本跨度抽取普通決策頭的輸出範圍由預設選項限定。當任務要求模型從原文中找出一段未知長度的文本時,僅靠 A、B、C 這樣的標籤已經無法滿足需求。Decider v1.3 因此增加 Locate,將輸出擴展到文本跨度定位。Locate 新增了 Token、跨度頭(Span Head)和 LoRA 適配器。每個待抽取字段擁有獨立的 Locate Token,其嵌入由此前訓練得到的 Marker 表示初始化。跨度頭結合 Locate Token 與 State 中各 Token 的隱藏表示,對候選文本片段的起點、終點及兩端配對關係進行評分,同時爲字段生成專屬閾值。起點與終點評分負責尋找文本邊界,配對評分則判斷兩個位置能否組成有效片段。單獨找到兩個高分位置,並不意味着它們一定屬於同一段合理文本,因此配對關係也需要獨立學習。模型返回原文字符區間,下游程序可以直接讀取對應內容。leifengwan訓練採用改進版 InfoNCE 目標,讓正確跨度的分數高於閾值,同時讓閾值高於其他候選跨度。當原文沒有對應字段時,模型需要將閾值抬高,使候選片段無法通過篩選,進而返回空列表。Perplexity 使用命名實體識別、PII 檢測和抽取式問答數據訓練 Locate,字段描述既有簡短標籤,也有自然語言指令。這樣的數據組織讓模型需要理解字段含義與文本內容之間的關係,而非只記憶固定字段名稱。Locate 也帶來了參數干擾問題。原有決策頭學習候選選項之間的概率分佈,跨度頭學習文本邊界和片段配對,兩種任務對模型內部表示的要求存在差異。Perplexity 發現,將 Locate 適配器合併進主幹後,普通決策請求會出現退化,因此保留獨立 LoRA 適配器,只在文本定位任務中啓用。主模型採用分階段訓練。較大版本以 Qwen3.8-27B 爲基礎,先進行大規模通用全量微調,並排除公開評測基準的訓練劃分,隨後通過 LoRA 加入領域任務,再進行視覺適配。團隊對三個不同隨機種子的文本訓練權重取平均,以改善模型整體表現。Flash 版本以 Qwen3.5-4B 爲基礎,通過較大 Decider 蒸餾獲得能力。學生模型擬合教師給出的完整概率分佈,通過 KL 散度學習教師對不同候選項的相對判斷。雷峯網相比只學習正確標籤,分佈蒸餾還保留了其他候選項的相對置信程度。Perplexity 表示,在相同訓練數據下,KL 蒸餾在留出任務上的泛化表現優於標準交叉熵目標。評測中,Decider v1.3 在 63 項分類任務上的平均準確率爲 91.6%,比 Perplexity 原有生產分類器高 6.54 個百分點,在 72 項檢索任務中,逐點重排的平均 nDCG@10 達到 83.99,比 Qwen3-Reranker-8B 高 1.81 分。八種語言任務的平均準確率爲 88.16%,Jev 1.14 爲 85.41%。Locate 在 17 項域外任務上的平均得分爲 69.0,Flash 爲 63.6。生產評估覆蓋 API 上線後前 18 天的一百萬條請求,去重後包含 2,318,887 個問題。由於生產請求缺少人工標註,團隊使用前沿 LLM 評判模型生成參考答案。Decider v1.3 與參考答案的一致性爲 93.98%,略高於 v1.2 的 93.68% 和 Jev 1.14 的 93.35%。這項數據反映模型與評判模型的吻合程度,但不能直接等同於人工標註下的真實準確率。04判斷,開始擁有獨立計算架構Decider 的技術路線圍繞一個明確問題展開:如何讓模型在保留上下文理解能力的同時,高效處理大量結構化判斷。它通過輸入協議、隔離式注意力和 Locate 擴展,建立了從選項判斷到文本定位的完整能力體系。但這套架構仍有邊界。目前公開的評測結果展示了它在分類、檢索重排和文本抽取上的表現,生產案例也說明 Perplexity 已經將其用於內部工作流程。不過,模型的實際收益仍然取決於任務類型、上下文長度、並行問題數量和部署成本。現有數據還不足以說明這種架構適合所有 AI 應用,尤其是開放式推理和複雜規劃,通用 LLM 仍然有自己的優勢。對於 Agent 系統,Decider 確實是提供了一種值得繼續驗證的分工思路:讓通用 LLM 處理複雜理解與生成,將邊界清楚的分類、篩選和評估交給專門模型。但兩者能否形成更合適的協作方式,還需要結合真實工作負載中的延遲、資源消耗和任務表現進一步檢驗。參考鏈接:https://www.perplexity.ai/en-GB/hub/blog/perplexity-decider