基於 Fisher–Rao 流形的功能導向 LLM 合併

權重空間合併 (Weight-space Merging) 的目標是把多個微調後的 LLM 組合為單一模型，而無須重新訓練。然而現有的大多數做法本質上仍是參數空間的啟發式規則，這造成三個實際限制： 1. 幾何不對齊：線性平均 (Linear Averaging)、任務向量 (Task Vector) 等規則是在歐式座標 (Euclidean Coordinates) 上操作，但我們真正想合併的其實是功能 — 也就是模型在各任務上的預測行為。 2. 表徵崩潰：當來源檢查點相距較遠或更加異質 (Heterogeneous) 時，歐式混合常常觸發表徵崩潰 (Representation Collapse)，表現為活化變異數萎縮與有效秩 (Effective Rank) 下降，準確率因而急劇惡化。 3. 無法擴展到多專家：許多幾何啟發的方法最自然的形式只能用於兩個模型的插值（如 SLERP 類規則），缺乏能乾淨推廣到 N > 2 位專家的原理性目標函數。 本文把模型合併視為在 Fisher–Rao 流形 (Fisher–Rao Manifold) 上計算（帶權）Karcher/Fréchet 平均的問題；在局部上這等價於最小化預測分佈之間基於 KL 散度 (KL Divergence) 的功能距離。我們推導了一個實用的不動點 (Fixed-point) 演算法，採用一個輕量級的球面代理 (Spherical Proxy) 以保持範數 (Norm Preservation)，並可直接推廣到多專家合併。在各種基準與崩潰診斷指標上，我們的方法在被合併模型數量與異質性增加時依然穩定，並持續超越既有基線。 程式碼：https://github.com/arcee-ai/mergekit/commit/09bbb0ae282c6356567f05fe15a28055b9dc9390 。我們的實作建立在 MergeKit (Goddard et al., 2025) 之上；MergeKit 倉庫非由我們撰寫，但修改 karcher.py 的 pull request 是我們的貢獻。