論文鏈接：https://icml.cc/virtual/2026/poster/66729

代碼倉庫：https://github.com/erzhoujk/DisAlign

隨著大語言模型被廣泛應(yīng)用到真實(shí)場景中，傳統(tǒng)只追求“平均偏好”或單一價值取向的對齊方法，已經(jīng)難以滿足現(xiàn)實(shí)需求，因?yàn)椴煌脩?、文化和任?wù)場景往往對應(yīng)著不同且可組合的人類價值觀。因此，“多元價值對齊”變得越來越重要，模型應(yīng)當(dāng)能夠根據(jù)不同價值維度及其權(quán)重，實(shí)現(xiàn)可控的行為調(diào)節(jié)。現(xiàn)有方法雖然已經(jīng)嘗試通過提示、單獨(dú)訓(xùn)練價值專家模型，或通過參數(shù)合并來實(shí)現(xiàn)多價值對齊，但在真實(shí)數(shù)據(jù)中，不同價值通常不是孤立出現(xiàn)的，而是彼此相關(guān)、共同表達(dá)的，這使得模型內(nèi)部學(xué)到的價值表示往往高度相似并相互糾纏。

要想實(shí)現(xiàn)上述的這種精準(zhǔn)對齊，面對的核心挑戰(zhàn)在于：如何把多種價值中“共享的共識部分”和“各價值獨(dú)有的特定部分”有效分離出來。由于不同價值專家在訓(xùn)練時會受到混合價值信號的共同影響，調(diào)整某一個價值維度的強(qiáng)度時，往往會連帶影響其他價值維度，導(dǎo)致控制不夠精細(xì)、獨(dú)立性不足。此外，如果直接做參數(shù)干預(yù)，還可能破壞模型原有的通用能力，出現(xiàn)所謂的“對齊稅”。我們通過去除共識部分實(shí)現(xiàn)多價值觀表征的解耦，實(shí)現(xiàn)對多個價值維度更精準(zhǔn)、低干擾、可獨(dú)立調(diào)節(jié)的控制。

本文提出了 DisAlign，一種面向大語言模型可控多元價值對齊的模型合并框架。其核心思想是將不同價值專家中混雜在一起的表征，顯式拆分為兩部分：一部分是多個價值共享的“共識成分”，另一部分是各個價值獨(dú)有的“價值特定成分”。具體來說，DisAlign首先從信息幾何視角出發(fā)，通過專家分布的乘積形式提取一個能夠刻畫多價值共同結(jié)構(gòu)的共識錨點(diǎn)與共識子空間。

其次，對去除共識后的剩余表示進(jìn)行分解和正交化，構(gòu)造彼此解耦的價值特定子空間。最終，模型可以通過線性組合共識部分和用戶指定權(quán)重的價值特定部分，實(shí)現(xiàn)對多種價值維度更精確、獨(dú)立的調(diào)節(jié)。相比現(xiàn)有直接合并價值專家的方法，該方法減少了不同價值之間的相互干擾，同時盡可能保留了模型原有的通用能力。

1. 實(shí)際應(yīng)用價值

這項(xiàng)研究的實(shí)用價值主要體現(xiàn)在，它讓大語言模型的價值對齊從“整體調(diào)一個大方向”提升到“按具體價值維度精細(xì)調(diào)節(jié)”。在真實(shí)應(yīng)用中，用戶、機(jī)構(gòu)和文化背景的價值偏好往往并不相同，而且這些偏好還需要動態(tài)組合，因此一個能夠獨(dú)立控制“關(guān)懷、公平、忠誠、真實(shí)”等不同價值權(quán)重的模型，比只適配單一價值標(biāo)準(zhǔn)的模型更有落地意義。DisAlign 提供了一種更可控的技術(shù)路徑，使系統(tǒng)能夠根據(jù)場景需求靈活調(diào)整輸出風(fēng)格和決策傾向，適用于智能助手、教育、醫(yī)療、公共服務(wù)等對價值表達(dá)較敏感的場景。此外，這項(xiàng)工作還有很強(qiáng)的工程意義。它不是每次都重新訓(xùn)練一個新模型，而是通過對多個價值專家進(jìn)行結(jié)構(gòu)化合并來實(shí)現(xiàn)控制，因此更有擴(kuò)展性和部署效率。更重要的是，它試圖減少價值調(diào)節(jié)過程中的“串?dāng)_”和“對齊稅”問題，也就是避免在加強(qiáng)某一價值時誤傷其他價值，或明顯損害模型原有的通用能力。這意味著該方法更有希望被用于構(gòu)建既安全、又靈活、還能保持性能穩(wěn)定的實(shí)際大模型系統(tǒng)。

2. 研究的局限性和未來方向

首先，DisAlign 依賴“局部二次近似”和“局部度量同質(zhì)性”等假設(shè)，即默認(rèn)各個價值專家都分布在基座模型附近，并且它們在局部具有相對一致的信息幾何結(jié)構(gòu)。 如果模型經(jīng)過非常強(qiáng)的優(yōu)化、與基座模型偏移過大，這種近似可能失效，影響共識錨點(diǎn)和價值子空間分解的準(zhǔn)確性。其次，該方法主要適用于“預(yù)先定義好價值維度、且已有對應(yīng)偏好數(shù)據(jù)”的場景，因此對開放世界中更動態(tài)、更模糊、甚至不斷演化的價值需求，適應(yīng)性仍然有限。

未來的研究方向可以從幾個方面展開：一是放寬當(dāng)前的局部幾何假設(shè)，使方法能夠適應(yīng)更大幅度的模型偏移和更復(fù)雜的對齊訓(xùn)練過程；二是將該框架推廣到更開放、動態(tài)的價值體系中，而不只依賴固定的價值標(biāo)簽和靜態(tài)偏好數(shù)據(jù)；三是進(jìn)一步研究價值控制與模型通用能力保持之間的平衡，降低“對齊稅”在更復(fù)雜任務(wù)中的風(fēng)險；四是加強(qiáng)在人類真實(shí)使用場景中的評測，例如多輪對話、群體差異、文化遷移和長期行為一致性等問題?？傮w來說，這篇工作為“精細(xì)可控的多元價值對齊”提供了一個有力起點(diǎn)，但要真正走向大規(guī)模實(shí)際應(yīng)用，還需要在泛化性、魯棒性和開放環(huán)境適應(yīng)性上繼續(xù)推進(jìn)。

本研究的主要貢獻(xiàn)如下：

(1) 我們識別出多元價值對齊中“精確權(quán)重控制”的關(guān)鍵挑戰(zhàn)，并提出了 DisAlign，這一新框架能夠顯式地將價值共享的共識成分與價值特定成分分解開來，從而實(shí)現(xiàn)解耦且精確的價值控制。

(2) 我們在信息幾何框架下對這種分解進(jìn)行建模，以捕捉語義層面的價值共識，并保證不同價值調(diào)節(jié)過程中的低干擾性。

(3) 大量實(shí)驗(yàn)結(jié)果表明，DisAlign 能夠?qū)W習(xí)到更加解耦的價值表征，并顯著提升多元價值對齊的可控性。