日前，實驗室博士生韓明哲作為第一作者的論文“FedCIA: Federated Collaborative Information Aggregation for Privacy-Preserving Recommendation”被The ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR) 會議錄用。

高效的用戶信息隱私保護共享是提升可信人智協(xié)同推薦性能的關(guān)鍵。論文提出了一種全新的聚合范式，聚焦于捕捉人類用戶間的協(xié)同信息，突破了傳統(tǒng)聯(lián)邦學(xué)習(xí)對于參數(shù)的高度依賴，通過嚴格的理論分析與證明、全面綜合的實驗，充分驗證了FedCIA的有效性和高效性，為可信人智協(xié)同推薦提供了創(chuàng)新思路和堅實基礎(chǔ)。

會議簡介

The ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR)會議是信息檢索領(lǐng)域的頂級學(xué)術(shù)會議，由國際計算機學(xué)會（ACM）主辦，是中國計算機學(xué)會推薦的A類國際學(xué)術(shù)會議。該會議聚焦信息檢索（IR）領(lǐng)域的前沿理論與技術(shù)，涵蓋用戶行為分析、搜索算法、推薦系統(tǒng)等方向，具有全球?qū)W術(shù)與產(chǎn)業(yè)影響力。該會議計劃于2025年7月13日至18日在意大利帕多瓦召開。

論文簡介

FedCIA：利用協(xié)同信息聚合的聯(lián)邦推薦系統(tǒng)

論文鏈接：https://arxiv.org/html/2504.14208v1 

現(xiàn)有的聯(lián)邦推薦系統(tǒng)通常遵循一個統(tǒng)一的范式。每個客戶端根據(jù)自身數(shù)據(jù)訓(xùn)練各自的推薦模型，隨后在聚合步驟中將embedding參數(shù)分為用戶和物品兩部分，其中用戶參數(shù)因為包含了用戶隱私被客戶端保存在本地，物品參數(shù)則會被上傳并聚合在中央服務(wù)器上，聚合后的物品參數(shù)被分發(fā)回客戶端，用于下一輪訓(xùn)練。這種方法將不同的用戶模型對齊到一個參數(shù)空間中，使客戶端能夠更有效利用全局信息進行推薦。

雖然這種聚合方案效果顯著，并被廣泛利用在各種聯(lián)邦推薦系統(tǒng)中，但其存在著潛在的問題。首先，這種聚合方案大多是通過參數(shù)求和方式完成的，當某一物品在兩個客戶端分布完全相反時，他們的分布會因為求和而被抵消，造成信息丟失。其次，這種聚合方案讓所有的客戶端的物品都處于同一分布下，但種分布不是對于每一個客戶端都是最優(yōu)的，影響了個性化用戶建模。最后，這種方案要去客戶端模型參數(shù)，特別是物品embedding維度一致，缺乏可擴展性。 

我們認為，這些問題的根本原因在于聯(lián)邦學(xué)習(xí)聚合方法對推薦系統(tǒng)中模型參數(shù)的過度依賴。為了解決這一問題，我們重新思考了推薦系統(tǒng)模型的本質(zhì)，我們注意到，近年來深度學(xué)習(xí)的優(yōu)越表現(xiàn)鼓勵研究人員用復(fù)雜的網(wǎng)絡(luò)參數(shù)化用戶和物品，卻忽視了推薦系統(tǒng)中起到根本作用的協(xié)同信息，即用戶與物品的相似度?；谶@一發(fā)現(xiàn)，當聯(lián)邦學(xué)習(xí)框架中參數(shù)聚合中存在限制時，重新考慮協(xié)同信息的重要性變得至關(guān)重要。

圖1 聯(lián)邦推薦系統(tǒng)中的兩種聚合范式 

基于這一思想，我們提出一種新的范式：協(xié)同信息聚合范式。如圖1所示，圖1（a）表示了各個客戶端在聚合前的分布，圖1（b）表示了現(xiàn)有聯(lián)邦學(xué)習(xí)基于參數(shù)的聚合方案，其將參數(shù)強行映射到了一個空間，因此存在上述問題，而我們提出了全新的范式（圖1（c）），讓物品協(xié)同信息在各個客戶端保持一致，且不強行更改其分布。

協(xié)同信息聚合 

圖2 FedCIA的基本架構(gòu)  

如圖2所示，我們提出了FedCIA，一種聯(lián)邦協(xié)同信息聚合框架。與傳統(tǒng)聯(lián)邦推薦系統(tǒng)不同，該方法不再上傳物品的embedding參數(shù)，而是對參數(shù)進行兩兩點乘，計算其全局物品相似度矩陣，并上傳該矩陣進行聚合。聚合后的相似度矩陣無法直接部署在客戶端模型中，因此客戶端模型根據(jù)全局相似度矩陣進行微調(diào)來近似全局協(xié)同信息。

理論分析

直覺上來說，聚合協(xié)同信息是一個有效的聯(lián)邦推薦方法，但其缺乏相關(guān)的理論證明。因此我們基于圖信號處理理論，對協(xié)同信息聚合進行了分析。我們假設(shè)兩個場景，第一個場景下，用戶并不關(guān)注自身的隱私，并將交互數(shù)據(jù)直接上傳到服務(wù)器進行推薦。

第二個場景下，用戶關(guān)注自身的隱私，并各自訓(xùn)練推薦模型后進行協(xié)同信息聚合。

我們分析了這兩個場景下的推薦模型，并注意到在不考慮物品的全局流行度的前提下，這兩個場景的推薦模型完全一致。

這說明對協(xié)同信息的聚合可以近似于直接使用全局隱私信息進行訓(xùn)練，進而展現(xiàn)了協(xié)同信息聚合的有效性。

理論分析

表1 FedCIA實驗結(jié)果 

我們在5個常用推薦數(shù)據(jù)集上進行試驗，結(jié)果如表1所示。可以注意到，由于我們的方法保留了模型的個性化信息，因此效果均優(yōu)于現(xiàn)有的聯(lián)邦推薦系統(tǒng)方法

圖3 不同范式下物品參數(shù)的分布 

我們統(tǒng)計了我們的方法與傳統(tǒng)聯(lián)邦推薦系統(tǒng)方法的物品參數(shù)分布，如圖3所示?？梢宰⒁獾剑覀兊姆椒ㄔ诓煌蛻舳松嫌兄煌奈锲贩植?，這表明我們的方法可以更好地建模模型的個性化信息。

總結(jié)

本工作提出了全新的聯(lián)邦推薦系統(tǒng)范式，該范式利用相似度聚合取代了參數(shù)聚合，因此有著更強大的個性化建模能力與可擴展性。試驗結(jié)果表明，該范式由于現(xiàn)有的基于參數(shù)聚合的聯(lián)邦推薦系統(tǒng)方法。

如果您對本文內(nèi)容感興趣，可與通訊作者聯(lián)系: zhangpeng_@fudan.edu.cn

實驗室相關(guān)論文

[1] Dongsheng Li, Chao Chen, Qin Lv, Li Shang, Yingying Zhao, Tun Lu, Ning Gu. An Algorithm for Efficient Privacy-preserving Item-based Collaborative Filtering. FGCS 2016. （Google Scholar 統(tǒng)計引用次數(shù)：144）

[2] Jiahao Liu, Yiyang Shao, Peng Zhang, Dongsheng Li, Hansu Gu, Chao Chen, Longzhi Du, Tun Lu, Ning Gu. Filtering Discomforting Recommendations with Large Language Models. WWW 2025.

[3] Jiahao Liu, Dongsheng Li, Hansu Gu, Tun Lu, Peng Zhang, Li Shang and Ning Gu. Personalized Graph Signal Processing for Collaborative Filtering. WWW 2023.

[4] Yubo Shu, Haonan Zhang, Hansu Gu, Peng Zhang, Tun Lu, Dongsheng Li, Ning Gu. RAH! RecSys-Assistant-Human: A Human-Centered Recommendation Framework With LLM Agents. TCSS 2024.

如果您對我們實驗室的相關(guān)工作感興趣，歡迎訪問我們的網(wǎng)站：

協(xié)同信息與系統(tǒng)（CISL）實驗室

實驗室網(wǎng)站主頁：https://cscw.fudan.edu.cn/

實驗室Github主頁：https://github.com/FudanCISL