研究论文
联邦学习入侵检测研究：全局准确率或掩盖零召回失效
基于 CICIDS2017 的研究显示，96% 的全局准确率可隐藏单客户端对整类攻击零召回的事实。
2026.07.22 · 周三约 2 分钟阅读
一项使用 CICIDS2017 数据集的联邦学习实证研究指出，看似漂亮的全局准确率（最高达 96%）可能完全掩盖模型对某一整类攻击零召回的事实。研究还发现，长期被视为「金标准」的集中式基线模型，在同一少数客户端上的表现会因随机种子不同而在 57% 到 99.5% 之间剧烈波动，提示研究者重新审视评估方式与聚合算法的选择。
研究设置
作者在四个模拟客户端（silo）之间按攻击类型划分数据，重现联邦学习的非独立同分布（non-IID）场景：
- 总样本约 300 万条，其中三个客户端样本充足；
- 「Web Attacks」客户端样本仅约 3000 条，构成极端不平衡；
- 对比算法包括 FedAvg、FedProx、FedNova 三种联邦聚合方式，并以一个可访问全部数据的集中式模型作为基线。
关键发现
- FedAvg 的全局准确率约为 96%，但 Web Attacks 客户端的召回率（recall）为 0.00，意味着该类攻击被全部漏检；少数客户端的低表现被多数客户端的高表现平均掩盖。
- 集中式基线模型在同一少数客户端上的准确率因随机种子不同而在约 57% 到 99.5% 之间剧烈波动，说明该基线本身并不稳定；
- FedNova（按本地步数归一化更新，而非简单平均）在所有客户端上均稳定保持高准确率，且未牺牲全局指标。
结论与启示
作者的核心结论是：在联邦入侵检测场景下，全局准确率并非可靠指标，必须逐客户端审视表现；聚合算法的选择对稀有攻击的识别影响远大于全局数字所暗示的程度。该研究目前正在改写为会议投稿版本。
对实践的参考
对于在网络安全等类别极度不平衡场景中部署联邦学习的团队而言，这项研究提示至少应同时关注：
- 每个客户端在稀有攻击类上的召回率，而非仅看全局准确率；
- 不同随机种子下基线模型的稳定性，作为评估「上限」的参考；
- 聚合策略对长尾类目的影响，FedNova 在该实验中表现最为均衡。