深入浅出联邦学习：原理与实践

（1）作者资深：资深AI技术专家，某大型金融集团科技公司联邦学习团队负责人。

（2）院士推荐：中国科学院外籍院士/英国皇家学会院士/欧洲科学院院士/英国爱丁堡皇家学会院士樊文飞、加拿大工程院院士郭嵩联袂推荐。

（3）企业界和学术界高度评价：来自清华大学、华中科技大学教授、蚂蚁集团、百度、同盾科技等院校和企业的专家高度评价。

（4）4个维度：从基础、原理、实战、拓展4个维度系统讲解联邦学习。

这是一本从基础、原理、实战、拓展4个维度系统讲解联邦学习的著作。

作者是人工智能领域的资深专家，现任某大型金融集团科技公司联邦学习团队负责人，这本书不仅得到了中外院士的联合推荐，而且得到了来自清华大学、华中科技大学、百度、蚂蚁集团、同盾科技等学术界和企业界的专家的一致推荐。

全书共9章，分为4个部分。

第1部分 基础（第1~2章）

主要介绍了联邦学习的概念、由来、发展历史、架构思想、应用场景、优势、规范与标准、社区与生态等基础内容，帮助读者建立对联邦学习的感性认知。

第二部分 原理（第3~5章）

详细讲解了联邦学习的工作原理、算法、加密机制、激励机制等核心技术，为读者进行联邦学习实践打好理论基础。

第三部分 实战（第6~7章）

主要讲解了PySyft、TFF、CrypTen等主流联邦学习开源框架的部署实践，并给出了联邦学习在智慧金融、智慧医疗、智慧城市、物联网等领域的具体解决方案。

第四部分 拓展（第8~9章）

概述了联邦学习的形态、联邦学习系统架构、当前面临的挑战等，并探讨了联邦学习的发展前景和趋势。

王健宗（博士）

某大型金融集团科技公司联邦学习团队负责人、高级工程师。

中国计算机学会大数据专家委员会委员、杰出会员，中国计算机学会青年计算机科技论坛（YOCSEF深圳）优秀AC委员。深圳市领军人才，美国佛罗里达大学人工智能博士后。

长期从事联邦智能隐私计算技术研发和平台搭建工作，发表联邦学习、深度学习、云计算、大数据等领域国际论文50余篇，获得专利100余项。著有《深入理解AutoML和AutoDL：构建自动化机器学习与深度学习平台》《金融智能：AI如何为银行、保险、证券业赋能》等书，同时还是多届国内外知名人工智能、大数据行业会议出品人。

李泽远

某大型金融集团科技公司高级人工智能产品经理，中国计算机学会会员，中国计算机学会青年计算机科技论坛（YOCSEF深圳）AC委员。长期负责AI技术类的产品生态搭建与实施推进，曾参与完成联邦学习、生物鉴权技术在金融领域平台型产品中的设计与落地投产，在全周期项目中积累有丰富的实战经验。

何安珣

某大型金融集团科技公司高级算法工程师，中国计算机学会会员，中国计算机学会青年计算机科技论坛（YOCSEF深圳）委员。拥有丰富的金融人工智能从业经验，主要研究金融智能系统框架搭建、算法研究和模型融合技术等，致力于推动金融智能的落地应用与价值创造。

联邦学习作为新一代人工智能基础技术，已经成为打破数据孤岛、促进数据流通、提升应用价值的有效方法，备受瞩目。这本书按照基础、技术、实践和拓展四个方面对联邦学习做了系统性介绍，内容全面，通俗易懂，非常值得一读。

——樊文飞 中国科学院外籍院士/英国皇家学会院士/欧洲科学院院士/英国爱丁堡皇家学会院士/国际计算机学会会士（ACM Fellow)/深圳计算科学研究院首席科学家/

英国爱丁堡大学信息学院主任教授

随着数据孤岛、合规监管和隐私泄露问题日益凸显，各企业间的数据流通与合作变得尤为困难，隐私保护问题已经被推上风口浪尖，而联邦学习正是弥合信任鸿沟、确保隐私安全的关键所在。本书阶梯式、全方位地讲解了联邦学习，既有通俗易懂的基础概念，又涵盖深入本质的技术原理，是一本面向广大读者、具有启蒙和科普性质的联邦学习读物。

——杨胜文 百度大数据技术委员会主席

本书从理论与实践的双重维度对联邦学习进行了深入浅出的阐述，同时结合作者长期的应用实践，分享了可动手实践的源码案例，以及对联邦学习发展趋势的洞察和思考。这是一本富含前瞻性和思想性的著作，是读者掌握联邦学习的理想选择。

——苏竣 清华大学公共管理学院教授/长江学者特聘教授/清华大学智能社会治理研究院院长/清华大学智库中心主任/清华大学科教政策研究中心主任

数据安全与隐私保护是目前广受关注的领域，联邦学习技术能够有效破解数据隐私、数据孤岛和数据共享三者之间的矛盾和困局，是目前数据隐私保护领域Z有前途的技术方向之一。本书从定义、原理、实际应用等方面对联邦学习进行了介绍，内容详尽且务实，相信会帮助读者打下坚实的基础。

——陈继东 蚂蚁集团数字身份负责人/全球可信身份平台ZOLOZ总经理/CCF大数据专家委员会常委/互联网金融认证联盟（IIFAA）理事长

数据是具有战略价值的核心资产，相比传统的数据授权和数据传输模式，联邦学习的优势是既能满足隐私保护要求，又能实现商业合作的诉求。本书作者结合自己在联邦学习领域长期的沉淀和研究，系统介绍了联邦学习技术的基本知识。仔细研读这本书，读者可以详尽地了解和掌握联邦学习，一定会很有收获。

——谢长生 华中科技大学武汉光电国家研究中心教授/CCF信息存储专业委员会常委

数字经济时代的来临，正加速各行各业完成数字化转型与业务的降本增效。如果说数据是智能时代的石油，那么联邦学习无疑是Z具潜力的“石油挖掘机”。本书从联邦学习的基本概念出发，深入浅出地讲解了其技术原理，并结合实例分析了联邦学习的应用。有兴趣了解联邦学习是什么、如何实践和应用的读者读之，必大有裨益。

——李晓林 同盾科技合伙人/知识联邦产学研联盟理事长

进入数字时代以来，机构和个人不断产生海量数据，如何将大数据与人工智能技术完美结合是人们一直在探索的问题，联邦学习技术的诞生为之提供了一条新的解决思路。本书从扎实的理论基础出发，内容涵盖联邦学习的各种框架、实战案例、应用场景和前沿研究，这些是作者在联邦学习领域的耕耘成果，更是经验分享。想要学习联邦学习技术的读者一定不要错过这本书。

——郭嵩 加拿大工程院院士/香港理工大学电子计算学系教授/

IEEE Fellow/长江学者讲座教授

前言

第一部分　基础

第1章　联邦学习的前世今生2

　1.1　联邦学习的由来2

　1.2　联邦学习的发展历程3

　1.3　联邦学习的规范与标准8

　1.4　联邦学习的社区与生态9

　1.5　本章小结10

第2章　全面认识联邦学习11

　2.1　什么是联邦学习11

　2.2　联邦学习的架构思想12

　2.3　联邦学习的应用场景14

　2.4　联邦学习的优势与前景15

　2.5　本章小结16

第二部分　原理

第3章　联邦学习的工作原理18

　3.1　联邦学习的计算环境18

3.1.1　可信执行环境18

3.1.2　无可信计算环境22

　3.2　联邦学习的算法23

3.2.1　中心联邦优化算法24

3.2.2　联邦机器学习算法25

3.2.3　联邦深度学习算法28

　3.3　联邦学习的算子29

3.3.1　联邦学习数据预处理算子30

3.3.2　联邦学习模型训练算子34

　3.4　本章小结49

第4章　联邦学习的加密机制50

　4.1　联邦学习的安全问题50

4.1.1　模型完整性问题50

4.1.2　模型可用性问题51

4.1.3　模型机密性问题52

4.1.4　问题总结53

　4.2　联邦学习的加密方式53

4.2.1　同态加密53

4.2.2　差分隐私55

4.2.3　安全多方计算57

4.2.4　国密SM2算法58

4.2.5　国密SM4算法60

4.2.6　Deffie-Hellman算法61

4.2.7　混合加密61

　4.3　本章小结63

第5章　联邦学习的激励机制64

　5.1　数据贡献评估65

　5.2　数据贡献与激励支付的关系66

　5.3　参与方贡献效益评估67

　5.4　参与方贡献效益与激励支付的关系68

　5.5　计算和通信消耗评估68

　5.6　计算消耗、通信消耗和激励支付的关系69

　5.7　本章小结70

第三部分　实战

第6章　联邦学习开发实践72

　6.1　联邦学习开源框架部署：PySyft72

6.1.1　PySyft基本介绍72

6.1.2　开发环境准备与搭建72

6.1.3　PySyft安装指南75

6.1.4　开发前的准备76

6.1.5　PySyft测试样例76

6.1.6　实操：分布式联邦学习部署87

　6.2　联邦学习开源框架部署：TFF93

6.2.1　TFF基本介绍93

6.2.2　开发环境准备与搭建94

6.2.3　TFF安装指南94

6.2.4　开发前的准备95

6.2.5　TFF测试样例95

　6.3　联邦学习开源框架部署：CrypTen100

6.3.1　CrypTen基本介绍100

6.3.2　开发环境准备与搭建100

6.3.3　CrypTen安装指南101

6.3.4　开发前的准备101

6.3.5　CrypTen测试样例102

　6.4　本章小结111

第7章　联邦学习的行业解决方案112

　7.1　联邦学习+智慧金融112

7.1.1　联邦学习+银行112

7.1.2　联邦学习+保险121

7.1.3　联邦学习+投资125

　7.2　联邦学习+智慧医疗128

7.2.1　联邦学习+医疗影像诊断128

7.2.2　联邦学习+疾病风险预测130

7.2.3　联邦学习+药物挖掘133

7.2.4　联邦学习+医护资源配置135

　7.3　联邦学习+智慧城市137

7.3.1　联邦学习+零售137

7.3.2　联邦学习+交通140

7.3.3　联邦学习+物流141

7.3.4　联邦学习+政府143

7.3.5　联邦学习+安防146

　7.4　联邦学习+物联网148

7.4.1　联邦学习+车联网148

7.4.2　联邦学习+智能家居150

7.4.3　联邦学习+可穿戴设备153

7.4.4　联邦学习+机器人155

　7.5　本章小结160

第四部分　拓展

第8章　联邦学习的延伸162

　8.1　联邦学习的布局162

8.1.1　Google的联邦学习162

8.1.2　Facebook的联邦学习166

8.1.3　联邦智能167

8.1.4　共享智能169

8.1.5　知识联邦172

8.1.6　异构联邦177

8.1.7　联邦学习方案对比178

　8.2　联邦学习系统框架179

8.2.1　工业级联邦学习系统179

8.2.2　企业级联邦学习系统181

8.2.3　实验开发级联邦学习系统181

　8.3　本章小结183

第9章　联邦学习的挑战、趋势和展望184

　9.1　联邦学习应对的挑战184

　9.2　联邦学习的趋势和展望187

　9.3　本章小结189

联邦学习到底是什么呢？

我们认为可以这样定义：它是在数据不出本地的前提下，由多个参与方联合、协作完成建模任务的分布式机器学习范式。据统计，2020年产生的联邦学习相关论文超过6000篇，是之前所有相关论文的三倍多。作为大数据时代下人工智能发展不可或缺的核心技术，联邦学习已经成为当前学术界、产业界争相研究和应用的对象。

在绝大部分的行业中，数据是以孤岛的形式存在的，即数据在不同机构或部门中独立存储、分仓管理，难以流通和利用，而人工智能的发展又往往会涉及多个领域的数据。在过去，为了打破数据孤岛，数据需求方通常会收集来自不同机构的数据信息，并统一整合到中心数据集群后进行集中处理和应用。然而，由于数据隐私泄露和数据获取成本过高，这一方法变得越来越不可取。同时，在愈发重视数据隐私安全的全球性趋势下，社会各界逐渐提升了数据所有权、资产化的保护意识，各国也逐步出台新的法律法规来严格规范数据的管理和使用。例如，2018年5月，欧盟实施《通用数据保护条例》（GDPR）来保护用户的个人隐私和数据安全，禁止数据在实体间转移、交换和交易。2020年10月，我国公布《中华人民共和国个人信息保护法（草案）》，为个人信息保护提供了强有力的法律保障。在法律法规强监管的环境下，如何在确保数据隐私安全的前提下解决数据孤岛问题，已然成为人工智能发展的首要挑战。

联邦学习成为打破人工智能发展困境的“头雁”，其核心价值是在数据安全合规的前提下提升模型效果，实现降本增效。那么联邦学习是如何做到的呢？对于联邦模型的训练而言，模型可以基于各参与方的本地数据库进行训练，训练过程中的模型参数通过加密机制在各参与方间通信，数据无须出本地，既保证了数据隐私安全合规，又间接共享了数据资源，促进了数据生产要素的流通。对于联邦模型的推理而言，由多个参与方联合共建的最优模型可以在密态基础上实现金融、医疗、政务等多个行业的赋能应用。

联邦学习能有效解决人工智能发展面临的数据隐私安全与孤岛问题，这为大数据与人工智能的健康发展和颠覆式变革奠定了基础，并为其在更复杂、更前沿、更尖端领域的应用落地创造了更多的机会和可能。

为什么要写本书

联邦学习技术一经提出，便引起了社会各界人士的广泛关注。联邦学习能够满足各方在不共享数据源的前提下进行数据联合训练的需求，帮助多方组织构建最优的机器学习模型。这一技术不仅能够推动互联网时代下海量数据的价值变现，还能助力人工智能的发展革新和应用落地。

目前，联邦学习的相关学习资源过于分散，相关图书屈指可数。为了更好地普及联邦学习知识，传递联邦学习价值，我们特写作本书，旨在系统全面地介绍联邦学习的来龙去脉，为有志于联邦学习理论研究和实践的读者提供指引和参考。希望本书能够给广大读者带来启示。

读者对象

大数据、人工智能相关产业的从业者和研究人员，包括但不局限于:

q想要全面了解、探索联邦学习的读者;

q想要上手实践联邦学习的读者。

本书主要内容

全书共9章，分为4部分。

第一部分　基础（第1~2章）

主要介绍了联邦学习的概念、由来、发展历史、架构思想、应用场景、优势、规范与标准、社区与生态等基础内容。

第二部分　原理（第3~5章）

详细讲解了联邦学习的工作原理、算法、加密机制、激励机制等核心技术。

第三部分　实战（第6~7章）

主要讲解了PySyft、TFF、CrypTen等主流联邦学习开源框架的部署实践，并给出了联邦学习在智慧金融、智慧医疗、智慧城市、物联网等领域的具体解决方案。

第四部分　拓展（第8~9章）

概述了联邦学习的形态、联邦学习的系统架构、当前面临的挑战等，并探讨了联邦学习的发展前景和趋势。

勘误与支持

联邦学习的概念很新，更新很快，虽然我们已尽可能使本书内容准确、全面、紧跟技术前沿，但书中仍难免存在遗漏或不妥之处，恳请读者批评指正。如果你有关于本书的任何意见或建议，欢迎发送邮件到yfc@hzbook.com，期待你的反馈。

致谢

本书的写作占用了我们大量的业余时间，在此特别感谢家人、朋友的理解和支持。另外，在本书写作过程中，机械工业出版社华章公司的编辑们给予了精心指导和大力支持，没有他们细致的工作，本书无法如此顺利地出版，特此感谢。