图深度学习

适读人群 ：本书既适合对数据挖掘、机器学习和社交网络分析感兴趣的本科生和研究生阅读，也适合企业开发者和项目经理阅读。对于没有计算机科学背景，但想要应用图神经网络来推进其所在学科发展的研究人员，本书同样是一本值得参考的读物。

-本书获俞士纶、崔鹏、刘新旺、姬水旺、裴健、唐建、唐杰、王飞、殷建平、张成奇、周志华、祝恩等十余位人工智能国际顶级专家赞誉！

-全书从背景介绍、理论细节，到实际应用，再到总结与拓展，深入浅出。

-涵盖了学习图深度学习必须了解的基础知识，图深度学习中经典的模型方法，图深度学习在实际中的应用方法，以及图深度学习的研究热点和前沿进展。

-揭秘图深度学习的基本原理和经典算法，包括现代图嵌入、用于简单图和复杂图的GNN、GNN 的健壮性和可扩展性及GNN 之外的图深度模型。

-应用部分介绍了GNN 在典型领域的应用，包括自然语言处理、计算机视觉、数据挖掘、生物化学和医疗健康

-适合计算机科学、人工智能和机器学习等相关专业各个阶段的学生学习，也可供信息领域相关从业者，包括工程师和研究人员阅读。

本书全面介绍了图深度学习的理论基础、模型方法及实际应用。全书分为4 篇，共15 章。第1 篇为基础理论，重点介绍图和深度学习的基础知识，包括图的关键概念和属性、各种基础的神经网络模型、训练深度学习模型的关键方法以及防止训练过程中过度拟合的实用技术；第2 篇为模型方法，涵盖了从基本设置到高级设置的成熟的图深度学习方法，包括图嵌入、图过滤和池化操作、图对抗攻击和图对抗防御技术、可扩展性图神经网络的代表性技术以及图神经网络之外的众多图深度模型；第3 篇为实际应用，重点介绍了具有代表性的实际应用，包括自然语言处理、计算机视觉、数据挖掘、生物化学与医疗健康等；第4 篇为前沿进展，介绍了有可能成为将来研究热点的高级方法和应用，主要从表达性、深度、公平性、可解释性和自监督学习等内容。在组织结构方面，每章首先介绍写作动机，然后通过具体示例或技术细节介绍相应内容，最后提供更多的扩展阅读知识。

本书既适合对数据挖掘、机器学习和社交网络分析感兴趣的本科生和研究生阅读，也适合企业开发者和项目经理阅读。对于没有计算机科学背景，但想要应用图神经网络来推进其所在学科发展的研究人员，本书同样是一本值得参考的读物。

马 耀

密歇根州立大学博士研究生。他将于2021年秋季学期作为助理教授加入新泽西理工学院。他是密歇根州立大学杰出博士生奖以及FAST Fellowship的获奖者。他的研究兴趣包括网络嵌入和图神经网络。他的论文多次发表在KDD、WWW、IJCAI、SIGIR和TKDE等数据挖掘顶级会议和期刊上。他在众多知名会议（如ICML、 KDD、 AAAI和IJCAI等）以及杂志（如TKDD、TKDE和TPAMI等）担任程序委员会委员以及审稿人。他是AAAI图神经网络和KDD图深度学习教学讲座的第一组织者和演讲者，这些教学讲座都获得了领域内外的巨大关注和广泛好评。


汤继良

密西根州立大学助理教授。在这之前，他曾担任雅虎研究院研究员，于2015年从亚利桑那州立大学取得博士学位。他在图特征选择、图表征学习、图深度学习以及它们在互联网和社交媒体上的应用方面做出了杰出贡献。他曾经获得 SIGKDD新星奖（Rising Star Award）、Withrow杰出研究奖（Distinguished Withrow Research Award）、美国自然科学基金杰出青年奖（NSF Career Award）、IJCAI早期焦点人物演讲（IJCAI Early Career Talk）和包括KDD、WSDM等在内的7项领域知名会议的最佳（或提名）论文奖。他的博士论文获得SIGKDD最佳博士论文（KDD Best Dissertation）亚军和院长优秀博士论文奖（Dean’s Dissertation Award）。他是SIAM数据分析小组和ACM TKDD期刊的秘书长。他经常当任数据挖掘顶级会议的组织者和顶级期刊的编委。他的研究成果发表在领域顶级的期刊和会议上，现已获得了超过14,000多次的引用（H指数为60）和媒体的广泛关注和报道。

王怡琦

密歇根州立大学博士研究生。她的研究兴趣主要集中在图神经网络理论基础及其应用。她在计算机顶级会议（如KDD、EMNLP、WWW和AAAI等）上发表了多篇研究成果。她曾担任AAAI、IJCAI和CIKM等国际知名会议的程序委员会委员。她曾参加组织KDD和AAAI图深度学习专题教学讲座，并担任主要演讲者，获得了领域内外的巨大关注和广泛好评。

金 卫

密歇根州立大学博士研究生。他的研究兴趣集中在图神经网络，包括理论基础、模型健壮性及应用。他在KDD、AAAI、WSDM和WWW等计算机顶级会议上发表了多篇研究成果。他还是备受业内关注的对抗攻击和防御工具包DeepRobust的主要贡献者。他曾担任包括IJCAI和CIKM等国际知名会议的程序委员会委员。他曾参加组织AAAI图深度学习专题教学讲座和KDD神经网络对抗攻击与防御专题教学讲座，并担任主要演讲者，获得了领域内外的巨大关注和广泛好评。

图以其强大的表达能力，已经成为数据挖掘和机器学习领域的重要研究对象。而图神经网络被认为是充分发挥图表征能力的新一代学习框架，是当前学术界和产业界共同关注的焦点。本书由该领域知名学者汤继良教授团队倾力打造，对理解图神经网络的核心技术，把握发展趋势具有重要的参考和学习价值。

崔鹏

清华大学计算机系副教授，ACM 杰出科学家

本书是一本系统性介绍图深度学习的读物。全书深入浅出地归纳了图深度学习的基础知识，分析了该领域的前沿研究现状，并展望了面向图机器学习的未来研究方向。无论是对于图机器学习的初学者，还是对于从事该领域的研究者，本书都具有十分重要的引导意义和参考价值。

刘新旺

国防科技大学计算机学院教授

图神经网络是机器学习领域最活跃的研究方向之一。由汤继良教授和他的学生合著的《图深度学习》涵盖了图神经网络的基础理论、模型方法、实际应用和前沿进展，在深度和广度方面做到了很好的结合，是一本不可多得的好书，值得仔细品味。

姬水旺

得克萨斯农工大学教授，ACM 杰出科学家

图深度学习是人工智能、机器学习的重大热点和主要方向之一，但内容繁杂，不易掌握。这本《图深度学习》凝聚了作者多年来的研究、教学心得，在这个关键时间点上高屋建瓴地总结了整个方向的基础、方法、应用和进展，非常及时、恰到好处。本书是一本难得的入门和精进宝典，适合各阶段的高校学生、研究人员和实践者系统学习或案头备考。

裴健

西蒙弗雷泽大学教授，加拿大皇家科学院、加拿大工程院院士，ACM/IEEE 会士，ACM SIGKDD 主席

图神经网络是当前机器学习领域的一个热门研究方向，在逻辑推理、知识图谱、推荐系统、自然语言处理、新药以及材料研发等众多领域都有广泛的应用。本书由图神经网络方向知名学者汤继良教授及其博士生领衔撰写，系统地介绍了图神经网络的发展背景、基本原理、在多个领域的应用以及当前的研究方向。全书通俗易懂，既可以作为初学者的学习教材，也可以作为专业研究人员的重要参考书。

唐建

蒙特利尔大学计算机系、商学院、魁北克人工智能研究中心助理教授，加拿大高等研究院人工智能讲席教授(CIFAR AI Research Chair)，图表示学习经典算法LINE 的第一作者

图深度学习是机器学习中一个非常重要的分支，最近随着理论和应用的发展引起广泛关注。本书从理论、模型、算法到应用，全方位地介绍了图深度学习的相关知识，适合高年级本科生和研究生阅读，非常值得推荐。

唐杰

清华大学计算机系教授，IEEE 会士

图做为一种灵活的数据结构，广泛存在于大量的实际问题当中，包括社交网络、通信网络、物流网络、疾病传播网络，乃至药物分子结构等。与传统的基于向量的数据表示方法相比，图结构不仅能捕捉数据样本的特征信息，还可以对样本之间的联系分析更加灵活与现实。

本人从事图相关的学习已有15 年。在如今的深度学习浪潮到来之前，图学习方法主要致力于如何利用线性的方法将样本点的信息在图上进行传播，典型的算法包括谱聚类、随机游走和标签传播等。尽管这些方法在很多应用中也取得了不俗的表现，但这种线性的信息传播方法极大地限制了图学习的潜力。

近些年来，由深度学习掀起的技术革命颠覆了一个又一个领域，从计算机视觉到语音识别，从自然语言处理到分子结构设计，深度学习带给了我们一个又一个的惊喜。图作为一类重要的数据结构，自然要当仁不让，拥抱这次革命。这也自然而然地成就了图深度学习这一新兴领域。针对传统图学习中线性假设的局限性，图深度学习致力于开发更为灵活有效的非线性信息传播算法，在很多应用中取得了惊艳的效果。由好友汤继良和马耀撰写的这本《图深度学习》，深入浅出而系统地讲解了图深度学习的来龙去脉，包括图深度学习的动机、深度学习基础、不同类型的图深度学习算法，以及图神经网络的各种应用。书的最后一部分还对最近的图深度学习技术和方向进行了总结和展望。本书是一本不可多得的对图神经网络的综合介绍。无论是致力于机器学习算法研究的理论家，还是关注如何将图深度学习应用于现实问题的实践家，无论是初出茅庐刚刚踏入图深度学习领域的入门学者，还是已经在图学习领域驰骋多年的资深研究员，都会从不同角度获取所需的关于图深度学习的信息。本书既可作为研究人员的参考图书，也可作为图神经网络课程讲授的教材。内容丰富，精彩纷呈。

祝阅读愉快！

王飞

康奈尔大学副教授

图是表示现实世界中各种对象及其相互关系的有效工具，基于这样的表示，现实问题的求解就归结为图论问题的求解。近年来，深度学习已成功应用于许多现实问题的求解，在此背景下探讨深度学习如何应用于图论问题的求解很有价值。图深度学习正是应这种探索中遇到的机遇与挑战而生的。本书思路清晰，案例丰富，深入浅出，适应面广，系统性强。既有基本理论和建模方法的介绍，又有实际应用和前沿进展的探讨。本书既可以作为信息领域高年级本科生或研究生的相关课程教材或教学参考书，也可供信息处理相关企业的研发人员和管理人员，以及其他希望应用深度学习解决各自领域问题的研究人员参考。

殷建平

教授，万人计划国家教学名师，全国优秀教师，全国优秀博士学位论文指导教师

本书系统地归纳、梳理了图深度学习领域的基础知识以及众多前沿模型，可以带领初学者循序渐进、由浅入深地了解整个领域，也可以帮助有兴趣从事图深度学习研究及相关职业方向的学生和研究人员更全面地认识图深度学习，并在学习过程中建立起图深度学习的知识框架。

张成奇

悉尼科技大学（UTS）副校长，杰出教授，澳大利亚人工智能理事会理事长，2024 国际人工智能联合会（IJCAI）大会主席

图深度学习是深度学习中一个很热门的子领域，该书站在科研前沿的专家角度著述介绍，值得感兴趣的读者一读。

周志华

南京大学人工智能学院院长，欧洲科学院外籍院士，CM/IEEE/AAAI/AAAS/IAPR/CCF 会士

在经典学习问题中，通常假设数据是独立同分布的，不考虑数据之间的关系；然而，增加数据的图表示后，往往能明显提高算法的性能。图深度学习是深度学习与图相结合的产物，是深度学习领域一个重要的前沿子领域，近十年取得了明显的进展。本书系统地覆盖了图深度学习的基础理论、模型方法、实际应用和前沿进展。对于机器学习、深度学习、图深度学习领域的研究人员、研究生和高年级本科生，本书值得认真研读。

祝恩

国防科技大学计算机学院教授，CCF 理论计算机科学专业委员会副主任，全国优秀博士学位论文获得者

目录

第1 章绪论1

1.1 简介2

1.2 图深度学习的动机2

1.3 本书内容4

1.4 本书读者定位6

1.5 图特征学习的简要发展史7

1.5.1 图特征选择8

1.5.2 图表示学习9

1.6 小结10

1.7 扩展阅读11

第1 篇基础理论

第2 章图论基础15

2.1 简介16

2.2 图的表示16

2.3 图的性质17

2.3.1 度17

2.3.2 连通度19

2.3.3 中心性21

2.4 谱图论24

2.4.1 拉普拉斯矩阵24

2.4.2 拉普拉斯矩阵的特征值和特征向量26

2.5 图信号处理27

2.6 复杂图30

2.6.1 异质图30

2.6.2 二分图30

2.6.3 多维图31

2.6.4 符号图32

2.6.5 超图33

2.6.6 动态图33

2.7 图的计算任务34

2.7.1 侧重于节点的任务35

2.7.2 侧重于图的任务36

2.8 小结37

2.9 扩展阅读37

第3 章深度学习基础39

3.1 简介40

3.2 深度前馈神经网络41

3.2.1 网络结构42

3.2.2 激活函数43

3.2.3 输出层和损失函数45

3.3 卷积神经网络47

3.3.1 卷积操作和卷积层48

3.3.2 实际操作中的卷积层51

3.3.3 非线性激活层52

3.3.4 池化层53

3.3.5 卷积神经网络总体框架53

3.4 循环神经网络54

3.4.1 传统循环神经网络的网络结构55

3.4.2 长短期记忆网络56

3.4.3 门控循环单元58

3.5 自编码器59

3.5.1 欠完备自编码器59

3.5.2 正则化自编码器60

3.6 深度神经网络的训练61

3.6.1 梯度下降61

3.6.2 反向传播62

3.6.3 预防过拟合64

3.7 小结65

3.8 扩展阅读65

第2 篇模型方法

第4 章图嵌入69

4.1 简介70

4.2 简单图的图嵌入71

4.2.1 保留节点共现71

4.2.2 保留结构角色80

4.2.3 保留节点状态83

4.2.4 保留社区结构84

4.3 复杂图的图嵌入86

4.3.1 异质图嵌入87

4.3.2 二分图嵌入89

4.3.3 多维图嵌入90

4.3.4 符号图嵌入91

4.3.5 超图嵌入93

4.3.6 动态图嵌入95

4.4 小结96

4.5 扩展阅读97

第5 章图神经网络99

5.1 简介100

5.2 图神经网络基本框架102

5.2.1 侧重于节点的任务的图神经网络框架102

5.2.2 侧重于图的任务的图神经网络框架103

5.3 图滤波器104

5.3.1 基于谱的图滤波器104

5.3.2 基于空间的图滤波器114

5.4 图池化120

5.4.1 平面图池化120

5.4.2 层次图池化121

5.5 图卷积神经网络的参数学习125

5.5.1 节点分类中的参数学习126

5.5.2 图分类中的参数学习126

5.6 小结127

5.7 扩展阅读128

第6 章图神经网络的健壮性129

6.1 简介130

6.2 图对抗攻击130

6.2.1 图对抗攻击的分类131

6.2.2 白盒攻击132

6.2.3 灰盒攻击135

6.2.4 黑盒攻击139

6.3 图对抗防御142

6.3.1 图对抗训练142

6.3.2 图净化144

6.3.3 图注意力机制144

6.3.4 图结构学习148

6.4 小结149

6.5 扩展阅读149

第7 章可扩展图神经网络151

7.1 简介152

7.2 逐点采样法155

7.3 逐层采样法158

7.4 子图采样法162

7.5 小结164

7.6 扩展阅读164

第8 章复杂图神经网络165

8.1 简介166

8.2 异质图神经网络166

8.3 二分图神经网络168

8.4 多维图神经网络168

8.5 符号图神经网络170

8.6 超图神经网络173

8.7 动态图神经网络174

8.8 小结175

8.9 扩展阅读175

第9 章图上的其他深度模型177

9.1 简介178

9.2 图上的自编码器178

9.3 图上的循环神经网络180

9.4 图上的变分自编码器182

9.4.1 用于节点表示学习的变分自编码器184

9.4.2 用于图生成的变分自编码器184

9.4.3 编码器：推论模型185

9.4.4 解码器: 生成模型186

9.4.5 重建的损失函数186

9.5 图上的生成对抗网络187

9.5.1 用于节点表示学习的生成对抗网络188

9.5.2 用于图生成的生成对抗网络189

9.6 小结191

9.7 扩展阅读191

第3 篇实际应用

第10 章自然语言处理中的图神经网络195

10.1 简介196

10.2 语义角色标注196

10.3 神经机器翻译199

10.4 关系抽取199

10.5 问答系统200

10.5.1 多跳问答任务201

10.5.2 Entity-GCN 202

10.6 图到序列学习203

10.7 知识图谱中的图神经网络205

10.7.1 知识图谱中的图滤波205

10.7.2 知识图谱到简单图的转换206

10.7.3 知识图谱补全207

10.8 小结208

10.9 扩展阅读208

第11 章计算机视觉中的图神经网络209

11.1 简介210

11.2 视觉问答210

11.2.1 图像表示为图211

11.2.2 图像和问题表示为图212

11.3 基于骨架的动作识别214

11.4 图像分类215

11.4.1 零样本图像分类216

11.4.2 少样本图像分类217

11.4.3 多标签图像分类218

11.5 点云学习219

11.6 小结220

11.7 扩展阅读220

第12 章数据挖掘中的图神经网络221

12.1 简介222

12.2 万维网数据挖掘222

12.2.1 社交网络分析222

12.2.2 推荐系统225

12.3 城市数据挖掘229

12.3.1 交通预测229

12.3.2 空气质量预测231

12.4 网络安全数据挖掘231

12.4.1 恶意账户检测231

12.4.2 虚假新闻检测233

12.5 小结234

12.6 扩展阅读234

第13 章生物化学和医疗健康中的

图神经网络235

13.1 简介236

13.2 药物开发与发现236

13.2.1 分子表示学习236

13.2.2 蛋白质相互作用界面预测237

13.2.3 药物–靶标结合亲和力预测239

13.3 药物相似性整合240

13.4 复方药物副作用预测242

13.5 疾病预测244

13.6 小结245

13.7 扩展阅读245

第4 篇前沿进展

第14 章图神经网络的高级方法249

14.1 简介250

14.2 深层图神经网络250

14.2.1 Jumping Knowledge 252

14.2.2 DropEdge 253

14.2.3 PairNorm 253

14.3 通过自监督学习探索未标记数据253

14.3.1 侧重于节点的任务254

14.3.2 侧重于图的任务256

14.4 图神经网络的表达能力257

14.4.1 WL 测试258

14.4.2 表达能力259

14.5 小结260

14.6 扩展阅读260

第15 章图神经网络的高级应用261

15.1 简介262

15.2 图的组合优化262

15.3 学习程序表示264

15.4 物理学中相互作用的动力系统推断265

15.5 小结266

15.6 扩展阅读266

参考文献267

索引295

计算生物化学和医疗健康的数据常常通过图来表示。例如，分子和化合物可以自然地表示为以原子为节点、以键为边的图。蛋白质相互作用（Protein-ProteinInteractions，PPI）记录了两个或多个蛋白质之间的物理联系, 这种联系可以很自然地用图的形式表示。此外，在制药行业中，药物相互作用（Drug-Drug Interactions，DDI）描述了在使用不同药物组合治疗复杂疾病时的不良结果，这种相互作用也可以用图来表示。图神经网络模型具有强大的图表示学习能力，已被应用于许多生物化学和医疗健康应用中，包括药物开发与发现、药物相似性整合、复方药物副作用预测、药物推荐和疾病预测。下面将讨论GNN 模型在生物化学和医疗健康中的一些典型应用。

图神经网络已经被用来推动药物开发和发现中的许多重要任务。这些任务的实例包括：1）分子表示学习，该任务可以用于辅助分子属性预测等下游任务，从而有助于将候选分子的搜索范围缩小到具有合适性质的分子上；2）分子图生成，旨在生成具有某种期望性质的分子；3）药物–靶标结合亲和力预测，即预测药物–靶标的相互作用强度，以便于新药开发和药物再利用；4）蛋白质相互作用界面预测，其目的在于预测蛋白质相互作用界面，以便于理解分子相互作用界面，进而理解分子机制。接下来介绍图神经网络在分子表示学习、药物–靶标结合亲和力预测以及蛋白质相互作用界面预测等方面的应用。

1.分子表示学习

预测新型分子的性质对于材料设计和药物发现具有重要意义。深度学习方法已经被用于预测分子性质。通常来说，分子可以是任意大小和形状的，所以前馈网络和卷积神经网络等深度学习方法不能直接应用于分子数据。预测过程通常包括两个阶段：特征提取，提取分子指纹，即编码分子结构信息的向量表示；性质预测，将提取的分子指纹作为输入，利用深度学习方法预测。在传统方法中，可以使用一些现成的指纹软件提取分子指纹，而这样缺乏来自下游任务的指导。因此，提取出来的表示对于下游任务来说可能并不是最佳的。文献提出了一种端到端的预测框架，它采用图神经网络以一种可微的方式学习分子指纹。具体而言，一个分子可以表示为一个图G = {V, E}，其中节点表示原子，边表示这些原子之间的键。因此，分子性质预测的任务可以看作图分类或图回归问题，这就需要学习图级表示。注意，在描述分子的背景下，这些表示称为分子指纹。应用于该任务的图神经网络模型由图滤波层和图池化层组成。具体而言，文献采用了全局池化方法。本节首先介绍其图滤波层，再介绍获取分子指纹的全局池化层。

推荐序

近年来，随着大数据的出现和计算资源的飞速发展，深度学习成为人工智能领域一个重要的研究热点，各种深度学习的模型、算法层出不穷，深度学习也在图像、声音和文本等应用领域取得了众多革命性的突破与进展。图数据是一种具有强大表达能力的数据类型，其应用范围十分广泛，小至纳米级别的蛋白质分子，大到数亿级别的社交网络，都可以很自然地用图数据表示。然而，由于图数据的结构特殊性，给各大应用领域带来深刻变革的深度学习技术并不能直接应用到图数据领域，为了解决这一问题，图深度学习应运而生。

图深度学习旨在研究如何在图上应用深度学习技术，学习优质的图表示，以较好地完成图上的各类任务。到目前为止，图深度学习的研究已经取得了不少重大突破，这些研究成果给图上的任务解决模式带来了巨大变革，并极大地推进了图表示学习和图机器学习的发展。在图深度学习中，各类图神经网络模型在各大计算机相关领域的应用都取得了巨大成功，比如数据挖掘领域中的社交网络分析任务、交通网络预测任务，以及计算机科学领域的程序分析任务等。除此之外，图神经网络模型还为各类跨学科领域的研究带来了革命性的突破，比如生物化学领域的蛋白质性质分析和药物发现任务，以及物理科学领域的系统状态预测任务等。

本书对图深度学习进行了全面系统的介绍，结构清晰，内容丰富，深入浅出。本书共4 篇，包括基础理论、模型方法、实际应用和前沿进展，构成了一个非常全面、系统的知识框架。其内容涵盖了学习图深度学习必须了解的基础知识，图深度学习中经典的模型方法，图深度学习在实际中的应用方法，以及图深度学习的研究热点和前沿进展。同时，本书各章的结构也都非常优美，从背景介绍、理论细节，到实际应用，再到总结与拓展，深入浅出，引人入胜。本书的作者在图深度学习领域耕耘多年，拥有丰富的一线教学和研究经验。本书凝结了作者团队多年的教学及研究心得，极具阅读和学习价值。

本书适合计算机科学、人工智能和机器学习等相关专业各个阶段的学生学习，也可供信息领域相关从业者，包括工程师和研究人员阅读。本书还适合跨学科研究者阅读，可为其领域研究提供有价值的参考。

俞士纶

伊利诺大学芝加哥分校（UIC）计算机科学系特聘教授，国际计算机领域著名学者，ACM/IEEE 会士

前言

图（Graph）经常用来表示包括社会科学、语言学、化学、生物学和物理学在内的很多不同领域的数据。同时，许多现实世界的应用都可以视为图上的计算任务，例如特定地点的空气质量预测可以视为节点分类任务，社交网络中的朋友推荐可以视为链接预测任务，蛋白质性质预测可以视为图分类任务。为了更好地利用现代机器学习模型完成图上的计算任务，有效地学习图的表示至关重要。表示图的特征提取方法一般可分为两种——特征工程和表示学习。特征工程依赖于手工设计的特征，这个过程很费时，而且手工设计的特征对于给定的下游任务通常不是最佳的。相对而言，表示学习可以自动地从图上学习特征，这个过程需要最少的人力并可以灵活适用于给定的下游任务。因此，图上的表示学习被大家广泛研究。

在过去的几十年中，图表示学习领域取得了巨大的进展。这些进展大致可以划分为图表示学习的三个时代，即传统图嵌入、现代图嵌入和图深度学习。传统图嵌入作为第一代图表示学习，是在经典的基于图的降维技术的背景下研究的。传统图嵌入包括IsoMap、LLE 和eigenmap 等方法。Word2vec 是从大量文本中学习词的表示的一种方法，这些生成的词表示已推进了许多自然语言处理任务的进展。Word2vec 在图域的成功扩展开启了第二代图表示学习——现代图嵌入。鉴于深度学习技术在图像和文本领域表示学习中取得的巨大成功，研究者已努力地将其推广到图域，从而开启了图表示学习的新篇章——图深度学习。

越来越多的证据表明，第三代图表示学习，尤其是图神经网络（GNN），极大地促进了包括侧重于节点和侧重于图的各种图上计算任务的发展。GNN 带来的革命性进展也极大地促进了图表示学习在现实场景中的广泛应用。在推荐系统和社交网络分析等经典领域中，GNN 带来了最好的性能并为它们带来新的研究课题。同时，GNN也不断地应用到新的领域，例如组合优化、物理和医疗健康。GNN 的这些广泛应用为研究者提供了不同学科的多种贡献和观点，并使该研究领域真正成为跨学科领域。

图表示学习是一个快速发展的领域，它吸引了来自不同领域研究者的大量关注，并已经积累了大量的文献。因此，现在是系统地调查和总结该领域的好时机，本书的写作动机就是实现这一目标。本书基于笔者在该领域多年的教学和研究经验，旨在帮助研究人员了解图表示学习的基本知识、进展、广泛的应用及研究前沿成果。

全书概要

本书全面介绍了图表示学习，重点讲解图深度学习尤其是GNN。本书由4 篇组成：基础理论、模型方法、实际应用和前沿进展。基础理论篇介绍了图和深度学习的历史背景和基本概念。模型方法篇涵盖的主题包括现代图嵌入、用于简单图和复杂图的GNN、GNN 的健壮性和可扩展性及GNN 之外的图深度模型。其中，每个主题都用一章介绍，内容包括有关该主题的基本概念和代表性算法的技术细节。实际应用篇介绍了GNN 在典型领域的应用，包括自然语言处理、计算机视觉、数据挖掘、生物化学和医疗健康，每个应用领域将用一章介绍。前沿进展篇讨论了涌现的新方法和新的应用领域，每一章最后都包括针对更高级主题和新趋势的扩展阅读，感兴趣的读者可以进一步阅读相关参考文献。

目标读者

尽管图论、微积分、线性代数、概率论和统计学的基本背景可以帮助读者更好地理解书中的技术细节，但本书的目的是尽可能地做到自成体系。因此，本书广泛地适用于具有不同背景和不同阅读目的的读者。本书可以作为学习工具和参考书，供相关研究领域的高年级本科生或研究生学习。希望从事该领域研究的研究人员可以将本书作为起点。项目经理和从业人员可以从本书中学习如何在产品和平台中应用GNN。计算机科学领域以外的研究人员可以从本书中找到大量将GNN 应用于不同学科的示例。

由于编者水平有限，书中不足之处在所难免，肯请广大读者批评指正。

马耀

汤继良

东兰辛，密歇根州

2021 年4 月

致谢

本书在翻译、校对和出版过程中，得到国内外众多专家学者和出版人员的大力支持和帮助，我们衷心地感谢为本书做出了卓越贡献的各位朋友：

感谢为本书撰写推荐序的伊利诺伊大学芝加哥分校的俞士纶教授。

感谢为本书撰写推荐语的多位专家学者，他们是（按照姓氏拼音排序）：清华大学崔鹏副教授、国防科技大学刘新旺教授、得克萨斯农工大学姬水旺教授、西蒙弗雷泽大学裴健教授、蒙特利尔大学唐建助理教授、清华大学唐杰教授、康奈尔大学王飞副教授、万人计划国家教学名师殷建平教授、悉尼科技大学张成奇教授、南京大学周志华教授和国防科技大学祝恩教授。

感谢为本书的校对和修改提出宝贵意见的各位老师和同学们，他们是（按照姓氏拼音排序）：桂林电子科技大学蔡国永教授及其团队、重庆大学高旻副教授及其团队、中国科技大学何向南教授及其团队、南宁师范大学黄江涛副研究员及其团队、北京理工大学礼欣副教授及其团队、解放军理工大学潘志松教授及其团队、吉林大学王鑫副研究员及其团队、山东大学余国先教授及其团队、南京航空航天大学袁伟伟教授及其团队、国防科技大学周思航老师及博士生涂文轩。

感谢为本书付出巨大努力的电子工业出版社的宋亚东编辑以及全体工作人员。

感谢一直以来关注本书出版进展的热心人士。

感谢正在阅读此书的你。

最后，衷心地感谢我们的亲人挚友，感谢你们一路温暖的相伴、真挚的理解和坚强的支持。

祝大家学有所得，心想事成！

王怡琦，金卫，马耀，汤继良

2021年4月