图表示学习
Douban
Graph Representation Learning
William Hamilton Tradotto da: AI TIME
Sinossi
《图表示学习》提供了一份关于图表示学习的综述。首先，本书讨论图表示学习的目标及图论和网络分析的关键方法论。然后，本书介绍并回顾了学习节点嵌入的方法，包括基于随机游走的方法以及在知识图谱上的应用。再后，本书对高度成功的图神经网络（ Graph Neural Network， GNN）进行了技术上的综合介绍， GNN已成为图数据深度学习领域占主导地位且迅速发展的范式。最后，本书总结了针对图的深度生成模型的最新进展，这是图表示学习新生但发展迅速的子集。
contents
第一部分 背景介绍
第1 章 引言 ............................................................................................... 2
1.1 什么是图 .......................................................................................... 3
1.1.1 多关系图 .............................................................................. 4
1.1.2 特征信息 .............................................................................. 5
1.2 图机器学习 ...................................................................................... 6
1.2.1 节点分类 .............................................................................. 7
1.2.2 关系预测 .............................................................................. 9
1.2.3 聚类和社区发现 ................................................................. 11
1.2.4 图的分类、回归与聚类 ..................................................... 11
第2 章 背景与传统方法 ............................................................................ 13
2.1 图统计特征与核方法 ..................................................................... 14
2.1.1 节点层面的统计特征 ......................................................... 14
2.1.2 图层面的特征和图核 ......................................................... 20
2.2 邻域重叠检测 ................................................................................ 23
2.2.1 局部重叠测量 ..................................................................... 25
2.2.2 全局重叠测量 ..................................................................... 26
2.3 图的拉普拉斯矩阵和图的谱方法 .................................................. 32
2.3.1 图的拉普拉斯矩阵 ............................................................. 32
2.3.2 图割与图聚类 ..................................................................... 35
2.3.3 广义谱聚类 ........................................................................ 40
2.4 面向表示学习 ................................................................................ 41
第二部分 节点嵌入
第3 章 邻域节点重构 ................................................................................ 44
3.1 编码-解码框架 ............................................................................... 45
3.1.1 编码器 ................................................................................ 46
3.1.2 解码器 ................................................................................ 47
3.1.3 编码-解码模型的优化 ........................................................ 48
3.1.4 编码-解码方法小结 ............................................................ 48
3.2 基于因式分解的方法 ..................................................................... 49
3.3 随机游走嵌入表示 ......................................................................... 52
3.4 shallow embedding 的局限性 ......................................................... 56
第4 章 多关系数据及知识图谱 .................................................................. 58
4.1 重建多关系数据 ............................................................................. 59
4.2 损失函数 ........................................................................................ 60
4.3 多关系解码器 ................................................................................ 64
4.4 解码器的性能表征 ......................................................................... 68
第三部分 图神经网络（GNN）
第5 章 图神经网络（GNN）模型 .............................................................. 72
5.1 神经消息传递 ................................................................................ 74
5.1.1 消息传递框架概述 ............................................................. 74
5.1.2 动机和思想 ........................................................................ 76
5.1.3 基本的GNN ....................................................................... 77
5.1.4 自环消息传递 ..................................................................... 79
5.2 广义邻域聚合 ................................................................................ 80
5.2.1 邻域归一化 ........................................................................ 81
5.2.2 集合聚合操作 ..................................................................... 83
5.2.3 邻域注意力模型 ................................................................. 86
5.3 广义的更新方法 ............................................................................. 89
5.3.1 拼接和跳跃连接 ................................................................. 92
5.3.2 门控更新函数 ..................................................................... 94
5.3.3 跳跃知识连接 ..................................................................... 95
5.4 边特征和多元关系GNN ................................................................ 96
5.4.1 关系GNN ........................................................................... 96
5.4.2 注意力机制和特征拼接 ..................................................... 98
5.5 图池化 ............................................................................................ 99
5.6 通用的消息传递方法 ................................................................... 102
第6 章 图神经网络（GNN）的实现 ......................................................... 104
6.1 应用和损失函数 ........................................................................... 104
6.1.1 用于节点分类的GNN ...................................................... 105
6.1.2 用于图分类的GNN .......................................................... 107
6.1.3 用于关系预测的GNN ...................................................... 108
6.1.4 预训练GNN ..................................................................... 108
6.2 效率问题和节点采样 ................................................................... 110
6.2.1 图级别的实现方法 ........................................................... 110
6.2.2 子采样和小批量 ............................................................... 111
6.3 参数共享与正则化 ....................................................................... 112
第7 章 图神经网络（GNN）的理论动机 .................................................. 114
7.1 GNN 与图卷积 ............................................................................. 115
7.1.1 卷积与傅里叶变换 ........................................................... 115
7.1.2 从时间信号到图信号 ....................................................... 118
7.1.3 谱图卷积 .......................................................................... 124
7.1.4 卷积启发的GNN ............................................................. 129
7.2 GNN 和概率图模型 ..................................................................... 135
7.2.1 分布的希尔伯特空间嵌入 ................................................ 135
7.2.2 图作为图模型 ................................................................... 136
7.2.3 嵌入平均场推断 ............................................................... 137
7.2.4 更一般的GNN 和PGM ................................................... 141
7.3 GNN 与图同构 ............................................................................. 141
7.3.1 图同构 .............................................................................. 142
7.3.2 图同构与表示能力 ........................................................... 143
7.3.3 WL 算法 ........................................................................... 143
7.3.4 GNN 和WL 算法 ............................................................. 145
7.3.5 超越WL 算法 .................................................................. 148
第四部分 生成图模型
第8 章 传统图生成方法 .......................................................................... 158
8.1 传统方法概述 .............................................................................. 159
8.2 ERDÖS–RÉNYI 模型 .................................................................. 159
8.3 随机块模型 .................................................................................. 160
8.4 优先链接模型 .............................................................................. 161
8.5 传统应用 ...................................................................................... 163
第9 章 深度生成模型 .............................................................................. 165
9.1 VAE 方法 ..................................................................................... 166
9.1.1 节点级隐表示 ................................................................... 169
9.1.2 图级别的隐表示 ............................................................... 172
9.2 对抗方法 ...................................................................................... 176
9.3 自回归模型 .................................................................................. 178
9.3.1 边依赖建模 ...................................................................... 178
9.3.2 循环图生成模型 ............................................................... 179
9.4 图生成的评估 .............................................................................. 184
9.5 分子图生成 .................................................................................. 185
后记 .......................................................................................................... 187
致谢 .......................................................................................................... 190
