泪目,GNN 论文好多。

图卷积网络 (Graph Convolutional Networks, GCN) 是 Kipf 和 Welling 发表在 ICLR 2017 上的方法,文章题目为 Semi-Supervised Classification with Graph Convolutional Networks. 这篇文章介绍了一种半监督模型,用于进行图网络的节点分类。

# 背景

# 谱图理论

谱图理论是基于图拉普拉斯矩阵研究图特点的数学方法,其通过分析拉普拉斯矩阵的特征值和特征向量,来获得图连通性、节点邻居关系等拓扑性质。

在本文中,谱图理论得以应用于机器学习之中,并带来了良好的效果。

# 基本方法

GCN 可以被描述为形如 f(X,A)f(X, A) 的模型,其中 XRN×CX \in \mathbb{R}^{N \times C} 是输入特征,ARN×NA \in \mathbb{R}^{N \times N} 是邻接矩阵。

具体说来,多层的 GCN 的前向传播规则可以表示为

H(l+1)=σ(D~12A~D~12H(l)W(l))H^{(l+1)} = \sigma\left(\tilde{D}^{-\frac{1}{2}}\tilde{A}\tilde{D}^{-\frac{1}{2}}H^{(l)}W^{(l)}\right)

其中 H(l)RN×CH^{(l)} \in \mathbb{R}^{N \times C} 表示第 ll 个隐藏层,首个隐藏层采用 XX 计算得到,A~=A+IN\tilde{A} = A + I_N 是在图中添加自环的邻接矩阵,DD 是度矩阵,D~\tilde{D}A~\tilde{A} 的度矩阵,W(l)RD×DW^{(l)} \in \mathbb{R}^{D \times D} 是第 ll 层的权重矩阵,σ\sigma 是激活函数,一般为 ReLU\text{ReLU} 函数。

# Ref

  • Semi-Supervised Classification with Graph Convolutional Networks
  • 日常半躺:图卷积神经网络(GCN)的数学原理详解 —— 谱图理论和傅立叶变换初探
  • AlgorithmicRUC - 数据科学中的经典 && 前沿算法分享