是关于几何图神经网络综述论文 A Survey of Geometric Graph Neural Networks: Data Structures, Models and Applications 的一个简单笔记。

# 数学基础

# 群

文章中用到了一些常见的群，包括：

• $\mathrm{E}(d)$: 欧几里得群 / 保距变换群 / 刚体变换群
• $\mathrm{T}(d)$: 平移变换群
• $\mathrm{O}(d)$: 正交变换群
• $\mathrm{SO}(d)$: 特殊正交变换群，即旋转群
• $\mathrm{SE}(d)$: 特殊欧几里得群，即平移旋转群
• Lie Group: 李群
• $\mathrm{S}_N$: $n$ 个元素的置换群

# 群表示

一个群 $G$ 的表示 (representation) 实际上就是一个从群到矩阵空间的映射

$$\rho(g) : G \to \mathrm{GL}(\mathcal{V})$$

其中 $\mathcal{V}$ 是一个线性空间，则 $\mathrm{GL}(\mathcal{V})$ 是该线性空间上变换对应的矩阵表示。

群表示将群作用具体刻画为矩阵计算，为群作用的研究提供了方便。

# 不变性和等变性

对于群 $G$, 若函数 $\phi: \mathcal{X} \to \mathcal{Y}$ 是 $G$- 不变的 ($G$-invariant), 当且仅当其满足

$$\phi(g \cdot x) = \phi(x), \quad \forall g \in G.$$

相应地，对于群 $G$, 若函数 $\phi: \mathcal{X} \to \mathcal{Y}$ 是 $G$- 等变的 ($G$-equivariant), 当且仅当其满足

$$\phi(g \cdot x) = g \cdot \phi(x), \quad \forall g \in G.$$

如果采用群表示的语言描述，则等变性可以表示为

$$\phi(\rho_\mathcal{X}(g)x) = \rho_{\mathcal{Y}}(g) \phi(x), \quad \forall g \in G,$$

其中 $\rho_{\mathcal{X}}, \rho_{\mathcal{Y}}$ 是输入和输出的群表示。

# 数据结构

# 模型

# 不变图神经网络 (Invariant GNN)

# SchNet

SchNet 是 2018 年发表于 The Journal of Chemical Physics 期刊的一篇文章，17 年底就挂在了 Arxiv 上。

该网络在 MPNN 的消息计算过程中做文章，将消息改变为仅依赖于相对距离 $r_{ij} = \|\vec{\boldsymbol{x}}_i - \vec{\boldsymbol{x}}_j\|$ 的量，从而可以实现 $\mathrm{E}(3)$ 不变。

该网络的每一层（采用原文献符号）可以表示为

$$\textbf{x}_i^{l+1} = \left(X^l * W^l\right)_i = \sum_{j=1}^{n_{\mathrm{atoms}}} \textbf{x}_j^l \circ W^l (\textbf{r}_j - \textbf{r}_i),$$

其中 $i$ 是原子标号，$\textbf{x} \in \mathbb{R}^F$ 是特征向量，$W: \mathbb{R}^3 \to \mathbb{R}^F$ 是将三维坐标映射到特征维度的全连接神经网络，$n_{\mathrm{atoms}}$ 为原子数。

# DimeNet

DimeNet 是 ICLR 2020 上提出的一种不变图神经网络。作者注意到，对于一个环己烷 $\mathrm{C}_6\mathrm{H}_{12}$ 和两个环丙烷 $2\mathrm{C}_3\mathrm{H}_6$, 仅依靠相对距离信息是几乎无法区分的（两种碳碳键之间的键长差距极小），且各原子的邻域相同。因此，引入便于观察的角度信息是自然的想法。于是，相比于 SchNet 只采用相对距离作为消息，DimeNet 首次在消息中引入了角度信息。

基于原文符号，其消息计算过程可以表示为

$$\boldsymbol{m}_{ji}^{(l+1)} = f_{\mathrm{update}}\left(\boldsymbol{m}_{ji}^{(l)}, \sum_{k \in \mathcal{N}_j \setminus \{i\}} f_{\mathrm{int}} \left( \boldsymbol{m}_{kj}^{(l)}, \boldsymbol{e}_{\mathrm{RBF}}^{(ji)}, \boldsymbol{a}_{CBF}^{(kj,ji)}\right)\right)$$

也就是说，这里的消息计算除了依赖该边先前消息 $\boldsymbol{m}_{ji}^{(l)}$ 之外，还依赖了二阶消息 $\boldsymbol{m}_{kj}^{(l)}$, 以及 $\boldsymbol{e}_{\mathrm{RBF}}^{(ji)}, \boldsymbol{a}_{CBF}^{(kj,ji)}$ 两项。其中 $\boldsymbol{e}_{\mathrm{RBF}}^{(ji)}$ 是原子间距离 $d_{ji}$ 的 RBF 表示，也就是依赖于相对距离的一项信息。$\boldsymbol{a}_{\mathrm{CBF}}^{(kj,ji)}$ 是边 $kj, ji$ 夹角的衡量，是基于圆贝塞尔函数 (circular Bessel function) 表示的。

因此，该方法的创新点是首先引入了夹角作为消息的一部分，用来进行原子间相对关系的表示。但是此时的消息计算需要依赖二阶消息，因此计算复杂度是一个限制模型性能的重要因素。

# GemNet

GemNet 是 DimeNet 的进一步扩展，在消息传递中采用了二面角信息，该信息采用球贝塞尔函数 (spherical Bessel function) 表示。

$$\boldsymbol{m}_{ji}' = \sigma_{\mathrm{msg}}\left(\boldsymbol{m}_{ji}, \sum_{k \in \mathcal{N}_i\setminus \{j\}} \sum_{l \in \mathcal{N}_k \setminus \{i,j\}} \sigma_{\mathrm{int}} \left(\boldsymbol{m}_{lk}, \boldsymbol{e}_{\mathrm{RBF}}^{(lk)}, \boldsymbol{e}_{\mathrm{CBF}}^{(ikl)}, \boldsymbol{e}_{\mathrm{SBF}}^{(jikl)}\right)\right).$$

# LieConv

LieConv 还没完全看懂。

# 等变图神经网络

等变 GNN 是满足

$$\phi(g \cdot \vec{\mathcal{G}}) = g \cdot \phi(\vec{\mathcal{G}}), \quad \forall g \in \mathrm{E}(3).$$

消息计算和更新过程具体定义为

$$\begin{aligned} & \text{message passing:} && \quad \boldsymbol{m}_{ij}, \vec{\boldsymbol{m}}_{ij} = \phi_{\mathrm{msg}} \left(\boldsymbol{h}_i, \boldsymbol{h}_j, \vec{\boldsymbol{x}}_i, \vec{\boldsymbol{x}}_j, \boldsymbol{e}_{ij} \right), \\ & \text{update:} && \quad \boldsymbol{h}_i', \vec{\boldsymbol{x}}_i' = \phi_{\mathrm{upd}} \left(\boldsymbol{h}_i, \{(\boldsymbol{m}_{ij}, \vec{\boldsymbol{m}}_{ij})\}_{j \in \mathcal{N}_i}\right). \end{aligned}$$

一般来说，等变 GNN 可以分成两类，分别是基于标量化的模型 (scalarization-based models) 和高度可操纵模型 (high-degree steerable models).

# 基于标量化的模型

# EGNN

EGNN 是最经典的基于标量化的等变模型。

基于原文符号，EGNN 可以表示为

$$\begin{aligned} & \textbf{m}_{ij} = \phi_e\left(\textbf{h}_i^l, \textbf{h}_j^l, \left\| \textbf{x}_i^l - \textbf{x}_j^l\right\|^2, a_{ij}\right), \\ & \textbf{x}_i^{l+1} = \textbf{x}_i^l + C \sum_{j \neq i} \left(\textbf{x}_i^l - \textbf{x}_j^l\right) \phi_x (\textbf{m}_{ij}), \\ & \textbf{m}_i = \sum_{j \neq i}\textbf{m}_{ij}, \\ & \textbf{h}_{i}^{l+1} = \phi_h \left(\textbf{h}_i^l, \textbf{m}_i\right). \\ \end{aligned}$$

实际上它是

$$\begin{aligned} \phi_{\mathrm{msg}}:\quad & \boldsymbol{m}_{ij} = \sigma_1 (\boldsymbol{h}_i,\boldsymbol{h}_j,\|\vec{\boldsymbol{x}}_i - \vec{\boldsymbol{x}}_j\|^2, \boldsymbol{e}_{ij}), \\ & \vec{\boldsymbol{m}}_{ij} = \left(\vec{\boldsymbol{x}}_i - \vec{\boldsymbol{x}}_j\right) \sigma_2(\boldsymbol{m}_{ij}), \\ \phi_{\mathrm{upd}}:\quad & \boldsymbol{h}_i' = \sigma_3 \left(\boldsymbol{h}_i, \textstyle \sum_{j \in \mathcal{N}_i} \boldsymbol{m}_{ij}\right), \\ & \displaystyle \vec{\boldsymbol{x}}_i' = \vec{\boldsymbol{x}}_i + \gamma \sum_{j \in \mathcal{N}_i} \vec{\boldsymbol{m}}_{ij}. \\ \end{aligned}$$

在 EGNN 中，还提到了将速度信息引入模型的方法，但速度信息的引入方式更像 Polyak 的动量梯度下降算法，即

$$\begin{aligned} & \textbf{v}^{l+1} = \phi_v (\textbf{h}_i^l) \textbf{v}_i^{\mathrm{init}} + C \sum_{j \neq i} (\textbf{x}_i^l - \textbf{x}_j^l) \phi_x(\textbf{m}_{ij}), \\ & \textbf{x}^{l+1} = \textbf{x}^l + \textbf{v}^{l+1}. \\ \end{aligned}$$

这显然是可以改进的。

# GMN

GMN 是在 EGNN 基础上，引入更多通道，从而提高了等变模型的表征能力。对于一个节点 $i$, 其输入的几何特征从 $\vec{\boldsymbol{x}}_i$ 改为多通道的 $\vec{\boldsymbol{V}}_{i} \in \mathbb{R}^{3 \times C}$. 可以表示为

$$\begin{aligned} & \boldsymbol{m}_{ij} = \sigma_1 \left(\boldsymbol{h}_i,\boldsymbol{h}_j,\frac{\vec{\boldsymbol{V}}_{ij}^\top \vec{\boldsymbol{V}}_{ij}}{\|\vec{\boldsymbol{V}}_{ij}^\top \vec{\boldsymbol{V}}_{ij}\|_{F}}, \boldsymbol{e}_{ij}\right), \\ & \vec{\boldsymbol{M}}_{ij} = \vec{\boldsymbol{V}}_{ij} \sigma_2(\boldsymbol{m}_{ij}). \end{aligned}$$

若取 $C=2$, 则可以令 $\vec{\boldsymbol{V}}_i = (\vec{\boldsymbol{x}}_i, \dot{\vec{\boldsymbol{x}}}_i)$. 然后同时对两个特征进行学习。可以看到，此时的 $\vec{\boldsymbol{x}}_{i}$ 与 $\dot{\vec{\boldsymbol{x}}}_{i}$ 地位等价，不存在从属关系。这样的模型可学习自由度更高，从而有更大潜力得到更优的模拟效果。

# PAINN

PAINN 全称 Polarizable Atom Interaction Neural Network, 即可极化原子相互作用神经网络。因此，它描述的是极性分子的分子结构，即分子中不同原子之间的相互作用。

# 局部框架 (Local Frame)

为了应对旋转中产生的对称性问题，可以构建旋转等变的局部框架，从而将几何信息投影为不变表示。例如 ClofNet 采用类似物理学中换用质心系的思想实现平移不变。即计算 $\vec{\boldsymbol{x}}_{ic} = \vec{\boldsymbol{x}}_i - \vec{\boldsymbol{x}}_c$, 其中 $\vec{\boldsymbol{x}}_c = \frac{1}{N} \sum_{i=1}^N \vec{\boldsymbol{x}}_i$, 然后将 $\vec{\boldsymbol{x}}_{ic}$ 作为输入。

# 高度可操纵模型

# 数学基础

# 勒让德方程和勒让德多项式

连带勒让德方程 (Associated Legendre polynomials) 形式如下：

$$\frac{\mathrm{d}}{\mathrm{d}x}\left((1-x^2)\frac{\mathrm{d}y}{\mathrm{d}x}\right) + \left(l(l+1) - \frac{m^2}{1-x^2}\right)y = 0, \quad l = 0, 1, 2, \dots .$$

它是由球坐标系下求解拉普拉斯方程 $\nabla^2 u = 0$ 导出的。其通解为

$$P_l^m(x) = (-)^m(1-x^2)^{m/2}\frac{\mathrm{d}^m P_l(x)}{\mathrm{d}x^m}, \quad m = 0, 1, 2, \dots ,$$

其中 $P_l(x)$ 是勒让德多项式 (Legendre polynomials).

当连带勒让德方程参数 $m=0$ 时，转化为下式：

$$\frac{\mathrm{d}}{\mathrm{d}x}\left((1-x^2)\frac{\mathrm{d}y}{\mathrm{d}x}\right) + l(l+1)y = 0, \quad l = 0, 1, 2, \dots ,$$

称为勒让德方程 (Legendre equation). 通解

$$P_l(x) = \frac{1}{2^l} \sum_{s=0}^{\lfloor l/2 \rfloor} \frac{(-)^s(2l-2s)!}{s!(l-s)!(l-2s)!}x^{l-2s}, \quad x \in [-1, 1]$$

称为勒让德多项式 (Legendre polynomial), 记作 $P_l(x)$. 也可以用超几何函数表示为

$$P_l(x) = \frac{(2n)!}{2^n(n!)^2} x^n \mathrm{F}\left(-\frac{n}{2}, \frac{1-n}{2}, \frac{1}{2} - n, x^{-2} \right).$$

# 球谐函数

球谐函数可以看作单位球面上的一组 Fourier 基，它天然借用了 Legendre 多项式表示。

球谐函数定义为

$$Y_l^m(\theta, \phi) \coloneqq (-)^m \sqrt{\frac{(2l+1)}{4\pi} \frac{(l-m)!}{(l+m)!}} P_l^m(\cos \theta) e^{i m \phi}, \quad l = 0, 1, 2, \dots, \quad -l \leq m \leq l.$$

其中含有两个参数（参考 ChatGPT）：

• $l$ 称为度数 (degree) 或角动量量子数，它决定了球谐函数的总角动量大小。$l$ 的取值范围是 $0, 1, 2, \dots$, 通常被称为阶数。较大的 $l$ 对应更高的角动量，表现为球谐函数在球面上的更多变化和波峰波谷。
• $m$ 称为阶数 (order) 或磁量子数，它表示角动量在空间中的投影。对于给定的 $l$, $m \in \{-l,-l+1,...,0,...,l-1,l\}$. 球谐函数描述了球面上在不同方向上的分布，而 $m$ 决定了在球面上的旋转对称性。具体而言，$m$ 的正负号表示旋转方向，而 $|m|$ 决定了旋转的角度。

# 函数的球谐展开

基本的球谐函数是 $Y_m^{(l)}(\theta, \phi): S^2 \to \mathbb{C}$ 的映射，其中 $\theta$ 是极角，$\phi$ 是方位角，$l,m \in \mathbb{Z}, l>0, -l \leq m \leq l$. 将一系列 $m$ 组合为一个新的向量

$$Y^{(l)} = (Y_l^{-l}(\theta, \phi), Y_l^{-l+1}(\theta, \phi), \dots, Y_l^{l}(\theta, \phi))^\top$$

那么，type-$l$ 函数的球谐展开可以表示为

$$f(\vec{\boldsymbol{x}}) = \sum_{m = -l}^lc_m Y_l^m(\vec{\boldsymbol{x}}) = \boldsymbol{c}^\top Y^{(l)}(\vec{\boldsymbol{x}}).$$

一般地，如果函数是多个 type 特征混合而成的。例如此处考虑其包括 type-$l_1$ 和 type-$l_2$ 特征，那么函数的球谐展开可以表示为

$$f(\vec{\boldsymbol{x}}) = \boldsymbol{c}_1^\top Y^{(l_1)}(\vec{\boldsymbol{x}}) + \boldsymbol{c}_2^\top Y^{(l_2)}(\vec{\boldsymbol{x}}) = (\boldsymbol{c}_1^\top, \boldsymbol{c}_2^\top) (Y^{(l_1)}(\vec{\boldsymbol{x}}), Y^{(l_2)}(\vec{\boldsymbol{x}})).$$

关于实球谐函数的具体计算，可以参考 Table of spherical harmonics - Wikipedia.

# Wigner-D 矩阵与旋转等变

Wigner-D 矩阵 (Wigner-D matrix) 是旋转群 $\mathrm{SO}(3)$ 的一种不可约表示：

$$\rho (g) \coloneqq \boldsymbol{D}^{(l)} (g) \in \mathbb{R}^{(2l+1) \times (2l+1)}, \quad g \in \mathrm{SO}(3),$$

Wigner-D 矩阵的作用是在球谐函数表示下实现旋转等变性。假设一个旋转算子为 $\boldsymbol{R}_g$, 则

$$Y^{(l)}_m(\boldsymbol{R}_g\vec{\boldsymbol{x}}) = \sum_{m'=-l}^{l} \boldsymbol{D}_{m'm}^{(l)}(g) Y^{(l)}_{m'}(\vec{\boldsymbol{x}}).$$

写成向量，那就是

$$Y^{(l)}(\boldsymbol{R}_g\vec{\boldsymbol{x}}) = \boldsymbol{D}^{(l)}(g) Y^{(l)}(\vec{\boldsymbol{x}}),$$

其中 $\boldsymbol{D}^{(l)}(g) \in \mathbb{R}^{(2l+1) \times (2l+1)}$. 结合上面的分析，具有两个 type 的函数的球谐展开加入旋转等变可以表示为

$$\begin{aligned} f(\boldsymbol{R}_g\vec{\boldsymbol{x}}) &= (\boldsymbol{c}_1^\top, \boldsymbol{c}_2^\top) (Y^{(l_1)}(\vec{\boldsymbol{\boldsymbol{R}_gx}}), Y^{(l_2)}(\vec{\boldsymbol{\boldsymbol{R}_g \vec{\boldsymbol{x}}}})) \\ &= (\boldsymbol{c}_1^\top, \boldsymbol{c}_2^\top) (\boldsymbol{D}^{(l_1)}(g) Y^{(l_1)}(\vec{\boldsymbol{x}}), \boldsymbol{D}^{(l_2)}(g) Y^{(l_2)}(\vec{\boldsymbol{x}})) \\ &= \left( \begin{matrix} \boldsymbol{c}_1 \\ \boldsymbol{c}_2 \\ \end{matrix} \right)^\top \left( \begin{matrix} \boldsymbol{D}^{(l_1)}(g) & 0 \\ 0 & \boldsymbol{D}^{(l_2)}(g) \\ \end{matrix} \right) \left( \begin{matrix} Y^{(l_1)}(\vec{\boldsymbol{x}}) \\ Y^{(l_2)}(\vec{\boldsymbol{x}}) \\ \end{matrix} \right) \end{aligned}$$

是一个超级 cool 的二次型，可以将空间按照 type 划分为不同的不变子空间。

# 张量积与 CG 张量乘

前面一直在说 "type", 但终究还是没有给出一个严谨的定义。

的确还没完全想明白。

总之现在采用比较玄学的方式说明下面的知识。

注意到，一个位矢 $\vec{\boldsymbol{x}} = (x_1, x_2, x_3)^\top$ 是 type-1 的。对本身作张量积，得到

$$\vec{\boldsymbol{x}} \otimes \vec{\boldsymbol{x}} = (x_1, x_2, x_3) \otimes (x_1, x_2, x_3) = (x_1^2, x_1 x_2, x_1 x_3, x_2 x_1, x_2^2, x_2 x_3, x_3 x_1, x_3 x_2, x_3^2)^\top.$$

然后把里面这个 $\mathbb{R}^9$ 的向量里面的不同维度线性组合一下，或者说加一个神经网络层，就可以得到

• type-0 数据：$x_1^2+x_2^2+x_3^2 = |\vec{\boldsymbol{x}}|^2$.
• type-2 数据：即对称无迹矩阵 (symmetric traceless matrices), 就是下面这种形状的矩阵：

  $$\left( \begin{matrix} 0 & x_1x_2 & x_1x_3 \\ x_1x_2 & 0 & x_2x_3 \\ x_1x_3 & x_2x_3 & 0 \\ \end{matrix} \right)$$

CG 张量乘 (Clebsch-Gordan tensor product), 则是把两个不同 type 类型特征进行克罗内克积，然后接入一个可学习的参数矩阵，筛选上述的对应 type 特征的过程。可以形式化表示为

$$\vec{\boldsymbol{V}}^{(l)} = \left(\vec{\boldsymbol{V}}^{(l_1)} \otimes_{\mathrm{cg}}^{\boldsymbol{W}} \vec{\boldsymbol{V}}^{(l_2)} \right),$$

这里要求 $|l_1 - l_2| \leq l \leq l_1+l_2, l \in \mathbb{N}$. 这个式子展开之后就是

$$v_{m,c}^{(l)} = \sum_{c_1 = 1}^{C_1} \sum_{c_2 = 1}^{C_2} w_{c_1, c_2, c} \sum_{m_1 = -l_1}^{l_1} \sum_{m_2 = -l_2}^{l_2} Q_{(l_1, m_1)(l_2, m_2)}^{(l,m)} v_{m_1, c_1}^{(l_1)} v_{m_2, c_2}^{(l_2)},$$

这里的 $Q_{(l_1, m_1)(l_2, m_2)}^{(l,m)}$ 是 CG 系数，实际上是一个类似示性函数的东西，当且仅当 $|l_1 - l_2| \leq l \leq l_1 + l_2$ 时该系数不为 $0$.

对于 multi-type 的情况，就用空心字母表示张量，于是有

$$\vec{\mathbb{V}}^{(\mathbb{L})} = \vec{\mathbb{V}}^{(\mathbb{L}_1)} \otimes_{\mathrm{cg}}^{\boldsymbol{W}} \vec{\mathbb{V}}^{(\mathbb{L}_2)}.$$

# TFN

TFN 全称 Tensor Field Networks, 即张量场网络。可以表示为

$$\vec{\mathbb{M}}_{ij}^{(\mathbb{L})} = \mathbb{Y}^{(\mathbb{L})} \left(\frac{\vec{\boldsymbol{x}}_{ij}}{\|\vec{\boldsymbol{x}}_{ij}\|}\right) \otimes_{\mathrm{cg}}^{\mathbb{W}} \vec{\mathbb{V}}_j^{(\mathbb{L})}.$$

# SEGNN

SEGNN 即 Steerable E(3) Equivariant GNN, 可操控的 $\mathrm{E}(3)$ 等变图神经网络。

# 几何图 Transformer

111

# 几何图的表征能力

# 几何图上的 WL-Test

WL-test 是古早的图同构判定算法，它与 GCN 类似，通过多次传递消息然后判断各节点的哈希组成集合是否相同，公式表示为

$$\boldsymbol{c}_i^{(t)} = \mathrm{HASH}\left(\boldsymbol{c}_i^{(t-1)}, \{\!\{\boldsymbol{c}_j^{(t-1)}|j \in \mathcal{N}_i\}\!\}\right).$$

该算法复杂度是 $O(|V| \cdot |E|)$ 的。

GWL 框架 (Geometric Weisfeiler-Leman framework) 提出了 WL-test 的几何版本。

注意到，原本的 WL-test 是采用节点为中心的、局部的更新过程进行图同构判断，GWL-test 仍然按照此想法，但是从邻居节点周围收集的信息同时包括不变的拓扑信息和等变的几何信息，可以公式表述为

$$\begin{aligned} & \boldsymbol{g}_i^{(t)} = \mathrm{HASH}\left((c_i^{(t-1)}, \boldsymbol{g}_i^{(t-1)}), \{\!\{(c_i^{(t-1)}, \boldsymbol{g}_j^{(t-1)}, \vec{\boldsymbol{x}}_{ij})|j \in \mathcal{N}_i\}\!\}\right)\\ & c_i^{(t)} = \mathrm{I-HASH}^{(t)}\left(\boldsymbol{g}_i^{(t)}\right) \end{aligned}$$

这里的 $\mathrm{I-HASH}^{(t)}$ 只是强调它在每一此迭代过程中都是一个单射 (injection), 并无深意。

# 应用

# 原子级任务 (Particles)

# 物理动力学模拟 (Physics dynamics simulation)

这里的典型例子是多体模拟，此外还可以建模流体、刚体、人体等多种结构。抽象为数学形式，它实际上是一个初值问题，基于 $t$ 时刻初始图 $\vec{\mathcal{G}}^{(t)}$ 对 $k$ 时间步后的系统进行预测：

$$\vec{\boldsymbol{X}}^{(t+k)} = \phi_{\theta}(\vec{\mathcal{G}}^{(t)}).$$

此外，输入也可以更改为过去一段时间的信息。

# 小分子级任务 (Small Molecules)

在小分子中，取原子作为几何图节点，几何图连边对应化学键，则分子构成几何图。分子中相对距离是重要的输入特征，还可以用来通过 KNN 构建邻居节点。

# 分子性质预测 (Molecular roperty prediction)

分子性质预测是最基本的任务，可以公式表述如下：

$$\boldsymbol{y}, \vec{\boldsymbol{y}} = \phi_{\theta}(\vec{\mathcal{G}}).$$

由于可以同时进行多任务预测，且可以对标量和矢量进行预测，因此左侧是 $\boldsymbol{y}, \vec{\boldsymbol{y}}$.

# 分子动力学模拟 (Molecular dynamics simulation)

与物理动力学模拟类似，分子动力学模拟也可以公式表述为

$$\vec{\boldsymbol{X}}^{(t+k)} = \phi_{\theta}(\vec{\mathcal{G}}^{(t)}).$$

但分子动力学与的输入几何图建模不同，导致可以施加的操作也略有差别。我们可以对分子中的每个节点施加力 $\vec{\boldsymbol{F}} \in \mathbb{R}^3$, 也可以对分子本身的能量 $E \in \mathbb{R}$ 进行建模。

# 分子生成 (Molecular generation)

分子生成是人工智能药物发现的重要任务，通过对已有分子结构对应几何图进行概率学习，预测可能存在的新分子结构。

分子生成的方式一般包括两种：

1. 构象生成 (conformation generation): 基于图的 2D 拓扑表示生成 3D 空间结构，该过程主要依赖几何图实现相对距离预测和坐标重建。
2. 从头生成 (de novo generation): 可以使用自回归模型，也可以基于扩散模型生成。

# 分子预训练 (Molecular pretraining)

用 $\phi_{\theta}(\vec{\mathcal{G}})$ 代表表示模型，用 $\hat{\boldsymbol{y}}(\vec{\mathcal{G}})$ 代表基于几何图结构的伪标签，那么自监督训练过程就是

$$\theta = \argmin_\theta \mathcal{L}\left(\hat{\boldsymbol{y}}(\vec{\mathcal{G}}), \phi_{\theta}(\vec{\mathcal{G}})\right).$$

# 蛋白质任务 (Proteins)

注意到蛋白质是由单个或多个氨基酸残基长链盘曲折叠组成的生物大分子，因此几何图构建包括两种方式

1. 将全原子作为节点；
2. 将各氨基酸残基视为节点，以 $\alpha$ - 碳位置作为空间坐标。
   蛋白质是多模态的结构，可以关注其一维氨基酸序列，也可以关注三维空间结构。

# 蛋白质性质预测 (Protein property prediction)

按照粒度分类，蛋白质性质预测任务可以分为三类：

1. 蛋白质级别预测：希望基于蛋白质的结构，给出蛋白质功能的预测，或是对蛋白质输出一个评分。其可以包括如下任务：

   别骂了还没看懂 bg.

2. 残基级别预测：任务是捕获单个氨基酸之间的结构依赖性。
3. 原子级别预测：主要任务是发现蛋白质上原子是否存在潜在配体结合位点。

# 蛋白质生成 (Protein generation)

# 蛋白质预训练 (Protein pretraining)