# 矩阵微积分

# 概述

矩阵的微积分运算是一个规则混乱的区域，其实际意义是对向量分量微积分的简化表示。但实际上，由于标量和矢量、矢量分量难以区分，行向量和列向量难以区分，矩阵的微积分记号含义常常需要依据推导过程确定。因此，对于矩阵微积分，一般按向量分量拆分，然后依据标量的微积分规则进行计算。这样可以在矩阵的计算推导中少出错误。

下面，我依然会记录几个常见的标注方式。如果存在歧义，我也会在笔记中标出。

# 符号

符号	含义
\boldsymbol	实向量变元 $(x_1, x_2, \dots, x_m)^\top \in \mathbb{R}^m$
$X$	实矩阵变元 (\boldsymbol{x}_1, \boldsymbol{x_2}, \dots, \boldsymbol{x_n}) \in \mathbb{R}^
$f(\boldsymbol{x})$	实标量函数 f : \mathbb{R}^m \to \mathbb
$f(X)$	实矩阵函数 f : \mathbb{R}^{m \times n} \to \mathbb
$\boldsymbol{f}(\boldsymbol{x})$	$p$ 维实列向量函数 $\boldsymbol{f} : \mathbb{R}^m \to \mathbb{R}^p$
$\boldsymbol{f}(X)$	$p$ 维实列矩阵函数 \boldsymbol{f} : \mathbb{R}^{m \times n} \to \mathbb{R}^
$\boldsymbol{F}(\boldsymbol{x})$	$p \times q$ 实矩阵函数 \boldsymbol{F} : \mathbb{R}^m \to \mathbb{R}^
$\boldsymbol{F}(X)$	$p \times q$ 实矩阵函数 \boldsymbol{F} : \mathbb{R}^{m \times n} \to \mathbb{R}^

# 梯度

梯度即标量对向量的导数，其定义是明确的。对于 $n$ 自变量的函数 $f(x_1,x_2,\dots,x_n)$ , 其梯度为

$\nabla f = \sum_{i=1}^n\frac{\partial f}{\partial x_i}\hat{x_i} = \left(\frac{\partial f}{\partial x_1}, \dots, \frac{\partial f}{\partial x_n}\right)$

# 向量导数

# 向量对标量的导数

列向量 $\boldsymbol{y}$ 对标量 $x$ 的导数为

$\frac{\partial \boldsymbol{y}}{\partial x} = \left(\frac{\partial y_1}{\partial x}, \dots, \frac{\partial y_n}{\partial x}\right)^\top$

# 向量对向量的导数

$\boldsymbol{x} = (x_1,x_2,\dots,x_n)^\top, \boldsymbol{y} = (y_1,y_2,\dots,y_m)^\top$ 是两个列向量，其导数一般表示为

$\frac{\partial \boldsymbol{y}}{\partial \boldsymbol{x}} = \left(\frac{\partial \boldsymbol{y}}{\partial x_1}, \dots, \frac{\partial \boldsymbol{y}}{\partial x_n}\right)$

# 矩阵导数

矩阵对标量的导数是容易定义的。对于矩阵 $Y$ 及标量 $x$ , 其导数定义为

$\frac{\partial Y}{\partial x} = \left(\frac{\partial y_{ij}}{\partial x}\right)$

标量对矩阵的导数也可以类似定义，不过鲜有人用。

$\frac{\partial y}{\partial X} = \left(\frac{\partial y}{\partial x_{ij}}\right)$

# 参考资料

Wikipedia: Matrix calculus
Matrix Cookbook
矩阵分析与应用张贤达