数列的兜兜转转罢了。

# 离散时间信号

离散时间信号是从整数集到实数集 / 复数集的一个映射 $x: \mathbb{Z} \to \mathbb{R} \; \mathrm{or}\; \mathbb{C}$. 显然，离散时间信号是自变量离散的，也就是一个序列。

# 分类

下面是几个重要的序列类型：

• 有限长序列：$x[n] = 0, \forall n \in (-\infty, N_1], [N_2, +\infty)$.
• 右边序列：$x[n]=0, \forall n \in (-\infty, ,N_1]$. 若 $N_1 \geq 0$, 则又称为因果序列。
• 左边序列：$x[n]=0, \forall n \in[𝑁_2,+\infty)$, 又称为非因果序列。
• 实序列：$x[n] \in \mathbb{R}, \forall n$.
• 复序列：$x[n] \in \mathbb{C}, \forall n$.

# 序列的性质

# 序列对称性

若复序列 $x[n]$ 满足

$$x[n] = x^*[-n], \quad \forall n \in \mathbb{Z}$$

则称 $x[n]$ 是一个共轭对称序列 (conjugate symmetric sequence).

类似地，若复序列 $x[n]$ 满足

$$x[n] = -x^*[-n], \quad \forall n \in \mathbb{Z}$$

则称 $x[n]$ 是一个共轭反对称序列 (conjugate antisymmetric sequence).

基于上述定义，容易发现：任意复序列 $x[n]$ 都可以表示为一个共轭对称序列 $x_{\mathrm{cs}}[n]$ 和一个共轭反对称序列 $x_{\mathrm{ca}}[n]$ 的和。

# 序列的周期性

若 $\exists N < \infty$ 使得序列 $x[n]$ 满足

$$x[n] = x[n+N], \quad \forall n, k \in \mathbb{Z}$$

则称序列 $x[n]$ 是一个周期序列 (periodic sequence), $N$ 是 $x[n]$ 的周期 (period).

需要注意的是，周期函数采样后得到的序列不一定是周期序列。例如 $x[n] = A \cos (\omega n + \phi)$. 当且仅当 $\omega/\pi \in \mathbb{Q}$ 时为周期序列。这可以通过周期序列的定义证明。

# 典型序列

# 单位冲激序列

单位冲激序列 (unit impulse sequence) 定义为

$$\delta[n] = \begin{cases} 1, & n = 0 \\ 0, & n \neq 0 \end{cases}.$$

# 单位阶跃序列

单位阶跃序列 (unit step sequence) 定义为

$$\mu[n] = \begin{cases} 1, & n \geq 0 \\ 0, & n < 0 \end{cases}.$$

于是，单位阶跃序列和单位冲激序列之间具有关系：

$$\begin{aligned} & \delta[n] = \mu[n] - \mu[n-1], \\ & \mu[n] = \sum_{k=-\infty}^n \delta[k] = \sum_{m=0}^{\infty} \delta[n-m]. \end{aligned}$$

# 矩形窗序列

矩形窗序列 (rectangular window sequence) 定义为

$$w[n] = \begin{cases} 0, n <N_1 \;\mathrm{or}\; n>N_2 \\ 1, N_1 \leq n \leq N_2 \end{cases}.$$

# 序列的矢量表示与信号空间

一个长度为 $N$ 的序列 $x[n]$ 可以表示为一个 $N \times 1$ 的列向量，即

$$\bm{x} = \begin{bmatrix} x[0] \\ x[1] \\ \vdots \\ x[N-1] \end{bmatrix} \in \mathbb{C}^N.$$

# 卷积

# 概念

对于两个实离散时间序列 $\bm{x}, \bm{h}$. 其卷积 (convolution) $\bm{x} * \bm{h}$ 定义为

$$(\bm{x} * \bm{h})[n] \coloneqq \sum_{k=-\infty}^{\infty} x[k] h[n-k].$$

若 $\bm{x}, \bm{h}$ 为复离散时间序列，则其卷积定义为

$$(\bm{x} * \bm{h})[n] \coloneqq \sum_{k=-\infty}^{\infty} x[k] h^*[n-k].$$

# 性质

• 交换律：$\bm{x} * \bm{h} = \bm{h} * \bm{x}$;
• 结合律：$(\bm{x} * \bm{h}) * \bm{g} = \bm{x} * (\bm{h} * \bm{g})$;
• 分配律：$\bm{x} * (\bm{h} + \bm{g}) = \bm{x} * \bm{h} + \bm{x} * \bm{g}$;
• 数乘结合律：$a(\bm{x}*\bm{h}) = (a\bm{x}) * \bm{h}$;
• 复共轭：$(\bm{x} * \bm{h})^* = \bm{x}^* * \bm{h}^*$.

# 互相关

两个复离散时间序列的互相关 (cross-correlation) $\bm{x} \star \bm{h}$ 定义为

$$(\bm{x} \star \bm{h})[n] \coloneqq \sum_{k=-\infty}^{\infty} x[k] h^*[n-k].$$

# 性质

互相关不满足交换律、结合律。

互相关与卷积可以相互转化，即

$$\bm{x} * \bm{h} = \bm{x} \star \bm{h}',$$

其中 $h'[n]=h[-n], \; \forall n \in \mathbb{Z}$.

序列对应项乘积的和一般可以使用 Cauchy-Schwarz 不等式证明。互相关操作同样如此，有

$$((\bm{x} \star \bm{h})[n])^2 \leq ((\bm{x} \star \bm{x})[n])((\bm{h} \star \bm{h})[n]).$$

需要注意的是，卷积神经网络 (CNN) 中的卷积操作实际上是互相关操作。

# 离散时间系统

# 定义和例子

离散时间系统 (discrete-time system) 是输入和输出均为离散时间序列的映射，即序列空间上的变换。

下面是几个离散时间系统的例子。

例 1 累加器：

$$y[n] = \sum_{l=-\infty}^nx[l] = \sum_{l=-\infty}^{n-1}x[l] + x[n] = y[n-1] + x[n].$$

例 2 滑动平均滤波器：

$$y[n] = \frac{1}{M} \sum_{l=0}^{M-1}x[n-l].$$

其可以用于滤除高频噪声项。

例 3 指数加权平均滤波器：

$$y[n] = \alpha y[n-1]+x[n] = \sum_{i=0}^n \alpha^i x[n-i], \quad n \in \mathbb{N}, 0<\alpha<1.$$

例 4 卷积系统：

$$y[n] = \bm{x}*\bm{h}[n] = \sum_{k=-\infty}^{\infty} x[k] h[n-k].$$

# 常见的离散时间系统

# 线性系统

线性系统 (linear system) 即满足叠加性原理（线性）的系统，即对任意两输入 $x_1[n], x_2[n]$, 有 $y_1[n] = \bm{H}(x_1[n]), y_2[n] = \bm{H}(x_2[n])$, 则有

$$x[n] \coloneqq \bm{H}(ax_1[n] + bx_2[n]) = ay_1[n] + by_2[n] \eqqcolon y[n], \quad \forall a,b \in \mathbb{C}.$$

线性系统是简单的系统。非线性系统可以在局部使用线性系统近似从而易于分析。

# 例子

• 累加器 $y[n] = \sum_{l=-\infty}^n x[l]$ 是线性系统，但偏置累加器 $y[n] = \sum_{l=-\infty}^n x[l] + C$ 不是。
• 卷积系统是线性系统，实际上卷积具有双线性。

# 移不变（时不变）系统

若输入信号的时移会导致输出信号的相同时移，则称该系统为移不变系统或时不变系统 (time-invariant system). 即

$$y[n] = \bm{H}(x[n]) \Rightarrow y[n-m] = \bm{H}(x[n-m]), \quad \forall m \in \mathbb{Z}.$$

# 例子

• 滑动平均滤波器 $y[n]=\frac{1}{M}\sum_{l=0}^{M-1}x[n-l]$ 是移不变系统。
• 时间缩放系统 $y[n] = n \cdot x[n]$ 是移变系统。
• CNN 是移不变系统。因为

  $$\begin{aligned} y'[v] & = (\bm{x}' \star \bm{\psi})[v] \\ & = \sum_{u \in \mathbb{Z}^2}\sum_{c=1}^\mathcal{C} x_c[u-t]\psi_c[u-v] \\ & = \sum_{u \in \mathbb{Z}^2}\sum_{c=1}^\mathcal{C} x_c[u]\psi_c[u-(v-t)] \\ & = (\bm{x} \star \bm{\psi})[v-t] \\ & = y[v-t]. \end{aligned}$$

# 因果系统

若系统输出仅依赖于当前或之前的输入，而与之后的输入无关，则称该系统为因果系统 (causal system). 即若 $y_1[n] = \bm{H}(x_1[n]), y_2[n] = \bm{H}(x_2[n])$, 则有

$$x_1[n] = x_2[n] \Rightarrow y_1[n] = y_2[n], \quad \forall n < N.$$

因果系统的输出不会超前于输入发生改变。

# 例子

• 滑动平均滤波器 $y[n]=\frac{1}{M}\sum_{l=0}^{M-1}x[n-l]$ 是因果系统。
• 中心滑动平均 $y_c[n] = \frac{1}{2L+1}\sum_{l=-L}^{L}x[n-l]$ 是非因果系统。
• 累加器 $y[n] = \sum_{l=-\infty}^n x[l]$ 是因果系统。

# 稳定系统

当且仅当系统对有界输入产生有界输出时，系统是 BIBO 稳定的，即对 $x[n] \to y[n]$,

$$|x[n]| < B_x, B_x < \infty \Rightarrow |y[n]| < B_y, B_y < \infty.$$

# 例子

• 指数加权平均滤波器 $y[n] = \alpha y[n-1] + x[n], n \geq 0, y[-1] = 0$ 对 $\alpha \in (0,1)$ 稳定，对 $\alpha \geq 1$ 不稳定。

# LTI 离散时间系统