由随机变量组成的向量称为随机向量,在信号处理、自动控制、通信、电子工程、神经网络等应用中,观测数据和加性噪声通常取随机变量。
先介绍随机向量的一阶统计量,再介绍二阶统计量,最后介绍一阶与二阶的关系与相关性质。
均值向量
一个 m × 1 m\times 1 m×1的随机向量 x ⃗ ( ξ ) = [ x 1 ( ξ ) , ⋯ , x m ( ξ ) ] T \vec{x} (\xi) =[x _{1}(\xi),\cdots ,x_{m}(\xi) ]^{\mathrm{T} } x⎡E[x1(ξ)]⋮E[xm(ξ)]⎦ ⎤=⎣ ⎡μ1⋮μm⎦ ⎤
上式表明,均值向量的元素是随机向量各个元素的均值。
相关矩阵与协方差矩阵
两个向量 x ⃗ ∈ C m × 1 \vec{x} \in {\Bbb C}^{m\times 1} x⎡r11⋮rm1⋯⋱⋯r1m⋮rmm⎦ ⎤式中,主对角线上的元素 r i i , i = 1 , ⋯ , m r_{ii},i=1,\cdots,m rii,i=1,⋯,m表示随机变量 x i ( ξ ) x _{i}(\xi) xi(ξ)的自相关函数,定义为 r i i = E [ ∣ x i ( ξ ) ∣ 2 ] , i = 1 , ⋯ , m r_{ii}=E[\left | x _{i}(\xi) \right |^{2} ],i=1,\cdots,m rii=E[∣xi(ξ)∣2],i=1,⋯,m而 r i j r_{ij} rij表示随机变量 x i ( ξ ) x _{i}(\xi) xi(ξ)与 x j ( ξ ) x _{j}(\xi) xj(ξ)之间的互相关函数,定义为 r i j = E [ x i ( ξ ) x j ∗ ( ξ ) ] , i , j = 1 , ⋯ , m , i ≠ j r_{ij}=E[ x _{i}(\xi) x _{j}^{*} (\xi) ],i,j=1,\cdots,m,i\ne j rij=E[xi(ξ)xj∗(ξ)],i,j=1,⋯,m,i=j可以看出自相关矩阵 R x \mathbf{R} _{x} Rx是复共轭对称的,即 H e r m i t i a n Hermitian Hermitian矩阵。
随机向量 x ⃗ ( ξ ) \vec{x}(\xi) x⎡c11⋮cm1⋯⋱⋯c1m⋮cmm⎦ ⎤式中,主对角线的元素 c i i = E [ ∣ x i ( ξ ) − μ i ∣ 2 ] , i = 1 , ⋯ , m c_{ii}=E[\left | x _{i}(\xi)-\mu _{i} \right |^{2} ],i=1,\cdots,m cii=E[∣xi(ξ)−μi∣2],i=1,⋯,m即随机变量 x i ( ξ ) x _{i}(\xi) xi(ξ)的方差 σ i 2 , c i i = σ i 2 \sigma_{i}^{2},c_{ii}=\sigma_{i}^{2} σi2,cii=σi2。而非主对角线上的元素 c i j = E { [ x i ( ξ ) − μ i ] [ x j ( ξ ) − μ j ] ∗ } = E [ x i ( ξ ) x j ∗ ( ξ ) ] − μ i μ j ∗ = c j i ∗ c_{ij}=E\left \{[x_{i} (\xi)-\mu_{i}][x_{j} (\xi)-\mu_{j}]^{* } \right \} =E[ x _{i}(\xi) x _{j}^{*} (\xi) ]-\mu_{i}\mu_{j}^{*} =c_{ji}^{*} cij=E{[xi(ξ)−μi][xj(ξ)−μj]∗}=E[xi(ξ)xj∗(ξ)]−μiμj∗=cji∗表示随机变量 x i ( ξ ) x _{i}(\xi) xi(ξ)与 x j ( ξ ) x _{j}(\xi) xj(ξ)之间的协方差。可以看出,自协方差矩阵也是 H e r m i t i a n Hermitian Hermitian矩阵。 自协方差矩阵也可以称为方差矩阵,用 V a r ( x ⃗ ) \mathrm{Var} \left ( \vec{x} \right ) Var(x⎡rx1,y1⋮rxm,y1⋯⋱⋯rx1,ym⋮rxm,ym⎦ ⎤式中, r x i , y i = E [ x i ( ξ ) y j ∗ ( ξ ) ] r_{x_{i},y_{i}}=E[ x _{i}(\xi) y _{j}^{*} (\xi) ] rxi,yi=E[xi(ξ)yj∗(ξ)]是随机变量 x i ( ξ ) x _{i}(\xi) xi(ξ)和 y i ( ξ ) y _{i}(\xi) yi(ξ)之间的互相关。
若 r x i , y i = 0 r_{x_{i},y_{i}}=0 rxi,yi=0,即它们的互相关等于0,则称两个随机变量 x i ( ξ ) x _{i}(\xi) xi(ξ)和 y i ( ξ ) y _{i}(\xi) yi(ξ)正交。
若 R x y = 0 m × n \mathbf{R} _{xy} =\mathbf{0} _{m\times n} Rxy=0m×n,则称两个随机向量 x ⃗ ( ξ ) \vec{x}(\xi) x⎡cx1,y1⋮cxm,y1⋯⋱⋯cx1,ym⋮cxm,ym⎦ ⎤式中, c x i , y i = E { [ x i ( ξ ) − μ x i ] [ y j ( ξ ) − μ y j ] ∗ } c_{x_{i},y_{i}}=E \left \{ [x_{i} (\xi)-\mu_{x_{i} }][y_{j} (\xi)-\mu_{y_{j}}]^{* } \right \} cxi,yi=E{[xi(ξ)−μxi][yj(ξ)−μyj]∗}是随机变量 x i ( ξ ) x _{i}(\xi) xi(ξ)和 y i ( ξ ) y _{i}(\xi) yi(ξ)之间的互协方差。比较互相关矩阵和互协方差矩阵的定义可知,若两个随机向量 x ⃗ ( ξ ) \vec{x}(\xi) x(ξ)和 y ⃗ ( ξ ) \vec{y}(\xi) y(ξ)均具有零均值向量,则其互相关矩阵与互协方差矩阵等价。因此对于具有零均值向量的两个随机向量而言,它们之间的统计不相关与正交等价。
- 互相关矩阵与互协方差矩阵之间存在如下关系 C x y = R x y − μ ⃗ x μ ⃗ y H \mathbf{C} _{xy}=\mathbf{R} _{xy} -\vec{\mu} _{x}\vec{\mu} _{y}^{\mathrm{H} } Cxy=Rxy−μxμyH
- 可以证明,一个随机向量的自相关矩阵和自协方差矩阵均为 H e r m i t i a n Hermitian Hermitian矩阵,但两个随机变量 x ⃗ ( ξ ) \vec{x}(\xi) x(ξ)与 y ⃗ ( ξ ) \vec{y}(\xi) y(ξ)(即使维数相同)的互相关矩阵和互协方差矩阵均不是复共轭对称矩阵。