2.1 矩阵代数的相关知识
2.1.1 特征值与特征向量
令A∈Cn×n，e∈Cn，若标量λ和非零向量e满足方程
Ae=λe，e≠o
（2.1）
则称λ是矩阵A的特征值，e是与λ对应的特征向量。特征值与特征向量总是成对出现，称(λ,e)为矩阵A的特征对，特征值可能为零，但是特征向量一定非零。
2.1.2 广义特征值与广义特征向量
令A,B∈Cn×n，e∈Cn，若标量λ和非零向量e满足方程
Ae=λBe，e≠o
（2.2）
则称λ是矩阵A相对于矩阵B的广义特征值，e是与λ对应的广义特征向量。如果矩阵B非满秩，那么λ可以是任意值（包括零）。当矩阵B为单位矩阵时，式（2.2）对应的就是普通特征值问题，因此式（2.2）可以看作对普通特征值问题的推广。
2.1.3 矩阵的奇异值分解
对于矩阵A∈Cm×n，称AHA的n个特征根λi的算术根
为A的奇异值。若记Σ1=diag{σ1,σ2,⋯,σr}，其中σ1,σ2,⋯,σr是A的全部非零奇异值，则称m×n矩阵Σ为A的奇异值矩阵：
（2.3）
奇异值分解定理：对于m×n矩阵A，分别存在一个m×m酉矩阵U和一个n×n酉矩阵V，使得
A=UΣVH
（2.4）
式中，上标H表示矩阵的共轭转置。
2.1.4 Toeplitz矩阵
定义2.1.1 具有2n−1 个元素的n阶矩阵
（2.5）
称为Toeplitz矩阵，该矩阵也可简记为
（2.6）
式中，记号
中的“i”和“j”表示矩阵A元素的下标。
由此可见，Toeplitz矩阵完全由第1行和第1列的2n−1 个元素确定，其中位于任意一条平行于主对角线的直线上的元素全都是相等的，且关于副对角线对称。
2.1.5 Hankel矩阵
定义2.1.2 具有以下形式的n+1 阶矩阵：
（2.7）
称为Hankel矩阵或正交对称矩阵（Ortho-Symmetric Matrix）。
由此可见，Hankel矩阵完全由第1行和第n列的2n+1 个元素确定，其中所有垂直于主对角线的直线上有相同的元素。
2.1.6 Vandermonde矩阵
定义2.1.3 具有以下形式的m×n矩阵：
（2.8）
称为Vandermonde矩阵。如果ai≠aj，那么V(a1,a2,⋯,an)是非奇异的。
2.1.7 Hermitian矩阵
定义2.1.4 如果矩阵A∈Cn×n满足
A=AH
（2.9）
则A称为Hermitian矩阵。Hermitian矩阵主要具有以下性质。
（1）所有特征值都是实的。
（2）对应于不同特征值的特征向量相互正交。
（3）Hermitian 矩阵可分解为
的形式，这一分解称作谱定理，也就是矩阵A的特征值分解定理，其中Λ=diag(ξ1,ξ2,⋯,ξn)，E=[e1,e2,⋯,en]是由特征向量构成的酉矩阵[1]。
2.1.8 Kronecker积
定义2.1.5 p×q矩阵A和m×n矩阵B的Kronecker积记作A⊗B，它是一个pm×qn矩阵，定义为
（2.10）
Kronecker积有一个重要的性质，即若U∈Cm×n,V∈Cn×p,W∈Cp×q，则以下等式成立：
vec(UVW)=(WT⊗U)vec(V)
（2.11）
式中，vec(·)为向量化算子；A∈CI×R，且vec(A)具有以下形式：
（2.12）
Kronecker积具有以下性质：
A⊗(aB)=a(A⊗B)
(A⊗B)T=AT⊗BT
(A+B)⊗C=A⊗C+B⊗C
A⊗(B+C)=A⊗B+A⊗C
A⊗(B⊗C)=(A⊗B)⊗C
(A⊗B)(C⊗D)=AC⊗BD
2.1.9 Khatri-Rao积
考虑两个矩阵A（I×F）和B（J×F），它们的Khatri-Rao积A⊙B为一个IJ×F矩阵，其定义为
（2.13）
式中，af为A的第f列；bf为B的第f列。也就是说，Khatri-Rao积是列向量的Kronecker积。
Khatri-Rao积具有以下性质：
A⊙(B⊙C)=(A⊙B)⊙C
(A+B)⊙C=A⊙C+B⊙C
令x∈CR，Khatri-Rao积具有以下性质：
unvec((A⊙B)x,J,I)=Bdiag(x)AT
（2.14）
式中，unvec(·)为矩阵化算子，它是vec(·)的逆运算，具有以下形式：
（2.15）
diag(x)表示一个对角矩阵，其元素为向量x中的元素。
2.1.10 Hadamard积
矩阵A∈CI×J和B∈CI×J的Hadamard积定义为
（2.16）
2.1.11 向量化
通常，张量和矩阵比较方便用向量来表示，定义矩阵Y=[y1,y2,⋯,yT]∈RI×T的向量化为[1-2]
（2.17）
式中，vec(·)算子用于将矩阵Y的所有列堆积成一个向量。重塑（reshape）函数是向量化的逆函数，用于将一个向量转化成一个矩阵。例如，reshape(y,I,T)∈RI×T可定义为（使用MATLAB表示法并类似于MATLAB中的reshape函数）
reshape(y,I,T)=[y(1:I),y(I+1:2I),⋯,y((T−1)I:IT)]∈RI×T
（2.18）
类似地，定义张量
的向量化为相应的模-1展开矩阵Y(1)。例如，三阶张量
的向量化可表示为
（2.19）
vec(·)算子具有以下性质：
vec(cA)=cvec(A)
（2.20）
vec(A+B)=vec(A)+vec(B)
（2.21）
vec(A)Tvec(B)=tr(ATB)
（2.22）
vec(ABC)=(CT⊗A)vec(B)
（2.23）