认知网络测量与大数据

第一部分理论

第 1章数学基础 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2 

1.1概率论基本知识. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2 

1.1.1联合界. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2 

1.1.2独立性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2 

1.1.3二维随机变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3 

1.1.4马尔可夫、切比雪夫不等式和切尔诺夫界 . . . . . . . . . . . . . . . . . . . . . . . .3 

1.1.5特征函数和傅里叶变换 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4 

1.1.6概率密度函数的拉普拉斯变换 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5 

1.1.7概率母函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5 

1.2独立的随机标量之和与中心极限定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6 

1.3独立的随机标量之和及几个典型的偏差不等式 . . . . . . . . . . . . . . . . . . . . . . . . . . .7 

1.3.1由概率界到期望界的转换 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8 

1.3.2 Hoe?ding不等式. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8 

1.3.3伯恩斯坦不等式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9 

1.4概率论与矩阵分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11 

1.4.1特征值、迹以及埃尔米特矩阵之和 . . . . . . . . . . . . . . . . . . . . . . . . . . . .11 

1.4.2半正定矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11 

1.4.3半正定矩阵的偏序 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12 

1.4.4矩阵函数 f(A)的定义 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13 

1.4.5矩阵与向量的范数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13 

1.4.6期望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14 

1.4.7矩和尾概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16 

1.4.8随机向量与 Jensen不等式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .19 

1.4.9收敛 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .19 

1.4.10独立的随机标量之和：切尔诺夫不等式 . . . . . . . . . . . . . . . . . . . . . . . . .19 

1.4.11随机矩阵的期望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20 

1.4.12特征值和谱范数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20 

1.4.13谱映射. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21 

1.4.14算子凸性与单调性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22 

1.4.15矩阵函数之迹的单调性和凸性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23 

1.4.16矩阵指数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .24 

1.4.17 Golden-Thompson不等式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .24 

1.4.18矩阵对数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25 

1.4.19量子相对熵和布雷格曼散度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25 

1.4.20 Lieb定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27 

1.4.21矩阵扩张 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28 

1.4.22半正定矩阵和偏序 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28 

1.4.23期望与半定序 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29 

1.4.24概率的矩阵表示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29 

1.4.25等距性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29 

1.4.26特征值的 Courant-Fischer性质. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .30 

1.5由非独立到独立的解耦 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .30 

1.6随机矩阵的基础知识 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .35 

1.6.1傅里叶法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .36 

1.6.2矩的方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .36 

1.6.3复高斯随机矩阵的期望矩 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .36 

1.6.4埃尔米特高斯随机矩阵 HGRM(n, σ2). . . . . . . . . . . . . . . . . . . . . . . . . .37 

1.6.5高斯随机矩阵 GRM(m, n, σ2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .39 

1.7亚高斯随机变量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40 

1.8亚高斯随机向量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42 

1.9亚指数随机变量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .43 

1.10 ε-网. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .44 

1.11拉德马赫均值与对称化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .45 

1.12作用于亚高斯随机向量的算子 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .47 

1.13随机过程的上确界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49 

1.14伯努利序列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .50 

1.15由随机矩阵和到随机向量和的转换. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .50 

1.16线性有界紧算子. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .52 

1.17自伴随紧算子的谱 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .53 

第 2章矩阵值随机变量之和 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .55 

2.1随机矩阵和的推导方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .55 

2.2矩阵拉普拉斯变换方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .56 

2.2.1方法 1——Harvey推导 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .56 

2.2.2方法 2——Vershynin推导. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .59 

2.2.3方法 3——Oliveria推导 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .60 

2.2.4方法 4——Ahlswede-Winter推导 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61 

2.2.5方法 5——Gross, Liu, Flammia, Becker以及 Eisert ...............68 

2.2.6方法 6——Recht推导 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .68 

2.2.7方法 7——Wigderson和 Xiao推导. . . . . . . . . . . . . . . . . . . . . . . . . . . .69 

2.2.8方法 8——Tropp推导. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .69 

2.3矩阵累积量的拉普拉斯变换方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .69 

2.4矩母函数的不适用性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .70 

2.5矩阵累积量母函数的次可加性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .71 

2.6独立随机矩阵之和的尾概率界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .72 

2.7矩阵高斯级数——个例研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .74 

2.8应用：具有非均匀方差的高斯矩阵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .76 

2.9期望控制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .76 

2.10随机半正定矩阵的和 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .78 

2.11矩阵 Bennett和伯恩斯坦不等式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .81 

2.12随机矩阵之和的所有特征值的尾概率界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .82 

2.13内部特征值的切尔诺夫界. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .84 

2.14通过随机矩阵和完成线性滤波 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .86 

2.15随机矩阵和的无维数限制不等式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .88 

2.16一些欣钦型不等式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .90 

2.17半正定矩阵的稀疏和 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .93

第 3章测量的集中性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .94 

3.1测量的集中现象. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .94 

3.2卡方分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .95 

3.3随机向量的测量集中性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .96 

3.4 Slepian-Fernique引理和高斯随机矩阵的测量集中性 . . . . . . . . . . . . . . . . . . . . 103 

3.5 Dudley不等式. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 

3.6诱导算子范数的集中 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 

3.7高斯和 Wishart随机矩阵的测量集中性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 

3.8算子范数的测量集中性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 

3.9亚高斯随机矩阵的测量集中性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 

3.10最大特征值的测量集中性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 

3.10.1 Talagrand不等式方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 

3.10.2链方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 

3.10.3一般随机矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 

3.11随机向量投影的测量集中性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 

3.12进一步讨论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128

第 4章特征值及其函数的集中性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .129 

4.1特征值和范数的上确界表示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 

4.2特征值的利普希茨映射 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 

4.3矩阵特征值和矩阵迹的平滑性及凸性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 

4.4矩阵函数的泰勒级数近似法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 

4.5 Talagrand集中不等式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 

4.6维格纳随机矩阵的谱测度集中理论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 

4.7随机矩阵的非可交换多项式集中性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 

4.8 Wishart随机矩阵的谱测度集中性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 

4.9两个随机矩阵和的集中性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 

4.10子矩阵的集中性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 

4.11矩方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 

4.12迹函数的集中性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 

4.13特征值的集中性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 

4.14大随机矩阵函数的集中性：线性谱统计量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 

4.15二次型的集中性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 

4.16随机向量和子空间的距离. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 

4.17斯蒂尔切斯变换域的随机矩阵集中性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 

4.18冯·诺依曼熵函数的集中性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 

4.19随机过程的上确界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 

4.20进一步讨论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

第 5章随机矩阵的局部非渐近性理论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .175 

5.1符号记法和基础知识 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 

5.2迷向凸体 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 

5.3对数凹的随机向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178 

5.4 Rudelson定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 

5.5行独立的样本协方差矩阵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 

5.6对数凹迷向随机向量的集中理论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 

5.6.1 Paouris集中不等式. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 

5.6.2非增重排及次序统计量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 

5.6.3样本协方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 

5.7小球概率的集中不等式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191 

5.8矩估计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193 

5.8.1对数凹的迷向随机向量的矩 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194 

5.8.2凸测度的矩 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196 

5.9随机矩阵的大数定律 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198 

5.10低秩近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201 

5.11元素相互独立的随机矩阵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203 

5.12具有独立行向量的随机矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 

5.12.1独立的行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 

5.12.2重尾分布的行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205 

5.13协方差矩阵的估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207 

5.14奇异值的集中性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210 

5.14.1紧致小偏差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211 

5.14.2高矩阵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211 

5.14.3近似方阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211 

5.14.4方阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212 

5.14.5长方形矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212 

5.14.6随机矩阵和确定性矩阵的乘积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 

5.14.7随机矩阵的行列式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215 

5.15随机矩阵的可逆性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217 

5.16奇异值的普适性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218 

5.16.1随机矩阵加确定的矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 

5.16.2协方差矩阵和相关矩阵的普适性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224 

5.17进一步讨论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226

第 6章随机矩阵的全局渐近理论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .228 

6.1大随机矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228 

6.2极限分布律 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229 

6.3矩方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229 

6.4斯蒂尔切斯变换. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230 

6.5自由概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232 

6.5.1概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232 

6.5.2实际意义 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233 

6.5.3定义和基本性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234 

6.5.4自由独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235 

6.5.5自由卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 

6.6斯蒂尔切斯，R和 S变换表格. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237

第二部分应用

第 7章压缩感知与稀疏重构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .241 

7.1压缩感知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241 

7.2 JL引理与 RIP条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 

7.3结构化随机矩阵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249 

7.4循环矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249 

7.5随机测量矩阵与确定性字典 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249 

7.6部分随机循环矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 

7.7时频结构化矩阵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260 

7.8混沌过程的上确界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263 

7.9特普利茨随机矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265 

7.10确定性矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266

第 8章矩阵填充与低秩矩阵重构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .267 

8.1低秩矩阵恢复 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267 

8.2矩阵 RIP性质. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268 

8.3重构误差限 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269 

8.4假设检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269 

8.5高维统计学 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270 

8.6矩阵压缩感知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271 

8.6.1观测模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271 

8.6.2核范数正则化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271 

8.6.3限制强凸性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 

8.6.4低秩矩阵重构的误差限 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 

8.7线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275 

8.8多任务矩阵回归. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277 

8.9矩阵填充 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279 

8.9.1正交分解与正交投影 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279 

8.9.2矩阵填充 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280 

8.10冯 ·诺依曼熵惩罚与低秩矩阵预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282 

8.10.1系统模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282 

8.10.2基于正交基的采样 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283 

8.10.3低秩矩阵估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284 

8.10.4所用工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285 

8.11大量凸成分函数和 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285 

8.12基于矩阵填充的相位恢复. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287 

8.12.1方法学. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288 

8.12.2基于凸优化的矩阵恢复 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289 

8.12.3相位空间成像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 

8.12.4自相关 RF断层成像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291 

8.13进一步讨论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296

第 9章高维协方差矩阵估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .297 

9.1大局观:感知、通信、计算和控制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297 

9.1.1接收信号强度 (RSS)及其在异常检测中的应用 . . . . . . . . . . . . . . . . . . 299 

9.1.2非连续正交频分复用 (NC-OFDM)波形及其在异常检测中的应用 . . . . 299 

9.2协方差矩阵估计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 

9.2.1经典协方差估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 

9.2.2掩模化样本协方差矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301 

9.2.3平稳时间序列的协方差矩阵估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308 

9.3协方差矩阵估计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309 

9.4协方差矩阵的部分估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310 

9.5无限维数据的协方差矩阵估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311 

9.6信号加噪声 Y = S + X的矩阵模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312 

9.7鲁棒的协方差估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315

第 10章高维检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .317 

10.1 OFDM雷达 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317 

10.2主成分分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317 

10.3稀疏主成分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319 

10.4基于随机矩阵之和的信息加噪模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320 

10.5矩阵假设检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321 

10.6随机矩阵检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322 

10.7稀疏备择假设的球形检验. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325 

10.8与随机矩阵理论的联系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326 

10.8.1谱方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326 

10.8.2 Wishart矩阵的低秩扰动. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327 

10.9稀疏的主成分检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327 

10.9.1 k稀疏最大特征值的集中不等式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327 

10.9.2基于 λk 的假设检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328 

max

10.9.3稀疏特征值 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329 

10.10稀疏主成分检验的半定方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329 

10.10.1 λk 计算问题的半定松弛 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329 

max

10.10.2凸松弛的高概率界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330 

10.10.3基于凸方法的假设检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330 

10.11稀疏向量估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331 

10.12高维向量检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332 

10.13高维匹配子空间检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335 

10.14基于压缩感知的高维向量子空间检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336 

10.15数据矩阵检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338 

10.16高维双样本检验. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339 

10.17与非可交换随机矩阵假设检验的联系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342

第 11章概率约束的优化问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .343 

11.1问题描述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343 

11.2随机对称矩阵之和 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344 

11.3随机矩阵之和的应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349 

11.4机会约束的线性矩阵不等式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354 

11.5概率约束的优化问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354 

11.6采用协同干扰机制的概率安全 AF中继 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357 

11.6.1引言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357 

11.6.2系统模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358 

11.6.3提出的方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361 

11.6.4仿真结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 

11.7进一步讨论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365

第 12章数据集的高效处理算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .366 

12.1低秩矩阵近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366 

12.2矩阵算法的行采样 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367 

12.3近似矩阵乘法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368 

12.4矩阵和张量稀疏化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369 

12.5进一步讨论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371 

第 13章网络到大数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .372 

13.1大数据的大随机矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372 

13.2高维假设检测实例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373 

13.3认知无线电网络测试平台. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374 

13.4无线分布式计算. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375 

13.5数据收集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376 

13.6数据存储与管理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376 

13.7大数据集的数据挖掘 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377 

13.8无人飞行器对无线网络移动性的利用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377 

13.9智能电网 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377 

13.10从认知无线电网络到复杂网络和随机图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377 

13.11随机矩阵理论和集中测量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377

参考文献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .379

装　　帧：平塑

页　　数：428