新一代视频压缩编码标准——H.264/AVC(第二版)

第1章 绪论 1
1.1 信息化与视频通信 1
1.1.1 什么是信息 1
1.1.2 什么是信息化 1
1.1.3 我国的信息化和视频通信 2
1.2 视频信息和信号的特点 2
1.2.1 直观性 2
1.2.2 确定性 2
1.2.3 高效性 2
1.2.4 广泛性 3
1.2.5 视频信号的高带宽性 3
1.3 视频压缩编码的要求和可能性 3
1.3.1 视频压缩编码的目标 3
1.3.2 视频压缩的可能性 3
1.4 视频压缩编码技术综述 4
1.4.1 基本结构 4
1.4.2 基于波形的编码 5
1.4.3 基于内容的编码 5
1.4.4 立体(三维)视频编码 6
参考文献 6

第2章 数字视频 7
2.1 数字电视的基本概念 7
2.1.1 数字电视的优越性 7
2.1.2 数字电视的PCM原理 8
2.2 数字电视信号 11
2.2.1 电视信号的时间和空间取样 11
2.2.2 彩色空间 12
2.2.3 彩色电视取样格式 12
2.2.4 数字电视信号的编码参数 13
2.3 视频信号的预处理 14
2.3.1 色彩插值(Color Interpolation) 14
2.3.2 色彩校正(Color Correction) 15
2.3.3 伽马校正(Gamma Correction) 15
2.3.4 图像增强(Image Enhancement) 17
2.3.5 白平衡(White Balance) 20
2.4 视频质量 22
2.4.1 主观质量的评定 22
2.4.2 客观质量的测量 22
参考文献 23

第3章 视频压缩编码的基本原理 24
3.1 预测编码 24
3.1.1 预测编码的基本概念 24
3.1.2 帧内预测编码 25
3.1.3 帧间预测编码 29
3.1.4 运动估计 32
3.2 变换编码 43
3.2.1 变换编码的基本概念 43
3.2.2 K-L变换 44
3.2.3 离散余弦变换(DCT) 44
3.2.4 锯齿形扫描和游程编码 46
3.3 变换编码与预测编码的比较 47
3.4 熵编码 47
3.4.1 变长编码 47
3.4.2 算术编码 48
参考文献 49

第4章 视频编码标准简介 51
4.1 视频编码发展简史 51
4.2 H.261标准 51
4.2.1 图像格式 52
4.2.2 H.261视频编解码器 53
4.3 H.263标准 56
4.3.1 H.263标准图像格式 56
4.3.2 H.263视频信源编码算法 57
4.4 MPEG-1标准 57
4.4.1 功能 57
4.4.2 图像类型和编码结构 57
4.5 MPEG-2标准 58
4.5.1 MPEG-2编码复用系统 58
4.5.2 MPEG-2档次和级别 58
4.5.3 MPEG-2视频编码器 59
4.6 MPEG-4标准 61
4.6.1 MPEG-4标准构成 61
4.6.2 基于VOP的视频编码 63
4.6.3 MPEG-4档次和级别 66
4.7 JPEG标准 67
4.8 JPEG2000标准 69
4.8.1 JPEG2000标准的组成和特点 69
4.8.2 JPEG2000核心编解码器 70
4.9 AVS标准 72
4.9.1 AVS标准进展情况 72
4.9.2 AVS视频编码及关键技术 72
参考文献 75

第5章 H.264/AVC编码器原理 76
5.1 概述 76
5.2 H.264/AVC编解码器 77
5.2.1 H.264编解码器特点 77
5.2.2 H.264编码器 78
5.2.3 H.264解码器 78
5.3 H.264/AVC的结构 78
5.3.1 名词解释 78
5.3.2 档次和级 79
5.3.3 编码数据格式 79
5.3.4 参数图像 81
5.3.5 片和片组 81
5.4 帧内预测 83
5.4.1 4×4亮度预测模式 84
5.4.2 16×16亮度预测模式 86
5.4.3 8×8色度块预测模式 86
5.4.4 帧内预测模式的选择和编码 87
5.5 帧间预测 89
5.5.1 可变尺寸块运动补偿 89
5.5.2 运动矢量 90
5.5.3 MV预测 91
5.5.4 B片预测 92
5.5.5 加权预测 95
5.6 H.264的SP/SI帧技术 95
5.6.1 SP/SI帧的应用 96
5.6.2 SP/SI帧的基本原理 98
5.6.3 实验结果和性能分析 101
5.7 整数变换与量化 103
5.7.1 整数变换 103
5.7.2 量化 106
5.7.3 DCT直流系数的变换量化 108
5.8 CAVLC(基于上下文自适应的可变长编码) 109
5.8.1 熵编码的基本原理 109
5.8.2 CAVLC的基本原理 110
5.8.3 CAVLC的上下文模型 110
5.8.4 CAVLC的编码过程 110
5.8.5 CAVLC的解码过程 112
5.8.6 CAVLC编解码过程实例 114
5.8.7 CAVLC与UVLC比较 115
5.9 CABAC(基于上下文的自适应二进制算术熵编码) 117
5.9.1 自适应算术编码 117
5.9.2 上下文模型 120
5.9.3 对输入流预编码 122
5.9.4 初始化 123
5.9.5 结论 123
5.10 码率控制 124
5.10.1 基于Lagrangian优化算法的H.264编码控制模型 124
5.10.2 实验结果和性能分析 126
5.11 去方块滤波 129
5.11.1 去方块滤波基本概念 129
5.11.2 边界分析 130
5.11.3 滤波过程 132
5.12 其余特征 135
5.12.1 参考图像的管理 135
5.12.2 重排序 135
5.12.3 隔行视频 135
5.12.4 数据分割片 136
5.12.5 H.264传输 136
参考文献 137

第6章 H.264的句法和语义 140
6.1 句法 140
6.1.1 句法元素的分层结构 140
6.1.2 句法的表示方法 143
6.2 句法表 145
6.3 语义 158
6.3.1 NAL层语义 158
6.3.2 序列参数集语义 160
6.3.3 图像参数集语义 162
6.3.4 片头语义 164
6.3.5 参考图像序列重排序的语义 168
6.3.6 加权预测的语义 169
6.3.7 参考图像序列标记(Marking)操作的语义 169
6.3.8 片数据的语义 170
6.3.9 宏块层的语义 171
6.3.10 宏块预测的语义 175
6.3.11 子宏块预测的语义 175
6.3.12 用CAVLC方式编码的残差数据的语义 176
6.3.13 用CABAC方式编码的残差数据的语义 176
6.4 总结 177
参考文献 177

第7章 H.264/AVC解码器的原理和实现 179
7.1 解码器原理 179
7.2 NAL单元 180
7.2.1 NAL单元结构 180
7.2.2 NAL单元解码过程 180
7.3 图像序列号的计算 181
7.3.1 图像序列号(POC) 181
7.3.2 POC类型为0的POC计算 183
7.3.3 POC类型为1的POC计算 183
7.3.4 POC类型为2的POC计算 185
7.4 宏块片组映射图的产生 186
7.5 片数据分割的解码 188
7.6 参考图像列表的初始化 189
7.6.1 图像序号的计算 189
7.6.2 参考图像列表的初始化 189
7.6.3 参考帧列表的重排序 193
7.7 解码的参考图像的标记过程 195
7.7.1 frame_num不连续的解码过程 196
7.7.2 参考图像滑窗标记过程 196
7.7.3 参考图像的自适应内存控制标记过程 197
7.8 帧内预测 199
7.8.1 4×4亮度块预测方式的推导 199
7.8.2 4×4亮度块的帧内预测编码方式 200
7.8.3 16×16亮度块的帧内预测方式 204
7.8.4 8×8色度块的帧内预测方式 205
7.9 帧间预测解码处理 207
7.9.1 MV分量及参考索引获取 208
7.9.2 帧间预测像素解码处理 210
7.10 变换系数解码 216
7.10.1 变换系数逆扫描过程 217
7.10.2 DCT变换系数中直流系数的逆变换量化 217
7.10.3 残差变换系数的反量化 219
7.10.4 残差变换系数的逆DCT变换 219
7.10.5 去方块滤波前的图像恢复与重建 219
7.11 SP片中的P宏块和SI片中的SI宏块的解码过程 220
7.11.1 主SP片中P宏块的解码过程 220
7.11.2 辅SP/SI片的解码过程 221
参考文献 223

第8章 H.264视频编码传输及其在移动通信中的应用 224
8.1 概述 224
8.2 H.264/AVC在无线通信中的传输 224
8.2.1 H.264/AVC在无线通信中的应用 224
8.2.2 H.264分层传输结构 225
8.2.3 H.264分组交换业务传输协议栈 226
8.3 H.264视频编码的容错技术 227
8.3.1 H.264的视频编码层的错误恢复 228
8.3.2 H.264的网络提取层的错误恢复 229
8.4 移动无线信道中的精确码率控制算法 232
8.4.1 宏块能量的提取 232
8.4.2 与宏块能量相结合，在宏块级别分配码率 234
8.4.3 计算编码量化参数Qp 234
8.5 移动互联网中多媒体业务平台的设计 235
8.5.1 移动互联网的多媒体业务核心平台 235
8.5.2 编转码系统 236
8.5.3 设计流分发服务器 236
8.5.4 客户端 238
8.5.5 系统小结 238
参考文献 238

第9章 高质量视频编码 241
9.1 H.264+与H.265 241
9.1.1 视频编码的需求 241
9.1.2 视频编码标准及其应用简史 241
9.1.3 H.264+和H.265最近研究方向 241
9.1.4 H.265主要特征与KTA 242
9.1.5 H.265的几个方向性课题 244
9.2 H.264的高保真范围扩展FRExt 244
9.2.1 引言 244
9.2.2 自适应分块 245
9.2.3 空间域的残差变换 246
9.2.4 帧内预测方法 246
9.2.5 基于视觉的量化缩放矩阵 247
9.2.6 色度空间的残差色度变换 247
9.2.7 无失真宏块模式 247
9.2.8 FRExt的测试结果 247
9.3 本章结论 248
参考文献 248

第10章 H.264的可伸缩编码SVC 249
10.1 概述 249
10.2 SVC的基本原理 250
10.2.1 传统可伸缩编码 251
10.2.2 精细粒度可伸缩编码 253
10.2.3 渐进精细粒度可伸缩编码 253
10.3 H.264的SVC 254
10.3.1 空域可伸缩性 255
10.3.2 时域可伸缩性 257
10.3.3 质量可伸缩性 259
10.3.4 H.264的扩展 260
10.4 性能与分析 262
参考文献 263
缩略语 266
附录一 CAVLC相关码表 270
附录二 CABAC相关码表 275
附录三 H.264档次和级 283

插图：


1．1信息化与视频通信
本书在讨论视频编码之前，先简要介绍一些与信息化有关的问题，研讨当前信息社会背景，然后讨论信息化与视频通信的关系。
1．1．1什么是信息众所周知，人类社会的三大支柱是物质、能量和信息。具体而言，农业现代化的支柱是物质，工业现代化的支柱是能量，而信息化的支柱是信息。
广义地讲，信息就是客观世界的描述和分析，它无所不在、无时不在，具有广泛性和通用性，这是信息的一个特性。信息没有重量，没有长度，具有抽象性，但它确实存在，这是信息的另一个特性。
信息的第三个特性是无限性。例如，关于物质的信息，物质具有无限的不可分性，物质由分子组成，分子由原子组成，下面还有中子、质子、电子、中微子等；关于通信网络的信息，为了增加通信容量，最初一对电话线只能通一路电话，后来利用N-ISDN技术，可在一对电话线上同时通两路电话，以后又发展B-ISDN、ATM、IP、MPLS，直到今天，通信网络技术仍在不断地发展，应该说，它具有无限性。