数据挖掘：原理与实践（进阶篇）

全书理论联系实际，全面讲述数据挖据理论、技术及应用的教材。研讨了数据挖掘的方方面面，从基础理论到复杂数据类型及其应用。不仅讨论传统的数据挖掘问题，而且介绍了高级数据类型，例如文本、时间序列、离散序列、空间数据、图数据和社会网络。本书由基础篇和进阶篇组成。基础篇对应原书的第1～11章，进阶篇对应原书的第12～20章。

查鲁·C. 阿加沃尔（Charu C. Aggarwal）是IBM T. J. Watson研究中心的杰出研究人员，于1996年获麻省理工学院博士学位。他对数据挖掘领域有着广泛的研究，在国际会议和期刊上发表了250多篇论文，拥有80多项专利。他曾三次被评为IBM的“杰出发明人”，并曾获得IBM公司奖、IBM杰出创新奖和两项IBM杰出技术成就奖。他因为提出基于冷凝的数据挖掘中的隐私保护技术而获得EDBT2014的时间检验奖。他还获得了IEEE ICDM研究贡献奖（2015），这是数据挖掘领域对具有突出贡献的研究的两个*高奖项之一。

他曾多次担任ACM/IEEE知名国际学术会议的主席或程序委员会主席，并担任大数据相关多个知名期刊的主编或编委。由于在知识发现和数据挖掘算法上的贡献，他入选SIAM、ACM和IEEE的会士。

出版者的话

译者序

前言

第14章　时间序列数据挖掘1

14.1　引言1

14.2　时间序列的前期准备和相似性度量2

14.2.1　缺失值处理2

14.2.2　噪声去除3

14.2.3　归一化4

14.2.4　数据转换和约简5

14.2.5　时间序列相似性度量6

14.3　时间序列预测7

14.3.1　自回归模型9

14.3.2　自回归移动平均模型10

14.3.3　带有隐含变量的多元预测11

14.4　时间序列模体13

14.4.1　基于距离的模体14

14.4.2　转换为序列模式挖掘15

14.4.3　周期模式16

14.5　时间序列聚类16

14.5.1　共同演化序列的在线聚类17

14.5.2　基于形状的聚类19

14.6　时间序列异常检测20

14.6.1　点异常21

14.6.2　形状异常22

14.7　时间序列分类23

14.7.1　有监督事件检测23

14.7.2　全时序分类26

14.8　小结27

14.9　文献注释27

14.10　练习题28

第15章　离散序列挖掘29

15.1　引言29

15.2　序列模式挖掘30

15.2.1　频繁模式到频繁序列32

15.2.2　约束的序列模式挖掘34

15.3　序列聚类35

15.3.1　基于距离的方法36

15.3.2　基于图的方法36

15.3.3　基于序列的聚类37

15.3.4　概率聚类37

15.4　序列中的异常检测40

15.4.1　位置异常40

15.4.2　组合异常44

15.5　隐马尔可夫模型45

15.5.1　HMM的正式定义47

15.5.2　评估：计算观察序列的拟合概率48

15.5.3　说明：确定观察序列的最优状态序列49

15.5.4　训练：鲍姆韦尔奇算法49

15.5.5　应用50

15.6　序列分类51

15.6.1　最近邻分类器51

15.6.2　基于图的方法51

15.6.3　基于规则的方法52

15.6.4　内核SVM52

15.6.5　概率方法：隐马尔可夫模型54

15.7　小结54

15.8　文献注释55

15.9　练习题55

第16章　空间数据挖掘57

16.1　引言57

16.2　上下文空间属性的挖掘58

16.2.1　形状到时间序列的转换58

16.2.2　使用小波分析的空间数据到多维数据的转换61

16.2.3　共址空间模式62

16.2.4　形状聚类63

16.2.5　异常检测64

16.2.6　形状分类66

16.3　轨迹挖掘67

16.3.1　轨迹数据和多变量时间序列的等价性67

16.3.2　将轨迹转换为多维数据68

16.3.3　轨迹模式挖掘68

16.3.4　轨迹聚类70

16.3.5　轨迹异常检测72

16.3.6　轨迹分类73

16.4　小结74

16.5　文献注释74

16.6　练习题75

第17章　图数据挖掘76

17.1　引言76

17.2　图匹配和距离计算77

17.2.1　同构子图问题的Ullman算法79

17.2.2　最大公共子图问题82

17.2.3　用于距离计算的图匹配方法82

17.3　基于转换的距离计算86

17.3.1　基于频繁子结构的转换和距离计算86

17.3.2　拓扑描述量87

17.3.3　基于内核的转换和计算89

17.4　图数据的频繁子结构挖掘90

17.4.1　基于节点的连接92

17.4.2　基于边的连接92

17.4.3　频繁模式挖掘到图模式挖掘93

17.5　图聚类93

17.5.1　基于距离的方法94

17.5.2　基于频繁子结构的方法94

17.6　图分类 96

17.6.1　基于距离的方法96

17.6.2　基于频繁子结构的方法97

17.6.3　内核SVM98

17.7　小结98

17.8　文献注释99

17.9　练习题99

第18章　挖掘Web数据101

18.1　引言101

18.2　Web爬取和资源发现102

18.2.1　基本爬虫算法102

18.2.2　偏好爬虫103

18.2.3　多线程104

18.2.4　爬虫陷阱应对方法104

18.2.5　检测近似重复的覆盖104

18.3　搜索引擎索引和查询处理105

18.4　排名算法107

18.4.1　PageRank107

18.4.2　HITS111

18.5　推荐系统112

18.5.1　基于内容的推荐114

18.5.2　协同过滤基于邻域的方法115

18.5.3　基于图的方法116

18.5.4　聚类方法117

18.5.5　潜在因素模型118

18.6　Web使用记录的挖掘119

18.6.1　数据预处理120

18.6.2　应用120

18.7　小结121

18.8　文献注释121

18.9　练习题122

第19章　社交网络分析123

19.1　引言123

19.2　社交网络：预备知识与特性124

19.2.1　同质性124

19.2.2　三元闭合和聚类系数124

19.2.3　网络构成的动态性125

19.2.4　符合幂定律的度分布126

19.2.5　中心度和声望的度量126

19.3　社区发现129

19.3.1　Kernighan-Lin算法131

19.3.2　Girvan-Newman算法132

19.3.3　多层次的图划分：METIS135

19.3.4　谱聚类137

19.4　协同分类140

19.4.1　迭代分类算法141

19.4.2　随机游走方式的标签传播142

19.4.3　有监督的谱方法145

19.5　链接预测147

19.5.1　基于邻域的度量148

19.5.2　Katz度量149

19.5.3　基于随机游走的度量150

19.5.4　链接预测作为分类问题150

19.5.5　链接预测作为缺失值估计问题150

19.5.6　讨论151

19.6　

“数据是新时代的石油。”

—Clive Humby

在过去二十多年中，数据挖掘领域取得了很大的进步，从计算机科学的角度来看尤其明显。尽管传统的概率与统计领域对数据分析已经有了广泛和深入的研究，但数据挖掘这个术语是由计算机科学相关的社区所创立的。对计算机科学家来说，计算的可扩展性、可用性和计算的执行都是极为重要的。

作为一门学科，数据科学需要一本超越传统的、仅专注于基本数据挖掘的教科书。最近几年，“数据科学家”这样的工作职位已经在市场上出现，这些人的工作职责就是从海量数据中窥探知识。在典型的应用中，数据类型倾向于异构及多样，基于多维数据类型的基本方法可能会失去效用，因此我们更需要将重点放在这些不同的数据类型以及使用这些数据类型的应用上。一本全面覆盖数据挖掘内容的书必须探索数据挖掘的不同方面，从基本技术出发，进而探讨复杂的数据类型，以及这些数据类型与基本技术的关系。虽然基本技术构成数据挖掘的良好基础，但它们并没有展示出数据分析真正复杂的全貌。本书在不影响介绍基本技术的情况下，研究这些高级的话题，因此本书可以同时用于初级和高级数据挖掘课程。到目前为止，还没有一本书用这种全面、综合的方式来覆盖所有这些话题。

本书假设读者已经有了一些概率统计和线性代数方面的基础知识，一般掌握了理工科本科时期学习的相关内容就足够了。对业界的从业者来说，只要对这些基础知识有一定的实际经验，就可以使用本书。较强的数学背景对学习那些高级话题的章节显然会有所帮助，但并不是必需的。有些章节专门介绍特殊的数据挖掘场景，比如文本数据、时序数据、离散序列、图数据等，这种专门的处理是为了更好地展示数据挖掘在多种应用领域有用武之地。

本书的章节可以分为三类。

基础章节：数据挖掘主要有四个“超级问题”，即聚类、分类、关联模式挖掘和异常分析，它们的重要性体现为许许多多的实际应用把它们当成基本构件。由此，数据挖掘研究者和实践者非常重视为这些问题设计有效且高效的方法。这些基础章节详细地讨论了数据挖掘领域针对这几个超级问题所提出的各类解决方法。

领域章节：这些章节讨论不同领域的特殊方法，包括文本数据、时序数据、序列数据、图数据、空间数据等。这些章节多数可以认为是应用性章节，因为它们探索特定领域的特殊性问题。

应用章节：计算机硬件技术和软件平台的发展导致了一些数据密集型应用的产生，如数据流系统、Web挖掘、社交网络和隐私保护。应用章节对这些话题进行了详细的介绍。前面所说的那些领域章节其实也集中讨论了由这些不同的数据类型而产生的各类应用。

给使用本书的教师的一点建议

本书的撰写特点使得它特别适用于数据挖掘基础和高级两门课程的教学。通过对不同重点的关注，本书也可用于不同类型的数据挖掘课程。具体来说，使用各种章节组合可提供的课程包括下面几种。

基础课程：数据挖掘基础课程应侧重于数据挖掘的基础知识。这门课可以使用本书的第1、2、3、4、6、8、10章。事实上，一门课可能无法覆盖这些章节中的所有内容，任课教师可根据需要从这些章节中选择他们感兴趣的话题。这门课也可以考虑使用本书的第5、7、9、11章的部分内容，这些章节确实是为高级课程准备的，但不妨在基础课程中引入一部分。

高级课程（基础）：这门课将涵盖数据挖掘基础中的高级话题，并假定学生已经熟悉了本书第1～3章的内容，及第4、6、8、10章中的部分内容。这门课将主要关注第5、7、9、11章，如集成分析这样的内容对一门高级课程是有益的。此外，在基础课程中没来得及教授的第4、6、8、10章中的内容也可以在这门课中使用，并考虑增加第20章的隐私话题。

高级课程（数据类型）：这门课可以教授文本挖掘、时序、序列、图数据和空间数据等内容，使用本书的第13、14、15、16、17章。也可以考虑增加第19章（如图聚类部分）和第12章（数据流）的内容。

高级课程（应用）：应用课程可以与数据类型课程有所重叠，但有不同的侧重点。例如，在一个以应用为中心的课程中，重点应该放在建模而非算法方面。因此，第 13、14、15、16、17章中的内容可以保留，但可以跳过一些算法细节。因为对具体算法关注得少些，这几章可以比较快地介绍，建议把省下来的时间分配给重要的三章，即数据流（第12章）、Web挖掘（第18章）以及社交网络分析（第19章）。

本书的撰写风格简单，便于数学背景不多的本科生和业界从业人员使用。因此，对于学生、业界从业者以及科研人员，本书既可以作为初级的介绍性课本，也可以作为高级课程的课本。

在本书中，向量与多维数据点（包括类别型属性）都用上划线标注，如或y。向量或多维数据点可以由小写字母或大写字母来表示，只要有上划线标注即可。向量点积由中心点表示，如。矩阵用大写字母表示，不用上划线标注，如R。在整本书中，n×d的数据矩阵用D表示，包含n个d维的点，因此D中的各个数据点是一个d维列向量。若数据点是只包含一项的向量（即一维向量），那么n个数据点即可表示为一个n维列向量。比如，n个数据点的类别变量就是一个n维的