大数据技术体系与开源生态

本书从大数据生命周期的角度阐述大数据技术体系与开源生态的发展。全书分为7篇，包括大数据技术体系与开源生态概述、大数据获取技术、大数据管理技术、大数据处理技术、大数据分析与挖掘技术、大数据可视化与交互技术、大数据安全与治理技术。又分为15章，详细介绍大数据的技术概况、发展近况和技术优势、软件架构、和应用场景等内容。
本书适合大数据和人工智能业内人员、各大高校相关专业的高年级本科生和研究生、以及对大数据应用中各类框架组件的爱好者阅读。

刘驰，北京理工大学教授、博士生导师、计算机学院副院长。分别于清华大学和英国帝国理工学院获得学士和博士学位，曾任美国IBM T.J. Watson研究中心和IBM中国研究院研究主管，并在德国电信研究总院（柏林）任博士后研究员。研究方向为大数据和物联网技术。主持了国家自然科学基金、国家重点研发计划课题、工信部、***等20余省部级研究项目，发表论文90余篇，授权国内外发明专利14项，编写书籍9本，Google Scholar索引2100余次，H index为23。现任中国电子学会物联网专委会委员、中国计算机学会物联网专委会委员、中国自动化学会大数据专委会委员等。入选国家人社部“高层次留学人才回国资助计划”，中国科协“青年人才托举工程”、陕西省第八批“百人计划（短期项目）”、中国电子学会优秀科技工作者、国家“十二五”轻工业科技创新先进个人、2017年中国物联网年度人物等，并获得省部级一等奖1项、三等奖1项。

第　一篇 大数据技术体系与开源生态概述

第　1章 大数据技术体系概述　3
1．1　大数据技术的主要内容　3
1．2　大数据开源框架　4
1．2．1　大数据获取技术　4
1．2．2　大数据管理技术　5
1．2．3　大数据处理技术　5
1．2．4　大数据安全与治理技术　5
1．2．5　大数据分析与挖掘技术　6
1．2．6　大数据可视化技术　6
1．3　本章小结　7

第　2章 开源生态与代码托管平台简介　8
2．1　开源和开源软件的简介　8
2．1．1　开源的简介　8
2．1．2　开源软件的简介　8
2．2　开源代码托管平台——GitHub　9
2．3　本章小结　10

第3章　大数据开源生态的介绍　11
3．　1 Apache软件基金会　11
3．1．1　发展历史　11
3．1．2　主要参与者　12
3．1．3　开源项目　13
3．2　Linux 基金会　14
3．2．1　发展历史　15
3．2．2　主要参与者　15
3．2．3　开源项目　17
3．3　开源中国　18
3．3．1　发展历史　18
3．3．2　主要参与者　19
3．4　本章小结　19

第4章　云计算开源生态的介绍　20
4．1　OpenStack 基金会　20
4．1．1　发展历史　21
4．1．2　主要参与者　21
4．1．3　开源项目　22
4．2　Cloud Native Computing Foundation　23
4．2．1　发展历史　23
4．2．2　主要参与者　23
4．2．3　开源项目　25
4．3　本章小结　25

第二篇　大数据获取技术

第5章　消息队列相关技术　29
5．1　ZeroMQ　29
5．1．1　技术概况　29
5．1．2　发展近况和技术优势　30
5．1．3　软件架构　31
5．1．4　应用场景　33
5．2　RabbitMQ　34
5．2．1　技术概况　34
5．2．2　发展近况和技术优势　35
5．2．3　软件架构　36
5．2．4　应用场景　38
5．3　Active MQ　40
5．3．1　技术概况　40
5．3．2　发展近况和技术优势　40
5．3．3　软件架构　42
5．3．4　应用场景　43
5．4　Apache Kafka　44
5．4．1　技术概况　44
5．4．2　发展近况和技术优势　45
5．4．3　软件架构　46
5．4．4　应用场景　47
5．5　本章小结　50

第三篇　大数据管理技术

第6章　数据库相关技术　53
6．1　传统关系型数据库　53
6．1．1　MySQL　53
6．1．2　PostgreSQL　60
6．2　文档型数据库　65
6．2．1　MongoDB　65
6．2．2　Apache CouchDB　69
6．3　列存储数据库　73
6．3．1　Vertica　73
6．3．2　Apache HBase　76
6．4　键/值对型数据库　80
6．4．1　Redis　80
6．4．2　Riak　82
6．5　图形数据库　85
6．5．1　Neo4j　85
6．5．2　OrientDB　90
6．5．3　InfiniteGraph　93
6．6　基于内存的分布式文件系统之Alluxio　95
6．6．1　技术概况　95
6．6．2　发展近况和技术优势　96
6．6．3　软件架构　97
6．6．4　应用场景　98
6．7　数据仓库系统之ApacheTajo　99
6．7．1　技术概况　99
6．7．2　发展近况和技术优势　100
6．7．3　软件架构　101
6．7．4　应用场景　103
6．8　本章小结　105

第7章　大数据平台资源管理技术　106
7．1　Apache ZooKeeper　106
7．1．1　技术概况　106
7．1．2　发展近况和技术优势　107
7．1．3　软件架构　108
7．1．4　应用场景　110
7．2　Apache Hadoop YARN　111
7．2．1　技术概况　111
7．2．2　发展近况和技术优势　112
7．2．3　软件架构　113
7．2．4　应用场景　116
7．3　Apache Mesos　119
7．3．1　技术概况　119
7．3．2　发展近况和技术优势　120
7．3．3　软件架构　120
7．3．4　应用场景　122
7．4　Apache Mnemonic　123
7．4．1　技术概况　123
7．4．2　发展近况和技术优势　124
7．5　本章小结　125

第四篇　大数据处理技术

第8章　开源批处理平台　129
8．1　Apache Hadoop　129
8．1．1　技术概况　129
8．1．2　发展近况和技术优势　130
8．1．3　软件架构　131
8．1．4　应用场景　136
8．2　Apache Spark　142
8．2．1　技术概况　142
8．2．2　发展近况和技术优势　142
8．2．3　软件架构　144
8．2．4　应用场景　146
8．3　Apache Kylin　150
8．3．　1 技术概况　150
8．3．2　发展近况和技术优势　150
8．3．3　软件架构　152
8．3．4　应用场景　153
8．4　本章小结　159

第9章　开源实时处理平台　160
9．1　Apache Storm　160
9．1．1　技术概况　160
9．1．2　发展近况和技术优势　161
9．1．3　软件架构　162
9．1．4　应用场景　163
9．2　Apache Spark Streaming　169
9．2．1　技术概况　169
9．2．2　发展近况和技术优势　170
9．2．3　软件架构　170
9．2．4　应用场景　171
9．3　Apache Flink　173
9．3．1　技术概况　173
9．3．2　发展近况和技术优势　174
9．3．3　软件架构　175
9．3．4　应用场景　176
9．4　Apache Beam　179
9．4．1　技术概况　179
9．4．2　发展近况和技术优势　180
9．4．3　软件架构　181
9．4．4　应用场景　182
9．5　Apache Apex　186
9．5．1　技术概况　186
9．5．2　发展近况和技术优势　187
9．5．3　软件架构　188
9．5．4　应用场景　191
9．6　本章小结　194

第五篇　大数据分析与挖掘技术

第　10章 开源数据分析平台　199
10．1　Apache Mahout　199
10．1．1　技术概况　199
10．1．2　发展近况和技术优势　200
10．1．3　应用场景　202
10．2　Apache Spark MLlib　204
10．2．1　技术概况　204
10．2．2　发展近况和技术优势　204
10．2．3　软件架构　205
10．2．4　应用场景　207
10．3　Apache Lens　208
10．3．1　技术概况　208
10．3．2　发展近况及技术优势　209
10．3．3　软件架构　213
10．3．4　应用场景　214
10．4　Scikit-Learn　217
10．4．1　技术概况　217
10．4．2　发展近况与技术优势　217
10．4．3　软件架构　218
10．4．4　应用场景　220
10．5　本章小结　223

第　11章 开源深度学习平台　225
11．1　TensorFlow　225
11．1．1　技术概况　225
11．1．2　发展近况和技术优势　226
11．1．3　软件架构　226
11．1．4　应用场景　230
11．2　Tensorflow Lite　233
11．2．1　技术概况　233
11．2．2　发展近况和技术优势　233
11．2．3　软件架构　234
11．3　Caffe　237
11．3．1　技术概述　237
11．3．2　发展近况和技术优势　237
11．3．3　软件架构　239
11．3．4　应用场景　241
11．4　PyTorch　243
11．4．1　技术概况　243
11．4．2　发展近况和技术优势　243
11．4．3　软件架构　245
11．4．4　应用场景　247
11．5　本章小结　248

第六篇　大数据可视化与交互技术

第　12章 主流大数据可视化与交互工具　251
12．1　Tableau　251
12．1．1　技术概况　251
12．1．2　发展近况和技术优势　252
12．1．3　软件架构　255
12．1．4　应用场景　256
12．2　Apache Zeppelin　260
12．2．1　技术概况　260
12．2．2　发展近况和技术优势　261
12．2．3　软件架构　262
12．2．4　应用场景　263
12．3　本章小结　266

第　13章 其他大数据可视化与交互工具　267
13．1　Jaspersoft Community　267
13．1．1　技术概况　267
13．1．2　发展近况和技术优势　268
13．1．3　软件架构　270
13．1．4　应用场景　271
13．2　BIRT　274
13．2．1　技术概况　274
13．2．2　发展近况和技术优势　275
13．2．3　软件架构　278
13．2．4　应用场景　280
13．3　KNIME　281
13．3．1　技术概况　281
13．3．2　发展近况和技术优势　281
13．3．3　软件架构　283
13．3．4　应用场景　285
13．4　本章小结　285

第七篇　大数据安全与治理技术

第　14章 大数据治理技术　289
14．1　Apache Falcon　289
14．1．1　技术概况　290
14．1．2　发展近况和技术优势　290
14．1．3　软件架构　292
14．1．4　应用场景　294
14．2　Apache Atlas　297
14．2．1　技术概况　298
14．2．2　发展近况和技术优势　301
14．2．3　软件架构　306
14．3　本章小结　314

第　15章 大数据安全技术　316
15．1　Apache Ranger　316
15．1．1　技术概况　316
15．1．2　发展近况和技术优势　318
15．1．3　软件架构　321
15．1．4　应用场景　322
15．2　Apache Sentry　324
15．2．1　技术概况　324
15．2．2　发展近况和技术优势　326
15．2．3　软件架构　332
15．3　Apache Kerberos　334
15．3．1　技术概况　335
15．3．2　发展近况和技术优势　336
15．3．3　软件架构　337
15．4　Apache Metron　339
15．4．1　技术概况　339
15．4．2　发展近况及技术优势　340
15．4．3　软件架构　344
15．5　Hyperledger　346
15．5．1　技术概况　346
15．5．2　发展近况和技术优势　347
15．5．3　软件架构　348
15．5．4　应用场景　349
15．6　本章小结　351

结束语　353
名词索引 355