大数据与智慧社会：数据驱动变革、构建未来世界

大数据正在改变人们的生活、社会的运行方式以及各行业的竞争生态，是提升政府治理水平和企业竞争力的核心要素。然而，政府和企业如何才能抓住大数据带来的宝贵机遇，改善公共服务、激发商业创新？推进大数据应用的进程对现有技术框架、管理机制、评价体系又有哪些新的要求？

　　针对这一系列问题，《大数据与智慧社会》一书做出了系统的回答。《大数据与智慧社会：数据驱动变革、构建未来世界》从全局出发，对大数据的基本内涵进行了系统描述，概括了大数据的前世今生，揭示了其哲学本质；以技术为主线，深刻剖析了大数据的技术框架，预测了大数据的技术发展趋势；理论与实践相结合，形成大数据系统评价标准；选取大数据在生活、政务、交通、医疗、金融领域落地应用的实战案例，进行深入分析和解读，以期为我国的政府治理、经济发展、企业创新提供有效的指导和帮助。

　　《大数据与智慧社会：数据驱动变革、构建未来世界》适合政府决策者、企业管理者、IT实施者（CTO、CDO、技术人员等）以及高等院校相关专业的师生阅读。

张克平

　　江苏省无锡市信息化和无线电管理局局长、北京邮电大学兼职教授、清华大学客座教授、2016中国智慧城市百城会首任执行会长，长期致力于无锡物联网和智慧城市建设并取得突出成绩，曾先后荣获“2009年中国创意策划领袖人物”“2010年中国物联网十大人物”“2011年中国城市信息化领军人物”“2011-2012年度推动中国云计算产业发展突出贡献人物”“2016中国智慧城市建设领军人物”等称号，以及“2012年中国物联网产业杰出贡献奖”“2013-2015年中国智慧城市推进杰出贡献奖”等奖项。

陈曙东

　　中科院微电子研究所百人计划研究员、博士生导师，长期从事分布式计算、数据挖掘领域的应用技术研究，主持了多项国家、省部级、欧盟等科技专项，发表学术论文40余篇，拥有专利与软件著作权20多项，入选国家、北京市大数据与云计算领域专家库。

第1章 大数据概述 1

1．1 什么是大数据 2

1．1．1 大数据的定义和特征 2

1．1．2 大数据的发展历程 6

1．1．3 大数据的来源 11

1．2 大数据的哲学本质 12

1．2．1 大数据与世界观 13

1．2．2 大数据与认识论 14

1．2．3 大数据与方法论 15

1．2．4 大数据与价值观 18

1．3 大数据技术框架 19

1．3．1 大数据处理系统综述 19

1．3．2 大数据平台基础 20

1．3．3 大数据存储系统 22

1．3．4 大数据计算模型 23

1．4 大数据发展趋势 26

1．4．1 大数据的技术发展趋势 26

1．4．2 大数据的应用发展趋势 30

第2章 大数据的云计算基础 33

2．1 虚拟化技术 34

2．1．1 虚拟化的概念 34

2．1．2 虚拟化技术分类 35

2．1．3 虚拟化解决方案 36

2．1．4 虚拟化技术与大数据 39

2．2 OpenStack 技术 40

2．2．1 OpenStack 概述 40

2．2．2 OpenStack 历史 41

2．2．3 OpenStack 系统架构 41

2．2．4 OpenStack 的优势和劣势 44

2．2．5 虚拟化与OpenStack 技术比较 46

2．3 IaaS 平台建设 47

2．3．1 IaaS 平台介绍 47

2．3．2 IaaS 云平台的种类 49

2．3．3 IaaS 平台设计 51

2．3．4 IaaS 平台解决方案 53

2．3．5 IaaS 平台搭建 55

第3章 Hadoop 基础组件 57

3．1 Hadoop 概述 58

3．1．1 Hadoop 简介 58

3．1．2 Hadoop 系统架构 59

3．1．3 Hadoop 的优势与不足 60

3．1．4 Hadoop 的适用场景 63

3．1．5 Hadoop 的商业模式 64

3．2 Hadoop 分布式文件系统HDFS 65

3．2．1 HDFS 的设计目标 65

3．2．2 HDFS 的基本架构 67

3．2．3 HDFS 的特点 68

3．2．4 HDFS 的优势与缺点 70

3．3 Hadoop 分布式计算框架MapReduce 72

3．3．1 MapReduce 简介 72

3．3．2 MapReduce 的运行流程 73

3．3．3 MapReduce 与DataFlow 比较 75

3．4 Hadoop 统一资源管理框架YARN 76

3．4．1 YARN 架构简介 76

3．4．2 YARN 架构框架 77

3．4．3 YARN 与旧MapReduce 框架对比 79

3．4．4 YARN 与Mesos 框架对比 79

3．5 Hadoop 分布式集群管理系统ZooKeeper 81

3．5．1 ZooKeeper 简介 81

3．5．2 ZooKeeper 总体架构 82

3．5．3 ZooKeeper 的运行模式 84

3．5．4 ZooKeeper 的设计要点 85

3．5．5 ZooKeeper 的使用 87

第4章 Hadoop 其他常用组件 89

4．1 Hadoop 数据仓库工具Hive 90

4．1．1 Hive 简介 90

4．1．2 Hive 架构设计 91

4．1．3 Hive 部署模式 92

4．1．4 Hive 与关系型数据库比较 94

4．2 Hadoop 分布式数据库HBase 97

4．2．1 HBase 简介 97

4．2．2 HBase 体系架构 97

4．2．3 HBase 性能分析 99

4．2．4 HBase 容错机制 101

4．3 Hadoop 实时流式处理引擎Storm-YARN 102

4．3．1 流式处理概述 102

4．3．2 Storm 简介 103

4．3．3 Storm 架构 105

4．3．4 Storm 与Spark Streaming 比较 106

4．4 Hadoop 交互式查询引擎 Impala 108

4．4．1 Impala 简介 108

4．4．2 Impala 架构分析 109

4．4．3 Impala 与Hive 比较 110

第5章 Spark 内存计算框架 113

5．1 内存计算与Spark 114

5．1．1 内存计算概念 114

5．1．2 内存计算分类 116

5．1．3 Spark 与内存数据处理系统 118

5．2 Spark 概述 119

5．2．1 Spark 架构 119

5．2．2 Spark 的RDD 模型 121

5．2．3 Spark 与Hadoop 的性能对比 121

5．3 Spark 核心组件介绍 122

5．3．1 Spark SQL 122

5．3．2 Spark MLlib 123

5．3．3 Spark GraphX 123

5．3．4 Spark Streaming 124

5．4 Spark 集群管理 125

5．4．1 Spark 部署方式 125

5．4．2 Spark 资源调度 126

5．4．3 Spark 任务调度 127

第6章 大数据可视化技术 129

6．1 数据可视化的基本概念 131

6．2 数据可视化的发展趋势 132

6．3 数据可视化应用与设计 135

第7章 数据挖掘技术 139

7．1 什么是数据挖掘 140

7．2 数据挖掘的流程 142

7．3 数据挖掘典型算法 143

7．4 数据挖掘与大数据 151

第8章 大数据系统评价标准 153

8．1 大数据系统评价概述 154

8．1．1 信息时代的“云大物移” 154

8．1．2 大数据项目失败的常见原因 155

8．2 评价指标选取原则 157

8．3 大数据系统评价标准 159

8．3．1 通用评价要素 159

8．3．2 专有评价要素 160

8．4 大数据系统定位 161

8．4．1 与企业战略相匹配 161

8．4．2 与企业架构相匹配 162

8．4．3 与企业需求相匹配 162

8．5 大数据价值评估模型 164

8．6 大数据质量评价 165

8．6．1 数据流程视角 165

8．6．2 数据技术视角 167

8．6．3 数据管理视角 168

8．7 大数据安全评价 169

第9章 大数据在生活中的应用 173

9．1 食：食品安全 174

案例：阿里巴巴大数据协助食品安全风险控制 175

9．2 住：智能家居 176

案例：无锡市智能家居 177

9．3 行：智能交通 177

案例：深圳市智能综合交通运行指挥中心 180

9．4 游：智慧旅游 180

案例：无锡市智慧旅游立体化营销体系 181

9．5 购：电商营销 183

案例：京东大数据营销 185

第10章 大数据在政务领域的应用 187

10．1 条块分割拖累政务发展 188

10．2 数据统筹助力决策参考 190

案例：佛山市南海区数据统筹 192

10．3 服务整合创新社会管理 193

案例：无锡市智慧城管系统 194

10．4 资源整合强化公共服务 196

案例：无锡市政务服务平台 197

10．5 数据公开辅助政府监督 200

案例：上海市利用大数据实现市场监管 201

第11章 大数据在交通领域的应用 203

11．1 频繁拥堵造就城市顽疾 204

11．2 客流分析改进公交线路设计 205

案例：北京市大数据路线优化 206

11．3 多源数据辅助交通调查 206

案例：上海市综合交通特征分析 208

11．4 整合信息优化资源配置 210

案例：无锡市智慧交通信息工程 211

11．5 智能数据释难最后一公里 213

案例：共享单车便捷出行 214

第12章 大数据在医疗领域的应用 215

12．1 医疗数据挖掘行业价值 217

案例：无锡市智慧健康工程 218

12．2 海量数据助推远程医疗 221

案例：中日医院基于大数据让远程医疗、分级诊疗深入临床一线 222

12．3 移动医疗缓解资源紧缺 223

案例：春雨掌上医生 224

12．4 健康数据实现精准医疗 226

案例：微软亚洲研究院利用大数据推动癌症精准医疗 226

第13章 大数据在金融领域的应用 229

13．1 交易数据饱含金融商机 231

13．2 智能分析防范金融欺诈 232

案例：天下无贼反信息诈骗联盟 235

13．3 征信预测改善金融风控 236

案例：ZestFinance 公司 237

13．4 “互联网+”催生金融产品 239

案例：蚂蚁金服 239

参考文献 241