数据科学家养成手册

从哲学、数学、物理、统计，到测量、实验、辩证、分析，用谈天说地的方式激发思考，归纳总结数据科学的实质及成就一位数据科学家所需要的基本素养。

作为认知科学的延伸，数据科学一方面应该越来越引起广大大数据工作者的重视，另一方面也要撩开自己的神秘面纱，以*为亲民的姿态和每位大数据工作者成为亲密无间的战友，为用科学的思维方式进行工作做好理论准备。本书从众多先贤及科学家的轶事讲起，以逐步归纳和递进的脉络总结出科学及数据科学应关注的要点，然后在生产的各个环节中对这些要点逐一进行讨论与落实，从更高、更广的视角回看科学及数据科学在各个生产环节的缩影。本书并不以高深的数学理论研究作为目的，也不以某一种计算机语言编程作为主线脉络，而是在一个个看似孤立的故事与工程中不断拾遗，并试着从中悟出一些道理。本书适合大数据从业人员和对大数据相关知识感兴趣的人，初级和中级程序员、架构师及希望通过对数据的感知改进工作的人，产品经理、运营经理、数据分析师、数据库开发工程师等对数据分析工作敏感的人，以及所有对数据科学感兴趣并希望逐步深入了解数据科学知识体系的人阅读。

重庆工商大学管理科学与工程专业，硕士研究生导师。专注于大数据系统架构以及变现研究。擅长数据挖掘、数据建模、关系型数据库应用以及大数据框架Hadoop、Spark、Cassandra、Prestodb等的应用。

认知篇

第1章　什么是科学家2
1.1　从太阳东升西落开始2
1.1.1　农历2
1.1.2　公历5
1.1.3　小结7
1.2　阿基米德爱洗澡7
1.3　托勒密的秘密10
1.4　牛顿为什么那么牛11
1.4.1　苹果和三大定律11
1.4.2　极限和微积分12
1.5　高斯——高，实在是高15
1.6　离经叛道的爱因斯坦17
1.7　本章小结20
第2章　什么是科学23
2.1　科学之科23
2.2　边界的迷茫23
2.3　科学之殇26
2.4　本章小结27
第3章　数据与数学28
3.1　什么是数据28
3.2　数学的奥妙29
3.2.1　《几何原本》29
3.2.2　《九章算术》30
3.2.3　高等数学34
3.3　本章小结37
第4章　数据科学的使命38
4.1　走近数据科学38
4.1.1　介质38
4.1.2　从信息到数据41
4.1.3　数据科学的本质43
4.2　万能的数据科学44
4.2.1　测量44
4.2.2　统计计算47
4.2.3　指标52
4.3　使命必达53
4.3.1　高效生产53
4.3.2　破除迷信56
4.3.3　目标一致与不一致57
4.4　本章小结58
第5章　矛盾的世界59
5.1　古希腊——学者高产的国度59
5.2　矛盾无处不在61
5.3　世界究竟是否可知63
5.4　薛定谔的“喵星人”64
5.5　本章小结66
第6章　实验和哲学68
6.1　朴素的认知方法68
6.1.1　眼见为实69
6.1.2　归纳与总结70
6.2　哲学靠谱吗71
6.3　数学的尽头是哲学72
6.4　本章小结73
第7章　辩证思维74
7.1　要不要辩证有多大区别74
7.2　谁对谁错76
7.3　做到客观不容易77
7.4　观念的存弭79
7.5　本章小结82

分化篇

第8章　统计学86
8.1　数理统计鼻祖—阿道夫·凯特勒86
8.2　统计就是统共合计88
8.3　数据来源90
8.4　抽样91
8.5　对照实验91
8.6　误差94
8.6.1　抽样误差94
8.6.2　非抽样误差96
8.7　概括性度量97
8.7.1　集中趋势度量98
8.7.2　离散程度度量100
8.7.3　小结100
8.8　概率与分布100
8.8.1　数学期望102
8.8.2　正态分布103
8.8.3　其他分布106
8.9　统计学与大数据107
第9章　信息论109
9.1　模拟信号109
9.2　信息量与信息熵110
9.3　香农公式111
9.4　数字信号112
9.5　编码与压缩113
9.5.1　无损压缩114
9.5.2　有损压缩117
9.6　本章小结126
第10章　混沌论127
10.1　洛伦兹在想什么128
10.2　罗伯特·梅的养鱼计划129
10.3　有限的大脑，无限的维130
10.4　谋杀上帝的拉普拉斯132
10.5　庞加莱不是省油的灯134
10.6　未知居然还能做预测137
10.7　本章小结137
第11章　算法学139
11.1　离散的世界139
11.2　成本的度量142
11.3　穷举法——暴力破解143
11.4　分治法——化繁为简152
11.5　回溯法——能省则省154
11.6　贪心法——局部最优155
11.7　迭代法——步步逼近156
11.7.1　牛顿法157
11.7.2　梯度下降法158
11.7.3　遗传算法159
11.8　机器学习——自动归纳161
11.8.1　非监督学习162
11.8.2　监督学习164
11.8.3　强化学习176
11.9　神经网络——深度学习178
11.9.1　神经元178
11.9.2　BP神经网络180
11.9.3　损失函数181
11.9.4　非线性分类183
11.9.5　激励函数187
11.9.6　卷积神经网络189
11.9.7　循环神经网络191
11.9.8　小结194
11.10　本章小结195

实践篇

第12章　数据采集198
12.1　数据的源头198
12.2　日志收集199
12.2.1　实时上传200
12.2.2　延时上传203
12.2.3　加密问题204
12.2.4　压缩问题205
12.2.5　连接方式206
12.2.6　消息格式208
12.2.7　维度分解210
12.3　这只是不靠谱的开始211
12.4　本章小结212
第13章　数据存储213
13.1　读写不对等213
13.1.1　读多写少214
13.1.2　读少写多214
13.1.3　读写都多215
13.2　进快还是出快216
13.2.1　最快写入216
13.2.2　读出最快218
13.3　文件还是数据库218
13.4　要不要支持事务219
13.5　表分区和索引221
13.5.1　表分区222
13.5.2　索引222
13.6　稳定最重要225
13.7　安全性和副本226
13.7.1　RAID226
13.7.2　软冗余228
13.8　本章小结229
第14章　数据统计230
14.1　此“统计”恐非彼“统计”230
14.2　要精确还是要简洁234
14.3　统计是万能的吗235
14.4　注意性能237
14.5　本章小结238
第15章　数据建模239
15.1　模型是宝贵的财富240
15.2　量化是关键241
15.3　该算法出马了241
15.3.1　统计学模型242
15.3.2　线性关系243
15.3.3　复杂的非线性关系243
15.4　算法的哲学244
15.5　本章小结245
第16章　数据可视化与分析247
16.1　看得见，摸得着247
16.2　颜色很重要247
16.3　别说布局没有用249
16.3.1　由上而下，由简而繁249
16.3.2　总-分，分-总，总-分-总251
16.3.3　毗邻吸引252
16.4　有图就别要表格253
16.5　分析的内涵254
16.5.1　相关性分析255
16.5.2　预测分析256
16.5.3　其他分析257
16.6　有趣的统计应用257
16.6.1　不规则图形的面积258
16.6.2　套出你的实话258
16.6.3　巧测圆周率259
16.7　仁者见仁，智者见智260
16.8　永恒的困惑261
16.9　本章小结263
第17章　数据决策264
17.1　决策就是“拍脑袋”264
17.2　哪里有物质，哪里就有数据265
17.2.1　目的的统一265
17.2.2　数据胜于雄辩266
17.3　这是风险博弈267
17.3.1　性价比优先267
17.3.2　小迭代至上268
17.3.3　不要“输不起”268
17.3.4　留得青山在269
17.4　本章小结270
第18章　案例分析272
18.1　K线图里的秘密272
18.1.1　什么是市场273
18.1.2　谁在控制价格273
18.1.3　货币价格的形成276
18.1.4　零和博弈277
18.1.5　涨跌都盈利278
18.1.6　价格的预测279
18.1.7　形态280
18.1.8　K线图周期282
18.1.9　造市商与点差283
18.1.10　科学分析284
18.1.11　小结317
18.2　数学能救命317
18.2.1　阴云下的大西洋317
18.2.2　护航船队的救星318
18.2.3　数学家的天下324
18.2.4　小结324
18.3　人人都能运筹帷幄325
第19章　与本书相关内容的问与答326


后记333
附录A335
A.1　VMware Workstation的安装335
A.1.1　VMware简介335
A.1.2　安装准备工作335
A.2　CentOS虚拟机的安装338
A.2.1　下载DVD镜像338
A.2.2　创建VMware虚拟机338
A.3　Ubuntu虚拟机的安装344
A.4　Python语言简介350
A.4.1　安装Python350
A.4.2　Hello Python350
A.4.3　行与缩进350
A.4.4　变量类型351
A.4.5　循环语句352
A.4.6　函数353
A.4.7　模块354
A.4.8　小结354
A.5　Scikit-learn库简介355
A.6　安装Theano356
A.7　安装Keras356
A.8　安装MySQL357
A.9　安装MySQL-Python驱动358
A.10　MT4平台简介359
参考文献363