统计数字会撒谎

哈夫先生用如此生动的、充满人情味的方式来论述统计这个干巴巴的课题，真是一剂灵丹妙药……我们太需要这本书了，它虽然娱乐性强浅易读，却十分具有说服力。

　　——美国著名管理杂志

《管理评论》作者和制图者倾注了全力，给大家提供了一本十分轻松活泼的读物和卡通画。它们能给你带来娱乐，又能引发思考，而且还揭穿了许多统计方法的谎言。 

　　——美国著名图书杂志

《图书期刊》这是一本善意破坏性的书，读完它后，你对于‘万能统计’的信任将大大降低。 

　　——美国权威政论杂志

《大西洋》 有3种谎言：谎言、糟糕透顶的谎言和统计资料。 

　　——英国前首相本杰明·迪斯雷利（Disraeli）

对于追求效率的公民而言，统计思维总有一天会和读写能力一样必要。 

　　——美国著名科幻作家H·Ｇ·威尔斯（H.G.Wells）

使我们陷入麻烦的通常并非我们不知道的事情，而是那些我们知道得不确切的事情。 

　　——美国作家阿蒂默斯·沃德（Artemus Ward）

我需要完成一个很大的课题——统计学，但却感到我的写作功底十分有限，如果不牺牲准确性和完整性，就很难让人理解。 

　　——英国著名科学家相关系数“r”创立者弗朗西斯·高尔顿（Sir Francis Galton）

达莱尔·哈夫（Darrell Huff）美国统计专家，于1913年出生在美国爱荷华州，毕业于爱荷华州立大学（the State University of lowa）,获得学士学位和硕士学位，在此期间他由于成绩优异加入了美国大学优等生的荣誉学会（Phi Beta Kappa），同时还参加了社会心理学、统计学以及智力测验等研究项目。达莱尔·哈夫的文章多见于《哈泼斯》、《星期六邮报》、《时尚先生》以及《纽约时报》等美国顶尖媒体。1963年，由于他的贡献被授予国家学院钟奖（National School Bell Award）。

Chapter 1 内在有偏的样本
我们来看一则以前的新闻报道，“1924级的耶鲁毕业生平均年收入为25111美元。”好家伙，这些人干得真不赖！大家都把孩子送去耶鲁和牛津吧，那就是高薪的代名词，年纪轻轻就能享受幸福的生活。
可是，等一等，在充满怀疑的惊鸿一瞥后，关于该数字的两个疑点凸现出来：它居然惊人的精确，它也大得令人难以置信。

Chapter 2 精心挑选的平均数
房地产商费尽心思大力宣传，你所居住的小区是高档小区，你邻居的年均收入是10000英镑；而该区域的纳税人委员会却反复向政府强调，这里居民的平均年收入只有2000英镑，是该减减税赋了。
到底谁在说谎？事实上，他们都是诚实的。两个数字都是正规的平均数，来自相同的居民，根据相同的收入，计算方法也完全正确，奥妙何在？

Chapter 3 没有披露的数据
“自从使用了多克斯牌牙膏，我们的蛀牙减少了23%。”
让我再引用一篇文章的标题——《现在就来预测孩子将来长多高》。“只需要利用现有的身高，再查表中的比例即可。”标题如是写道。
没有比这个“23%”和“身高表”更无聊的广告和报道了！可他们看起来是如此的煞有介事，问题出在哪？

Chapter 4 毫无意义的工作
彼得和琳达做了公认最好的智力测验——斯坦福-比内测验，结果是琳达的智商为101，彼得的只有98。专家告诉我们智商的平均数是100，即100意味着“正常”。于是进一步推断，琳达是比较聪明的孩子，彼得是个笨孩子。
相信我，任何类似的结论纯粹都是胡说。

Chapter 5 令人惊奇的图形
一张图告诉你朴实的10%的增长，而另一张却看起来是让人振奋的100%的增长，别怀疑你的眼睛，截然不同的两幅图说的可是同一回事！

Chapter 6 一维图形的滥用
数字是2∶1，但视觉效果却是8∶1。嘴上说的是15倍，看起来却是3倍……或许你正在被这些图形所振奋着。

Chapter 7 不完全匹配的资料
一篇来自著名实验室的报告：在11秒钟内仅仅半盎司该药的剂量就杀死了试管中31108个病菌。
随处可见某种榨汁机的广告：“经过实验室的证明”该榨汁机的“榨汁功能增强了26%。”……
听起来真不错，这是货真价实的“挂羊头卖狗肉”。

Chapter 8 相关关系的误解
抽烟与大学成绩；独身与上大学；身上的跳蚤与健康；房屋顶上白鹤鸟巢的个数与荷兰某个家庭中已出生孩子的人数；马萨诸塞州长老教会会长的收入与哈瓦那朗姆酒的价格……
是风牛马不相及？还是亦步亦趋、息息相关？真实的结果一定让你大跌眼镜。

Chapter 9 如何进行统计操纵
怎样在一年内获得22500美元的总收入？你只需1个妻子（或丈夫）和13个孩子。
“现在就购买圣诞礼物，你将节省100%。”精明的商家居然成了圣诞老人，开始免费馈赠了。
有些人很害怕你知晓其中的“技巧”。

Chapter 10 如何反驳统计资料
谁说的？他是如何知道的？遗漏了什么？是否有人偷换了概念？这个资料有意义吗？
提这5个问题，凭双眼就识破并揭穿虚假的统计资料；更为重要的是在具有欺骗性的数据海洋中找出可靠有用的资料，不再让你的关键决策南辕北辙。

第一章 内在有偏的样本

有一个装着红、白两色豆子的桶，如果你想要准确知道这个桶中两种豆子的数量，你惟一能文摘一：这个平均年收入精确得如此吓人
让我们来研究一则以前的新闻报道：“1924级的耶鲁毕业生平均年收入为25111美元”，要知道几年前的钱是更值钱的。
好家伙，他们干得真不赖！
可是，等一等，这个令人印象深刻的数字到底意味着什么？是否像表面看到的那样，足以证明如果你把你的男孩送进耶鲁大学，或者牛津大学，那么在年老时你就不需要辛苦地上班，甚至他将来年老时也不用上班？
在充满怀疑的惊鸿一瞥后，关于该数字的两个疑点凸现出来：它惊人的精确；它大得令人难以置信。
对一群相隔千山万水的人，了解他们的平均收入，而且竟然精确到以元为单位，这几乎不太可能。就算是自己去年的收入，除非全部来自薪水，否则也很难知道得如此准确。但是对于年收入25000美元的阶层来说，投资渠道更广，因此他们的收入不可能完全来自于薪水。
而且毫无疑问，这个可爱的平均数出自耶鲁人之口。即使1924年他们在纽海文（纽海文是美国东北部康涅狄格州的一个城市，耶鲁大学就坐落在这个城市）。接受过优良的教育，也很难保证四分之一个世纪后，他们还能坚持说真话。当问及收入时，有些人出于虚荣或者天生乐观而夸大数据；有些人却故意缩小数字，特别当涉及征所得税问题时，往往会犹豫不决，生怕与其他文件填报的数据不符，谁知道税务员又看到了什么？这两种趋势——夸大与缩小，也许将相互抵消，但这种可能性很小。一般而言，一种趋势总会强于另一种，但我们很难猜测哪种趋势将胜出。
我们试着来解释这个数字，单凭常识就知道这个数字与现实出入很大。现在，让我们找找最大误差的可能来源。是什么使那些实际上收入也许只有25111美元一半的人们最终会拥有如此丰厚的平均收入？让我们来揭开这神秘的面纱。
可以肯定的是：耶鲁毕业生的报道基于对某个样本的分析，因为常识告诉我们，没有人能够掌握所有仍在世的1924级学生的情况，25年后，他们中的许多人已经消失在茫茫人海中。
并且，在那些能够取得联系的人中，许多人根本不会回答问卷，特别是一个涉及隐私的问卷。一般情况下，邮寄问卷的回收率达到5%～10%就已经相当可观了。也许这个调查的回收率会高些，但也不可能达到100%。
因此，这个收入数据建立在一个样本之上：由能够取得联系并愿意回答问卷的耶鲁学生组成。那么，这个样本的代表性强吗？也就是说，能否假设样本与未被样本包括的那些人——无法联系的人或者不愿意回答的人——具有同等的收入水平？
那些在耶鲁大学毕业生通讯录上被注明“地址不祥”的迷路小羔羊是谁呢？他们是高收入阶层吗？华尔街的金融家、公司领导层，亦或是制造企业或公用事业的总裁？不，要找到富人的地址根本不难。这个班级最显赫的人，即使忽略了与校友办公室联系，他们的地址也可以通过查《美国名人录》（Who’s Who in America）或其他参考资料找到。因此，我们可以较合理地推测，那些被遗漏的人是获取耶鲁文学学士以后25年间没能实现自己光辉梦想的人，他们是小职员、技工、流浪汉、失业的酒鬼、仅仅得以糊口的作家或艺术家……将六七个甚至更多这种人的收入相加才可能达到25111美元。他们不会在班级的联谊会上注册，仅仅是因为他们支付不起路费。
又是谁会将调查问卷丢进最近的废纸篓？我们不太肯定，但是猜想他们中大部分人并没有赚到足以炫耀的数目。很明显，样本遗漏了可能降低平均收入的两类人。让我们见识一下25111美元的庐山真面目：如果它是一个真实的数据，它也仅仅代表了1924级耶鲁学生中能够联系上的，并愿意站出来说出收入的一个特殊群体。当然，它的真实性还需要满足这个假定：这些绅士们说的都是真话。我们能否过于轻率地做出这样的假定呢？来自抽样理论的一个分支，即市场研究的经验告诉我们，人们会说真话的假定往往是不可靠的。
文摘二：我有两个平均年收入，你想听哪个？
我相信你不是一个势利小人，而我也并不做房地产生意。但请让我们作这样的假定，并且假设，此刻你正在一条我熟知的街上看房子。对你的情况进行了初步判断后，我巧舌如簧、费尽心思地让你相信附近居民的平均年收入大约有10000英镑。也许这坚定了你要在此居住的信心，不管怎样，买卖最终成交了，那美妙的数字也被牢记在你的脑海。而且，既然你已经买下了房子——你有那么一点势利，当与朋友聊天时，你就会不经意地流露出你居住的地点：我住在一个相当棒的高收入小区。
一年左右过后，我们又见面了。作为某纳税者委员会的成员，我正在四处奔走，为降低税率、降低财产估价，或降低公共交通费用而呼吁。我的理由很简单，我们支付不起各种上涨的费用，毕竟，附近居民的平均年收入只有2000英镑。也许你会加入到我们委员会的工作中来——你不仅势利，而且还挺吝啬。但是，当听到那可怜的2000英镑时，你也禁不住大吃一惊。到底是我现在撒谎了呢？还是一年前撒了谎？
其实这两次你都无法怪罪于我，利用统计撒谎的妙处被展现得淋漓尽致。无论是10000英镑，还是2000英镑，它们都是正规的平均数，计算方法也完全正确。两个数字都基于相同的数据，来自相同的居民，根据相同的收入。所有都是相同的，但显然其中有一个数据令人误解，足以与弥天大谎相媲美。
我的花招就是两次分别使用了不同的平均数，“平均数”这个词宽泛的涵义帮了大忙。当一个家伙希望用数据影响公众观点，或者向其他人推销广告版面，平均数便是一个经常被使用的伎俩，虽然偶尔是出于无心，但更多的时候是明知故犯。所以，当你被告知某个数是平均数时，除非能说出它的具体种类——均值，中位数，还是众数，否则你对它的具体涵义仍知之甚少。
在这个例子中，不合适的“平均数”实际上是毫无意义的，只要碰到关于收入的数据，这种情况就经常出现。
在我卖给你房子附近的居民区里，这两个平均数相差甚远，问题出在哪？因为收入是显著偏斜的。你的邻居中大多数都是小农、在附近村庄上班的工薪阶层或是靠养老金为生的退休老人，但却有3户邻居是来度周末的百万富翁，就是这3户人家的收入提高了总收入，相应抬高了算术平均数。这样一来，均值达到了绝大多数家庭遥不可及的水平。几乎每个人都低于平均数，虽然这听起来像是笑话或者文学修辞，但却是事实。
文摘三：现在广告：本产品能有效杀死31108个细菌。胡扯。
如果你想证明某事，却发现没有能力办到，那么就试着解释其他相关事情，并假装它们是一回事。在统计资料与人类思维冲撞所引起的耀眼光芒中，几乎没有人会发现它们的区别。不完全匹配的资料是一种保证你处在有利位置上的武器，而且屡试不爽。
你无法证明你的秘方能够治疗感冒，但你却可以在报纸上（用大字标题）刊登一篇得到保证的实验室报告，“在11秒内仅仅半盎司的该药剂量就杀死了试管中31108个细菌”。当你这样做时，首先要确定这是一家著名的实验室，或者至少有一个让人印象深刻的名字，然后将这个报告全文复印下来，并在旁边放上一个穿着白大褂医生的照片。
但记住千万别提这里面的小把戏，而且你也没有责任指出：在试管中很有效的抗菌剂，在人的咽喉里就不会发挥作用，特别是为了防止该药灼烧喉咙而按照说明书进行稀释后。也不要为报道杀死了哪些细菌而迷惑，谁会知道哪种细菌引起了感冒？说不定感冒根本与细菌无关。
实际上，不管到底是什么引起了感冒，试管内各种各样的细菌与感冒的制造者之间的关系仍是未知数。但大家并不会深究，特别是正在流鼻涕时。
也许这个例子太明显了，大家很容易识破它。然而不完全匹配的资料通常不会以这种面目出现在广告中，下面，让我们欣赏一个更高明的手法。假设在美国种族歧视情绪抬头的某个时期，你却受雇“证明”相反的结论——这并不是件难事。你可以自己进行一个民意调查，或者更好的做法是聘请一家有名望的调查机构替你调查。对总体中普通的横截面样本进行提问，看他们“是否认为黑人与白人有相同的就业机会”，你可以不断的重新调查，以确保得到一个你满意的“人们关于种族问题的报告”。
普林斯顿民意调查研究所（Princeton’s Office of Public Opinion Research）曾经测试过同样的问题。调查结果能够成为以下观点的有趣证据：事情总是表里不一，在民意调查中尤甚。每个被访者在被问及关于就业机会的问题时，还回答了其他的问题，这些问题旨在了解被调查者真实的种族歧视态度。调查结果表明：那些种族歧视情绪最强烈的人中，大部分的人对就业机会问题的回答为“是”。（实际上黑人的同情者中三分之二的人并不认为黑人与白人有同等的机会，而种族歧视者中三分之二的人认为就业机会相同。）很明显，虽然你根据这个调查得到了一些关于人们种族歧视态度的有趣结论，但是对于黑人的就业情况你仍然知之甚少。
于是你将发现：在调查期间如果种族歧视情绪高昂，将有更多的人认为黑人与白人就业机会相同。于是你宣布结论：调查显示，黑人一直受到公平的对待。
在巧妙运用不完全匹配的资料后，你得到了出色的结论。如同上例，实际情况越糟，你的调查却越能让它看上去令人欣慰。