是什么造成民调的偏差?

在市场调研机构Gartner的"2016年商业智能和分析技术成熟度曲线"上，相当多的数据技术都达到了"过高期望膨的峰值"(peak of inflated expectations)阶段，比如实时分析、地理空间和位置数据、自助数据准备和基于Hadoop的数据发现。能积极将这些技术产品化和规模化的公司会获得巨大的盈利和战略机遇。

《赫芬顿邮报》追踪了美国43家民调机构的377项民意调查，并制作成预测模型。按照这个模型显示的结果，希拉里是很可能胜出的。

原文翻译:

政治民调可以说是历史最悠久、声誉最卓著的数据产品之一，但去年美国总统大选令全世界震惊的结果使它的有效性遭受严重质疑。当时几乎所有主流政治民调都告诉大家，希拉里占据着明显优势。2016年，《赫芬顿邮报》追踪了美国43家民调机构的377项民意调查，并制作成预测模型。按照这个模型显示的结果，希拉里是很可能胜出的。

上图利用民意调查追踪模型，将最新的民意调查整合进趋势线，如果有新的民调结果发布，就会进行更新。

南非BrandsEye公司准确预测了英国脱欧公投的结果和特朗普的胜选。该公司推出了一款数据即服务(DaaS)产品，将社交媒体分析、地理位置信息和其他数据结合起来，获得了大多数民意调查机构都错过的真知灼见。

什么是DaaS?它为什么重要?

可以把DaaS称为按需提供的数据驱动产品。DaaS超越技术堆栈的范畴，进入核心商业决策的领域，区别于其他的"即服务"类产品，因为它把数据变成了人类决策过程中的强大助力。而利用最新技术，为用户提供可执行、可操作的洞察产品将是一门非常有利可图的生意。

抓住机遇

如何利用新技术的潜力来改善现有的数据产品?在这个问题上，社交媒体分析的成功案例为我们提供了很多宝贵的经验教训。随着数据分析变得越来越复杂，没有把数据分析视为业务核心或者无法在内部培养必要技能的很多公司，将借助于DaaS产品提供商的服务。

在市场调研机构Gartner的"2016年商业智能和分析技术成熟度曲线"上，相当多的数据技术都达到了"过高期望膨的峰值"(peak of inflated expectations)阶段，比如实时分析、地理空间和位置数据、自助数据准备和基于Hadoop的数据发现。能积极将这些技术产品化和规模化的公司会获得巨大的盈利和战略机遇。

Brandseye的方法

BrandsEye在2016年7月开始收集社交媒体数据。总共有400多万用户发表的3760万条信息被收集起来加以分析。BrandsEye的地理位置算法会识别用户所在的州，最后来自"战场州"的信息被发送到BrandsEye Crowd，这是一个可以理解人类情绪的众包平台。Brandseye的这种方法成功预测了英国脱欧公投的结果和特朗普的胜选。

传统的民意调查为什么预测失误?

皮尤研究中心作出了以下解释:

· 无回应人群造成的民调偏差。这是指有一部分人群没有得到民调覆盖。教育水平、收入和政治热心度较低的人，接受选举民调的可能性更低。因此，受调查的人口子集没有全面反映全体选民的意愿。如果出现传统民调无法覆盖的选民踊跃投票的情况，那么民调结果的准确性就会受到负面影响。

· 低调的特朗普支持者。很多选民把特朗普支持者视为不受欢迎的人。因此，很多调查参与者没有向民意调查机构坦诚他们支持特朗普的真实意图。

· 有些人曾打算投票，但实际上没有投票。行动胜于空谈。投票受到社会的期许，因此一些人对民意调查机构说他们会投票。在参与调查的时候，他们也许是真的想这么做，但在投票当天却没有到场。民意调查机构意识到了这种行为，试图根据一些因素来模拟可能的选民。但这次，选民表现出了与以往不同的行为。基于错误假设的模型会产生错误的结果。

社交媒体分析为什么是预测选举结果的一大利器?

民意调查根据调查结果只能给出某种数值上的预测。而通过观察社交媒体活动，分析师可以知道这些数值是如何得出来的，还有为什么会得到这样的数值。

以下是社交媒体分析的几个好处:

· 庞大人群的真实活动:社交媒体数据是真实活动创造的数据，而不是就未来可能发生的时间给出的回复。

· 参与:社交媒体分析听取人们在社交平台上表达的自身观点，而不是依靠从历史观察中得出的、基于抽样技术的假设。

· 实时监测的能力:大众随时都在使用社交媒体平台。准确配置的社交媒体信息搜集和分析能让分析师掌握最新的趋势，让决策者注意到以前忽视的重要信息。

注意:这并不是说社交媒体分析总是胜过民意调查，但如果在预测选举结果时重视社交媒体分析，那么就可以通过聆听社交媒体来发现形成民意的真实活动和参与行为。社交媒体分析需要注意以下两点:

· 社交媒体数据是非结构化数据，而且体量庞大。通过聆听社交媒体来寻找结果如同大海捞针。全面规划和数据发现是必不可少的。

· 详尽的社交媒体分析需要先进的工具和除了大数据以外的其他专业技能(比如语言学)。

原文:dataconomy

编译:品觉