世界超市世界超市

小数据与大数据相比,哪个更重要?

57 当我们在进行大数据分析的时候,其数据的来源都是在不断地挖掘,通过数据来分析企业产品与市场之间的关系。这样的比较,其小数据将显得成为了弱势群体,而小数据往往会被人们所忽略,因为没有人用概念去定义它们。如今,小数据为主,大数据为仆,这是数据管理的正道。有人说,大数据是一个陷阱。记得从1967年第一届美国超级碗杯橄榄球赛到1997年第三十一届,只要NFL联赛出线队赢,当年的股票就大涨14%以上,AFL联赛出线队赢,则至少大跌10%。如果你按照这个指标来买卖股票,就要小心了!1998年,丹佛野马队(AFL)赢,当年股市大涨28%;2008年纽约巨人队(NFL)赢,股市不仅大跌35%,还引发次贷金融危机。只要有超大样本和超多变量,我们都可能找到无厘头式的相关性。它完全符合统计方法的严格要求,但二者之间并没有因果关系。美国政府每年公布4.5万类经济数据。如果你要找失业率和利率受什么变量影响,你可以罗列10亿个假设。我自己的研究经验也显示,只要你反复尝试不同的模型,上千次后,你一定可以找到统计学意义上成立的相关性。如果,脱离了问题的情境,它不但不能保证因果关系,还可能误导决策。其小数据里藏着金钥匙,有相关资料显示,孩子的智力优势会在不同阶段显现出来,在同一年龄组,那些1~3月出生的孩子自然有生理发育上的优势。因为是层层优选、优训,有起点优势的孩子就可能不断成长,主导每个阶段的冰球队伍。只有明白“年龄划分日”这个小数据,奇异的现象才有科学的解释。小细节解锁大问题,类似的小数据决定作用出现在不同的现象中。依据大数据,旧金山地区卫生部门根据同性恋人群肝病发病率上升预计艾滋病例也会上升,但这两种疾病流行正相关的预测失败。深入调查发现,同性恋对艾滋病越来越持平常心。他们利用新的社交网络,主动张贴自己的情况,避免交叉感染。小数据这把金钥匙难找,因为它们基本上是弱信号,出现的频率低,往往埋没在偏差值中,容易被忽视。同样难的是,它们过去没有规律性地出现过,人们不熟悉。对不熟悉的现象,人们心理上错把它们当作不大可能的现象。因此,决策时,人们容易把弱信号当作背景噪音过滤掉了。例如,假如恐怖分子只学开飞机,不学降落这个弱信号被关注,美国反恐历史可能要重写。在现在的数据市场中,我们不求完美,只求不断接近。古希腊人俄如多斯(Eratosthenes)利用两地中午日光正射和斜射的角度与距离估算出第一个地球周长。误差很大,但那是一个跨越式的认知进步。因此,我们不需要简单化前提条件,但要力求简单模式。有专家研究表明,在数据领域中有三个典型特征:多变量、作用相互,且同时发生。就比如,现在的气象管理也开始使用大数据进行分析。小数据价值在于对气候现象深刻的理解,并提炼出关键要素。诺尔曼的大数据贡献在于精确运算关键要素的动态运行形势和方向。二者结合,我们才有对气候的预报能力。只要整合大、小数据管理的要点和优点,我们就能逐渐完善认知模型,辨别信号和噪音。

上一条:腾讯上线微信商学院 微信营销培训被迫转向

相关推荐