手机资讯    期货日报电子版   
首页 >> 教育 >> 每日一书 >> 正文

站内搜索:  高级搜索

征服数据者为王

核心提示: 《大数据时代:生活、工作与思维的大变革》是国外大数据系统研究的先河之作,作者维克托·迈尔-舍恩伯格被誉为“大数据时代的预言家”,拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历,早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。

   金融领域当然是大数据的主战场之一。程序化交易也许是现今最主要的大数据新式武器。美国股市每天成交量高达70亿股,但其中三分之二的交易量并非由人操作,而是由建立在数学模型和算法之上的计算机程序自动完成。日新月异的程序化交易运用海量数据来预测收益,降低风险。几乎所有银行、券商、保险、期货、QFII和投资公司都开发了自己的程序化交易工具。谁的武器更先进?竞争到最后恐怕还是比谁搜集处理的数据更海量。

   《大数据时代:生活、工作与思维的大变革》是国外大数据系统研究的先河之作,作者维克托·迈尔-舍恩伯格被誉为“大数据时代的预言家”,拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历,早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。

如果把数据化视为信息社会的初级阶段,则名不见经传的英国科学家维克托·迈尔-舍恩伯格,用他别具洞见的天才新著《大数据时代》首次告诉我们:人类正在进入“数据颠覆传统”的信息社会中级阶段。

该书从“买机票”的故事切入——奥伦·埃齐奥尼一直根据实践经验提前几个月预订打折机票,但有一次意外发现同机乘客大多订票更晚却更便宜。于是这位软件专家立即着手对影响票价的航线、航班、气候、旅游淡旺季等因素进行全方位调研,耗时费力得出的结论却是一头雾水。而当他改弦易辙,利用从一家旅游网站上“爬取”过来的1.2万个价样建立数据库,排列组合成“哈姆雷特”项目体系后,居然轻松预测出41天内国内各航班平均票价的涨跌趋势。如今,埃齐奥尼创建的网上Farecast系统随机采样10万亿条价格信息,帮助旅客快速预测机票涨跌趋势,准确度达75%,平均每张机票可节省50美元。

作者据此断言“世界的本质就是数据”,自然规律隐藏在海量的大数据、云计算之中。正由于数据越来越多越来越复杂,反而导致人们越来越没必要去认清实质掌握规律。“所有工作交给电脑,人类只要最终结论”——也许这就是大数据时代的本质特征。

大数据点燃大智慧

美国政府曾为定期公布消费物价指数CPI以监控通胀率,雇用了大量人员向全美90个城市的商店、办公室进行电话、传真拜访,耗资2.5亿美元搜集反馈8万种商品价格的延时信息。然而麻省理工学院两位经济学家采取大数据方案,通过一个软件在互联网上每天搜集50万种商品价格的即时信息。2008年9月雷曼兄弟公司破产后,该软件马上发现了通胀转为通缩的趋势,而官方数据直到11月才发现。之后该软件畅销至70多个国家。

从因果关系到相关关系的思维变革,是大数据颠覆传统认识论模式的关键。从根本上说,所谓“大数据挑战传统认识论”其实是人类把复杂的认识过程全部“打包”给了电脑,而电脑懒得分析推理验证,只通过统计分类对比,交出“最终答案”就OK啦。大数据大智慧的精髓在于变“少而精”为“模糊而全面”。当实地调研开始被数据采集所替代,当严密的实验开始被非线性逻辑所替代,当唯一真理开始被多项选择所替代,大数据就用事实向人类宣告“知其然不知其所以然”,既是电脑望尘人脑的劣势,也是电脑超越人脑的优势。

大数据渗透大世界

不要以为大数据只是科幻故事或政府与科学家的专利。环顾四周,大数据早已渗透我们生活和工作的方方面面。

UPS国际快运公司从2000年开始通过大数据检测其遍布全美的6万辆货车车队,统计出各损耗零部件的生命周期,改“备份携带”为提前更换,有效预防了半路抛锚造成的严重麻烦和巨大损失,每年节省数百万美元。UPS还依靠大数据优化行车路线,2011年全公司车辆少跑4828万公里,节省燃料300万加仑,减少碳排放3万公吨。

至于大数据的经济价值,仅需略举数例:2006年微软以1.1亿美元购买了前述埃齐奥尼的Farecast公司,2008年谷歌以7亿美元购买了为Farecast提供数据的ITA Software公司。

大数据推进大金融

金融领域当然是大数据的主战场之一。程序化交易也许是现今最主要的大数据新式武器。美国股市每天成交量高达70亿股,但其中三分之二的交易量并非由人操作,而是由建立在数学模型和算法之上的计算机程序自动完成。日新月异的程序化交易运用海量数据来预测收益,降低风险。几乎所有银行、券商、保险、期货、QFII和投资公司都开发了自己的程序化交易工具。谁的武器更先进?竞争到最后恐怕还是比谁搜集处理的数据更海量。

一家投资基金通过统计大商场周边停车场及路口交通拥挤状况,来预测商场经营及当地经济状况,进而预测相关股价走势,最后居然拿数据统计资料换得了该商场的部分股权。不少对冲基金通过搜集统计社交网站Twitter上的市场心情等信息来预测股市的表现。伦敦和加利福尼亚的两家对冲基金,利用大数据形成119份表情图和18864项独立指数,向许多客户推销股市每分钟的动态表情:乐观、忧郁、镇静、呆滞、害怕、生气、激愤等,以帮助和带动投资决策。

在金融机构竞相拉客理财的今天,如果能及时搜集处理海量的微博、微信、短信,自然也能从茫茫人海中及时发现怦然心动打算开户的,或一气之下打算“跳槽”的投资者。

大数据暗藏大隐患

像所有新生事物一样,大数据也是一把双刃剑。

宏观上看,大数据在各个不同的领域将人类虚拟分割为“数据化”与“被数据化”两大阵营。虽然社会早已建立起庞大的法律法规体系来保障个人信息安全,但在大数据时代,这些体系正蜕变为固若金汤却可以一绕而过的“马其诺防线”。大数据导致个人信息被交易、个人隐私被外泄还不算,更大的危险在于“个人行为被预测”。正如作者预言——“这些能预测我们可能生病、拖欠还款甚至犯罪的算法程序会让我们无法购买保险、无法贷款,甚至在犯罪实施前就预先被逮捕”。

无论你惊奇还是恐惧,欢迎还是躲避,关注还是漠视,理解还是拒绝,大数据都在加快步伐向我们走来。我们只有顺势而为,趋利避害,才不至于被这个充满机遇和挑战的新时代提前淘汰。

  • 微笑
  • 流汗
  • 难过
  • 羡慕
  • 愤怒
  • 流泪
责任编辑:张玉洁