大数据云计算 使预测更准确吗

  人类生活需要预测,但可靠性却实在不敢让人恭维,鲜有正确。这有人为因素,也有技术原因。

  比如“非样本错误”。假设有一位司机,驾龄30年,出行2万次,只发生过2次轻微的剐蹭事故。中秋节跟家人一起喝了很多酒,那么这位司机能否因为此前驾驶记录良好,就认为这次也不会出事故?显然这是错误的想法。因为2万次的出行记录都是无酒驾记录,这次喝多了,此前的记录已无任何统计学意义。或许觉得这样的低级错误预测专家能够避免才对,但其实不然。由美国引起的2008年全球金融危机,人类也就只有一两位预测到,而其他所有的美国评级机构、白宫智囊团、经济学家无一能预测出。究其原因,就是犯了这种“非样本”的预测错误。当情况有变,一味根据过去的记录做出预测,就只能得到错误的答案。

  很多人喜欢投资股市。身处牛市,投资者再外行恐怕也能多少赚点钱,但从牛市进入熊市,证券公司一般都是集体犯错。这更多的是人为因素。证券分析师出现错误判断很正常,但犯错一定要避免只有自己犯错,一起犯错就等于自己没犯错。比如有人分析出股市有一定概率要崩盘,最佳策略却是继续持有。这样股市崩盘了,由于绝大多数同行都不确定何时要崩盘,也都选择持有战略,集体犯错,并不会显出自己水平低。但如果贸然卖掉股票,短期股价却没有跌甚至涨了,就只能表明自己水平不够。

  震惊全球的"9·11"">恐怖袭击事件让人感觉很突然,其实美国情报机构差点识破这一重大阴谋。2001年8月16日,穆萨维,一名宗教极端主义者被逮捕了。他只进行了飞行培训50个小时,却要求参加波音747客机的模拟训练。这很诡异,因此被人举报。事后看这个事情,信号很清晰,有恐怖分子要用飞机炸大楼。在当时,这个信号却被掩盖在几十万条诸如此类的众多噪声中,并不突出,或许他只是个飞行爱好者呢。有信号,更有噪声,使得预测非常困难。

  以上种种因素导致人类预测不甚准确;但还是有办法使得预测更加接近真相,那就是借助贝叶斯定理。这条概率学定理已产生二百多年,是用条件概率推理问题,揭示人们对概率信息的认知加工过程与规律、指导人们进行有效的学习和判断决策。比如一位女性的乳房X光片显示阳性,那么她患乳腺癌的概率会是多少?已有的统计数据显示,如果一位女性未患乳腺癌,X光片呈阳性的概率为10%;如果确实患有乳腺癌,X光片阳性概率为75%;因此X光片呈阳性,一般人会认为事情很严重。但如果用贝叶斯定理来分析,她患乳腺癌的概率只有10%,因为40多岁的女性,患乳腺癌概率很低,只有1.4%,也就是说先验概率很低。

  大数据时代,虽然信息量爆增,但信号与噪声并存,要做出正确的预测并不比以前容易,甚至更难。《信号与噪声》一书告诉我们,如果以贝叶斯定理为基础,努力了解事情的因果关系,避免一些不该犯的人为或技术错误,预测准确率都会提高很多。

时间: 2024-10-12 02:54:16

大数据云计算 使预测更准确吗的相关文章

大数据+云计算使安全、隐私成悖论

斯诺登事件一方面让一贯热衷自我标榜的美国政府陷入了前所未有的尴尬境地,另一方面也让民众对于网络信息通讯安全和个人隐私保护的话题再度升温. 我们无力对国家的安全问题去做讨论,这似乎更像外交事件,是各国政治家们相互博弈的过程.就连华为CEO任正非在表示不再主动拓展美国市场时也显示出了无奈--他暗示:水很深,不是我们一家民营企业可以驾驭的. 安全.隐私和便利似乎是悖论.美国总统奥巴马表示,"你不能在拥有100%安全的情况下,同时拥有100%隐私和100%便利."(You can not ha

大数据云计算学习路线图(纯属个人看法和观点)

[ps:以下纯属个人观点和看法,有什么不对的,还请多多指教.] 1:之前发过一个Java攻城狮的学习路线图[ps:挺详细的~~~]:http://www.cnblogs.com/biehongli/p/5754555.html 恰恰是这个Java攻城狮学习路线图使我在学习编程的路上看到了希望,使迷茫的我找到了方向.现在还为此在努力...... 2:而今天呢,结合一些培训机构的学习路线图,今天发一个大数据云计算的学习路线图,也许有的人心中会有些疑问说这货是骗浏览量,点击量的吧,可是原因不是这样的哦

大数据时代:预测未来5年各行业发展趋势

大数据及互联网思维给了人类做整体未来决策有了超越以往的前所未有的体系支撑,用今天大数据的思维去重新提升传统行业,将对已有行业的潜力再次挖掘,甚至彻底改变这一行业. 1.零售业 传统零售业对于消费者来说最大的弊端在于信息的不对称性.在<无价>一书中,心理实验表明外行人员对于某个行业的产品定价是心里根本没有底的,只需要抛出锚定价格,消费者就会被乖乖的牵着鼻子走. 而C2C,B2C却完全打破这样的格局,将世界变平坦,将一件商品的真正定价变得透明.大大降低了消费者的信息获取成本.让每一个人都知道这件商

走向成熟!2017年大数据发展趋势五大预测

2016年已经过去,这一年中大数据领域风云变幻,亦留下众多趋性迹象供我们探究与参考. 以此为基础,我们整理出2017年的五项大数据发展趋势与预测结论. 1.云端大数据成为主流 2016年是云计算全面普及的一年.尽量初期企业客户曾就隐私与安全等问题选择观望,但随着云环境在可用性.使用成本以及性能表现等优势领域的全面冲击,人们最终开始立足于云进行大数据项目测试--主要通过构建新应用等新建型项目.在2017年,相信这一趋势还将继续保持并放大,并推动云计算与混合数据架构的快速成熟.我们认为,最终企业客户

.net程序员想转大数据云计算方面的可行性,或者有什么好的学习路线!

问题描述 .net程序员想转大数据云计算方面的可行性,或者有什么好的学习路线! .net程序员想转大数据云计算方面的可行性,或者有什么好的学习路线!正如我所说的,我是学习.net出身,自认为基础还可以,对大数据和云计算方面充满了好奇和向往,就想找个这方面的工作,并且想学习学习这方面的知识,不知道各位有没有好的意见,或者说这样可行吗? 解决方案 补充一下,我是本科生,所以基础知识方面应该还可以! 解决方案二: 云计算本身没有什么好学的,除非你是做基础架构的运维.云计算是商业模式而不是技术,这种模式

大数据也能预测流感?!

据日本 NHK 网站报道,只要用自己的 Twitter 账号登录这个神奇的网站,就可以通过数万条 Twitter在短时间内找出可能感冒的人,并通过过去和今日的感冒情况进行分析统计.另外,该程序还会结合气温和湿度的变化来预测将来感冒的流行情况,这些会通过一个 "易感冒日历"来表达.目前,此类服务正在日本陆续展开.据了解,该服务器由一家医药品制造 SS 制药公司 (エスエス製薬)运营,该公司表示,通过这个服务器的分析,大家就能够知道在自己身边到底有多少人有感冒的症状,并提前做好预防工作.

马云:大数据云计算是阿里未来核心战略

本文讲的是马云:大数据云计算是阿里未来核心战略[IT168 云计算]北京时间10月8日晚间,阿里巴巴集团董事局主席马云和CEO张勇在年报致投资者的公开信中表示,全球化.农村经济和大数据云计算将成为阿里未来十年的发展大方向,并表示将不惜一切投入发展数据技术,让数据和计算能力成为普惠经济的基础. "狭义的电子商务仅仅是今天阿里巴巴集团战略的一部分."马云在公开信中表示,阿里巴巴的战略是打造未来商业社会的基础设施,电子商务只是整体战略的第一步,"我们非常明白只有依靠互联网技术和大数

云要“下雨”,大数据要“落地”—漫谈大数据云计算在中国的发展前景与钱途

问题描述 云要"下雨",大数据要"落地"-漫谈大数据云计算在中国的发展前景与钱途,详情请阅读我的博文:http://blog.csdn.net/easyhadoop/article/details/21044303 解决方案

专家学者热议智慧交通:大数据云计算,出行有“千里眼”

国内外"买家"会聚南京切磋智慧交通 大数据云计算,出行有"千里眼" 节假日猛增的车流量如何疏导?如何引导遍布大街小巷的共享单车有序停放?--10日,在南京举行的2017年中国智慧交通博览会上,国内外万余名专家学者.专业买家,热议"互联网+".交通大数据.智能公交.智慧停车.车联网等交通领域的前沿科技和最新产品. "交通一向被称为城市的'血脉',但仅靠多建道路.增添'血管'已不能解决城市拥堵的痼疾,要增加'血流'速度,提高交通效率,这就需