人们将面临大数据无法进行预测分析挑战

文章讲的是人们将面临大数据无法进行预测分析挑战,你是否认为大数据时代会有足够多的信息来支持建立强大分析,其实不然。有的情况中即便大量数据也不能保证基本预测的正常运行。多数时间,我们没有做到更多的事,所以只能默默承受这事实坚持最基本的。这是为什么我们要讨论当面临大数据不能预测分析未来的挑战时的情况。

  场景一

  以某家航空公司制造商举例,事物很少却有大量数据就难找到有意义的模式。运行的飞机每小时产生数据可达千兆字节,发动机在不同条件下操作,分析操作数据好处很多。像是预测性维护,对于分析行为来说或许困难。

  在考虑不同模型的时候,一年中可能只有几十个模型被生产出来。纵使飞机全部装满传感器,也很难开发有意义的预测部件故障模型。因为只有几十或几百架飞机,样品的数量太小。对于新飞机来说,会加剧问题出现几率。尽管收集了PB的数据,但没有足够大事件池,有效预测模型就不能真正构建。不过数据是可以监测,但并不是预测模式。

  情景二

  大量的事物和人需要分析大量数据。出现罕见的事件时,会遇到没有足够的样本来构建真正有效的预测模型。并不是分析数据和理解行为各方面没有很多价值。

  再看计算机芯片的生产。全球每年产生数亿甚至数十亿片芯片,并且其速度在不断加快。几十年前,一千个或一万个的数量级缺陷可能是可以接受的。对于当今的芯片产品,其缺陷可能需要更接近百万级。曾经有客户提出,汽车行业面临着压力,需要将芯片缺陷率降低到十亿分之一或更低。因为如果实现这种低错误率,并且人们可以假设导致有缺陷芯片存在的原因,则对于任何特定的一组原因,其发生任何缺陷的实例会变少,人们可能没有足够的样本来分析,但能够产生良好的模型以预测这些失败可能发生的时间和地点。人们考虑到芯片技术将随着时间的推移而过时,在短短几年内被更新的产品所替代,因此,这可能是一个持续时间比较久的问题。

  然而这只是样本。随着数据来源越来越多,企业用多个因素分析业务,异常样本出现在组织内部。人们只需关注一个小的宇宙来分析,或者通过一个令人难以置信的稀有事件来分析。更糟糕的是,这种罕见事件是小宇宙中的。假设只考虑数据与业务问题相关的情况,而那些不相关的数据将永远不会增加价值,无论其数量多么大或多么小。

  当人们不确定自己的数据是否是有效预测时,请确保在用于开发数据的复杂分析之前投入更多精力,其评估可能是可行的。在某些情况下,人们可能需要解决基本分析问题。然而,重要的是要记住,这种情况应该比没有任何数据来分析更好。

作者:杨璐

来源:IT168

原文链接:人们将面临大数据无法进行预测分析挑战

时间: 2024-10-16 05:27:39

人们将面临大数据无法进行预测分析挑战的相关文章

Hadoop与大数据2015的趋势与挑战

大数据通常会引发商业智能的快速可用性,这主要归因于可靠的大容量数据存储和通过使用类似Hadoop的开源工具进行并行处理.通过大数据进行可预测分析和建模所带来的好处是非常多的. 根据IDC对2015年的估计,全球大数据市场(包括利用Hadoop进行高级分析)将会增至1250亿的规模.可以预见到企业在Hadoop顶端构建智能应用将是未来的趋势.让我们来对2015年大数据和Hadoop的趋势进行一番预测. 富媒体分析 企业希望能更多的基于视频,图片以及音频来进行分析.大公司已经开始利用这些富媒体分析来

大数据时代:预测未来5年各行业发展趋势

大数据及互联网思维给了人类做整体未来决策有了超越以往的前所未有的体系支撑,用今天大数据的思维去重新提升传统行业,将对已有行业的潜力再次挖掘,甚至彻底改变这一行业. 1.零售业 传统零售业对于消费者来说最大的弊端在于信息的不对称性.在<无价>一书中,心理实验表明外行人员对于某个行业的产品定价是心里根本没有底的,只需要抛出锚定价格,消费者就会被乖乖的牵着鼻子走. 而C2C,B2C却完全打破这样的格局,将世界变平坦,将一件商品的真正定价变得透明.大大降低了消费者的信息获取成本.让每一个人都知道这件商

传统制造业面临大数据的7种改变方式

文章讲的是传统制造业面临大数据的7种改变方式,中国是个制造业大国,在工业企业信息化.数据化.数据创新领域可以做的事情很多.应用数据的思维古已有之,如同所谓的互联网思维,其实几十年前的营销学原理就有涉猎.关键在于我们能通过适当的技术与工具把数据联结起来,进行分析,进行跨界创新应用.然而问题也跟着来了,制造业对大数据怎样看待和认识的? ▲图片来源于网络 制造业并不是信息化发达的行业,从流程的传统粗糙就体现出来.即便有现代化的设备,整体的信息化方案多数也是高科技企业类似某些设备的制造商以及代工厂商.在

浅析传统关系数据库面临大数据的挑战

文章讲的是浅析传统关系数据库面临大数据的挑战,什么是大数据?多大的数据量可以称为大数据?不同的年代有不同的答案.20世纪80年代早期,大数据指的是数据量大到需要存储在数千万个磁带中的数据;20世纪90年代,大数据指的是数据量超过单个台式机存储能力的数据;如今,大数据指的是那些关系型数据库难以存储.单机数据分析统计工具无法处理的数据,这些数据需要存放在拥有数千万台机器的大规模并行系统上.大数据出现在日常生活和科学研究的各个领域,数据的持续增长使人们不得不重新考虑数据的存储和管理. 随着社会计算的兴

大数据也能预测流感?!

据日本 NHK 网站报道,只要用自己的 Twitter 账号登录这个神奇的网站,就可以通过数万条 Twitter在短时间内找出可能感冒的人,并通过过去和今日的感冒情况进行分析统计.另外,该程序还会结合气温和湿度的变化来预测将来感冒的流行情况,这些会通过一个 "易感冒日历"来表达.目前,此类服务正在日本陆续展开.据了解,该服务器由一家医药品制造 SS 制药公司 (エスエス製薬)运营,该公司表示,通过这个服务器的分析,大家就能够知道在自己身边到底有多少人有感冒的症状,并提前做好预防工作.

巴西7:1后 百度大数据还能预测些什么?

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 7:1,日耳曼战车把桑巴军团虐到爆.庄家又一次玩坏了大家.黄健翔再一次发出了激情的怒吼,丹特,你丫就是一内鬼!一场比赛,不仅让肥罗纪录作古泪奔无语,更让K神的励志鸡汤传遍微信朋友圈. 其实,巴西输给德国,早已被大数据预测.虽然谷歌.微软.高盛都在扮演章鱼保罗,跟乌贼刘抢生意.但淘汰赛14场全部命中的,只有百度和微软,此前的小组赛百度的准确率也

走向成熟!2017年大数据发展趋势五大预测

2016年已经过去,这一年中大数据领域风云变幻,亦留下众多趋性迹象供我们探究与参考. 以此为基础,我们整理出2017年的五项大数据发展趋势与预测结论. 1.云端大数据成为主流 2016年是云计算全面普及的一年.尽量初期企业客户曾就隐私与安全等问题选择观望,但随着云环境在可用性.使用成本以及性能表现等优势领域的全面冲击,人们最终开始立足于云进行大数据项目测试--主要通过构建新应用等新建型项目.在2017年,相信这一趋势还将继续保持并放大,并推动云计算与混合数据架构的快速成熟.我们认为,最终企业客户

聚焦未来五年 全球大数据市场规模预测

文章讲的是聚焦未来五年 全球大数据市场规模预测,全球大数据市场将在未来五年内迎来高达26%的年复合增长率--即从今年的148.7亿美元增长到2018年的463.4亿美元.这一预测结果来自研究企业MarketsandMarkets公司发布的一份最新报告. 报告指出,推动市场快速发展的主要动力来自众多企业对于升级业务流程.强化绩效与执行效率的迫切渴望.其它关键性因素还包括非结构化数据总量的持续增长以及对先进预测分析功能的强烈需求. 硬件及软件IT解决方案供应商们希望在这片欣欣向荣的新兴市场中取得竞争

大数据为各国信息安全带来挑战 美率先采取措施

刚刚过去的2013年被媒体称为"元年".大数据(Big Data)是继云计算.物联网之后信息技术领域的又一次颠覆性变革,同时也拉开了全球网络空间争霸的帷幕.各国相继调整信息安全战略,将大数据置于重要地位,以夺取"信息优势"和"国际话语权".相关发展动向如何?请看科技日报特约专稿-- 据美国战略之页网站1月5日报道,自2009年以来,美国海军一直在研发和测试一系列微型机器人潜艇.这些潜艇在水下自动运行,收集盐分与温度数据,每隔1小时左右短暂浮出水面