大数据大规律

大数据正在改变我们的生活,影响我们思考和解决问题的方式,为了适应时代的潮流,组织必须学会用数据说话,如果坐拥大量的数据却束手无策或无动于衷,那和没有数据是一样的。但是,在进行数据分析时,完全的自我创造是不可取的,因为有大量可以遵循和借鉴的经验能节约大量的时间和成本。最近, OrionX.net 的联合创始人Shahin Khan 就发表了一篇文章,介绍了他的 团队从大数据、物联网和云计算市场上总结的经验和规律 。

保留数据的成本要比删除数据的成本低。另外,还要有多个备份。正因为保留了足够多的数据,大数据才成为可能,因此无论如何都不要删除数据,因为你不知道什么时候会用到它,删除这些数据会有哪些法律风险。保留数据的成本很低,另外,如果将来发生了什么事情,你也能从这些数据中找到证据。

无论开始收集数据的动机是什么,它们都会导致你收集更多的数据。大部分数据收集工作关注于正在进行的活动,但一旦知道了如何使用这些数据,获取更多数据的意愿就会增加。

大数据系统开始较小,但慢慢会变大,没有中间大小。很少有中等规模的大数据系统,一旦某个项目的理念被证明是有前景的,那么它很快就会变大,并在迅速发展的同时孵化新项目。

数据必须流向有价值的地方,要考虑功能的上下文有什么价值。未使用的数据是一种闲置的资产,很有可能会造成价值的贬值。如果将大数据看做是工作流,那么必须将数据流向最有价值的地方。

永远都不要假设你知道原因是什么,有什么影响。大数据的大部分应用场景都是有价值的,值得付出努力,但是它的因果关系非常复杂,数据的不完整、用户的偏见不可避免。

有关数据与无关数据之间的比率将逐渐趋向于零。数据有很多,但通常情况下大部分都是无用的,只有一少部分有价值。收集的数据越多,这种现象越明显,也就是说无关数据的增长速度要远高于相关数据的增长速度。

分析的最终目的是合成。分析完成之后便需要合成,当然这需要引入机器学习和认知算法。

时间=金钱=数据。数据是一种资产,虽然它可以升值,但大多数时候随着新数据替代老数据,历史数据的价值会越来越低,因为它的相关性会越来越差。所以必须知道数据的“利率”,知道它贬值的速度有多快。

容量大—速度快—种类多—价值密度低 vs. 不可再现—不相关—不完整—不正确。数据的质量直接影响数据挖掘的质量。

给你足够的数据,你就能证明事物的“正反两面”。数据量越大,从中找到有价值信息的难度就越大,数据的复杂性、不合理的动机和无知都可能会造成无效的结论;但另一方面,数据越多,支持假设的证据就会越充分,通过完全科学的方法,有时这种支持率甚至会逐渐接近100%。

大数据的结论开始通常是有趣但无用的,但最终会变成有效且有用的。在新媒体时代,有趣但肤浅的内容要比深刻有见地的内容多得多,价值挖掘需要对数据有深刻的理解,但这需要时间。

随着数据量的增长,大数据和 高性能计算(HPC) 需要结合在一起。

如果有200行数据,可以使用电子表格;但如果有20亿行数据,就必须使用HPC。此外,随着数据量的增长,还需要数学和科学的知识将数据转换成模型。

本文转自d1net(转载)

时间: 2024-11-03 07:33:46

大数据大规律的相关文章

大数据大带宽共绘大“云图” 第五届中国云计算大会在京开幕

中国云计算大会开到第五届,一切都在发生变化. 如果说前几届大会还在畅想和勾勒云计算的蓝图,2013年的大会在"大数据"和"应用与创新旗帜下","云图"浓墨重彩的渲染已经开始,正如在阿里云总裁王坚"2014,飞天云的蝴蝶效应"的演讲中所用的例子:通过阿里云平台的使用,博采的<昆塔>,国内首个"无限接近好莱坞标准的"3D动画,实现了从量到质的变化.高峰时候,<昆塔>使用6千台机器进行渲染

大数据=大泄密?信息安全需未雨绸缪

文章讲的是大数据=大泄密,信息安全需未雨绸缪,"你没有隐私,忘记这事吧.""大数据=大泄密",在今天看来,这不是耸人听闻.随着大数据应用变得越来越普遍,数据泄露问题也变得更加突出.近日,又连续传出了多起信息泄露事件. "全国东风雪铁龙网站后台的售前信息我都有,还可以提供即时的",一位黑客在网络上兜售车主信息,这是乌云平台近日发布的一则关于东风雪铁龙车主信息泄露的消息,据说或有10万车主遭殃,而造成此次泄露的原因就是官网漏洞.而就在不久前,乌云还提

高新区以“大数据+大生态”推进“千园之城”建设

在太阳湖畔品味大数据,在大数据中领略湖光山色. 9月14日,贵阳高新区太阳湖滨河公园之呼叫山庄正式"开门迎客".在这个大数据节点的周边,满是山水相间的秀丽景色.在这里,高新企业和滨河公园相辅相成,难分难离. 太阳湖滨河公园是贵阳高新区贯彻实施"大数据大生态"战略的重要举措之一,也是高新区推动"千园之城"建设的示范点.该公园位于贵阳高新区沙文片区大数据城,东北自麦架河青山路起,西南至麦架河青龙路止,全长8.3km,沿河打造有金甲广场.古树新韵.布谷

谈大数据 大数据的精髓在于“预测用户行为”

谈大数据 大数据的精髓在于"预测用户行为".它能够知道你的喜好,它能够通过你过去留下的行为,看过什么东西,浏览过什么网站,去过什么地方,喜欢什么吃的,就是说你在互联网上都留下了一些足迹,这些信息能够帮助大数据的服务商推进你有兴趣的信息,比如你在玩一个游戏,他会猜你喜欢什么样的游戏,它能推荐你什么样的应用和商品. 企业建立内部的数据平台已是大势所趋,但只有市场出现专业的数据平台实现数据的管理和交易,才能推动大数据快速发展. 未来移动互联网的发展更普及之后,我们可以看到,整个营销会迎来一个

提升大数据大生态产品供给水平

贵州省3月1日印发<关于推进供给侧结构性改革 提高经济发展质量和效益的意见>,指出贵州推进供给侧结构性改革的主要目标是,增强供给结构对需求变化的适应性和灵活性,加快实现发展方式.发展要素.产业分工和产品结构的转变,基本形成品种丰.品质优.品牌强的特色产品生产供给体系,使全省经济发生质的结构性重大变化. 贵州将着力提高优质农产品供给能力,推进工业转型升级,加快发展以山地旅游为重点的现代服务业,提升大数据大生态产品供给水平,降低企业成本,补齐短板增强公共服务供给精准性,强化托底保障,建设标准体系,

大数据大能耐:掌握6招为企业保驾护航

文章讲的是大数据大能耐:掌握6招为企业保驾护航,在这样的一个大数据飞速增长的时期,企业对用户行为习惯的关注度比以往任何时候都要高很多,这是可以理解的.只不过,我们很容易忽略该行业曾经在之前已探明的相关标准.但在此之余,有一点必须牢记,很多商人,甚至是C-level的企业高管并不了解大数据会对企业带来的变革及破坏性的威胁.直到这时,许多客户可能只是在浪费了很多钱. 当你正准备最大程度经营大数据的时候,往往只是包括收集大量的数据,然后寻找其模式和对其进行分析,这些是由廉价的存储.丰富的传感器和新的软

“大数据——大文化高峰论坛”探寻文化复兴路

首届"大数据--大文化高峰论坛"(简称"双大论坛")将于10月25日在上海宝山区举办.据悉,此次论坛由中国文化传媒集团国家文化产业发展促进中心.上海宝山科技园联合主办,上海宝山科技控股有限公司.中传华彩(北京)国际文化发展有限公司共同承办. "双大论坛"负责人表示,2013年被称为"大数据元年",信息技术已对文化创作.生产.传播与消费等领域产生深刻影响."双大论坛"的举办,一方面是为了解和把握当下高新技术发

首届“大数据——大文化”高峰论坛举行

2013年被认为是大数据元年,有人说,不管你愿不愿意承认,大数据时代已经到来:无论我们选择还是不选择,大数据技术进入文化领域已是必然.如今,信息技术对文化创作.生产.传播与消费的影响已经发生,新的文化形态和业态已经产生,大数据背景下的大文化大发展的潮流正在涌动.而什么是大数据,大数据有何技术特征,大数据与大文化之间如何融合,文化产业和公共文化应该以什么样的发展路径去应对大数据时代的到来,大数据会如何影响政府职能的转变等问题都有待进一步探讨.在此背景下,10月25日,首届"大数据--大文化&quo

大数据大营销暨2013乐居金项奖颁奖盛典圆满落幕

12月12日,2013年度"大数据·大营销暨宜居中国梦 乐居金项奖颁奖盛典"在万达嘉华酒店盛大启幕,来自哈尔滨各大房产巨鳄齐聚一堂,回顾2013年哈尔滨及http://www.aliyun.com/zixun/aggregation/5509.html">中国房地产市场的格局及变化,并一同展望3721.html">2014年楼市的发展趋势,探讨电商数据时代房产营销的发展方向.现场云集房企大佬.业界精英,其中,北京师范大学管理学院教授.北京师范大学房地产研

SAP HANA大数据大价值全球之旅上海起航

企业数据的海量增长为业务决策人员提出了新的挑战,云计算则改变了传统的IT服务器交付模式.如今市场环境变幻莫测,为了更加快速地对市场变化做出响应,企业迫切需要改进对业务信息的实时分析和处理能力,从而更好地制定业务决策. 为此,IT网络媒体公司TechTarget携手SAP.Cisco和NetApp,在上海举办"SAP HANA大数据大价值"全球之旅中国站高端论坛.邀请到来自Gartner的资深分析师,SAP.思科以及NetApp的技术专家互动解码,与企业IT决策人士交流分享,共同探讨如何