技术宅:大数据时代可能影响你的7个商业趋势

  我们已经看到了许多这样的案例出现企业愿意分享他们在大数据使用上取得的成就。在IT行业任何的范式转变(paradigmshift),一个特定的主题吸引新闻媒体、投资者和创新人才的大量关注,这个转变需求很强的商业价格的支持。这个典型的案例是:客户服务、分布式计算和以服务为导向的架构与语言,例如:JAVA.

  我们也看到了一个有益的生态系统的出现,迅速的赞美或扩展能力的核心支持技术,在大数据案例中,大数据生态系统已经迅速集中一批技术提供者。

  那么在大数据的生态系统中我可以看到哪些趋势会出现?

在hadoop上对于sql扩展性和一致性

  有一大批的技术公司努力构建一种no-sql技术,从而为大数据提供解决方案例如:hadoop。但是对于sql语言支持的深度与广度各不相同,然而使用 sql专业分析人员可以使用这些优点从而很好的通过sql语言来操作大数据。

  (译者注:由于目前的大数据存储都不是基于关系型数据库的,所以传统通过sql语言来操作数据的方式无法直接使用,例如:对于hadoop存储的数据是无法直接通过sql 来查询的。因而需要把传统的sql语言进行中间转换从而进行操作,例如:hadoop中hive,就是相当于将sql转换成MapReduce,从而去读取、操作hadoop上的数据。)

对于结构化、非结构化与半结构化数据的统一支持

  随时非结构化数据的增长,IDC公司预测了数据的数量,大多数据的将以非结构化的形式存储,每天将增长40%-50%.到2020年,总体的数据量将达到 40ZB.非结构化的数据主要来源于:邮件、论坛、博客、社交网络、POS系统和机器生成的数据。为了获取和分析这些大数据量的数据,创新人员必须扩展他们的大数据解决方案,而不能仅仅适用于其中一个。

优化检索

  从海量的数据中发现之前用户的真正搜索需要,在之前就像大海捞针基本上不可能的。但是随时时间发展,越来越多把大数据的解决方案融入到检索支持中。在这方面中领先者有:LucidWorks,IBM,Oracle(其通过收购Endeca)AutonomyandMarkLogic。其中LucidWorks结合了一个开源的堆Lucene和Solr,Hadoop,Mahout和NLP。

ETL的扩展与支持

  许多人都认为hadoop最开始的使用安全是用于ETL因为其批处理的功能。然而,如果你看到基于etl解决方案进行与维护的复杂hadoop平台的所有的基础设施,你可以会使用其它的纯情etl工具(Informatica,Talend,Syncsort,CloverETL)来解决。多年来这些公司这些公司努力在建立最值组合的ETL解决方案,现在更多我们把其称作为:数据整合解决方案。

  纯粹的ETL提供商正努力为大数据提供解决方案。这些支持不难包括:ETL,而且包括ELT那些从hadoop内部转化为hadoop。这会使公司使用构建这样的环境,使用纯ETL的解决方案及 hadoop本身强大的功能。随着时间的发展,这些纯ELT的公司起的支持的大数据的解决方案范围包括从:NewSQL与NoSQL。

  另外,我期望许多的大数据解决方案公司可以嵌入对于ETL与ELT的支持,就像许多传统的数据库供应商已经通过嵌入或收购ETL解决方案。

大数据运动趋稳

  在我之前的文章写到,以Apache为开源框架的hadoop已被使用使用在以批处理为导向海量的分布式环境中,特别是以分析为背景的情况下。随时企业开始关注如何支配和利用海量的数据资源用于实时决策,我们预计会对于’大数据运动’影响和增长有重要帮忙。这个“落地”代表的实时的信息流用于处理大数据流,在各个行业:包括资本市场、医疗7、能源和社会化媒体。

增加数据挖掘和分析技术

  在大数据领域的行业领域者知道需要在他们平台上扩展在数据分析与统计功能的需求。除了一般的分析功能还增加非常的数据挖掘功能。TeradataAste包括很多的分析功能,具体包括支持统计、文本挖掘、图像、情感分析等。其它的公司例如IBMNetezza已经加入了对于R语言的支持,可以支持R的各类包,例如:并行运算算法包、矩阵相关包。未来我们可以看到大数据解决方案将会不断的大量增加这种功能。

从R语言中获利

  毫无疑问R语言将会是越来流行的开源统计语言。RevolutionAnalytics公司在开发用于“工业”使用的R版本上,性能上有显著的增强和满足其它企业的特征。更进一下,他们已经开发出了可以适用于hadoop、PureData的R扩展包。大学里也大量开设的R语言方面的课程,让更多的学生拥有使用R语言的能力,也让他们具备在处理复杂的统计分析方面的能力。可以预见R会被包括在许多大数据的解决方案中,而且会显著改进该语言从而让其有更好的性能。

  随着大数据生态系统的发展,相关的产业必然伴随其发展。在今天的市场竞争环境中,那些实施以数据驱动战略的公司将在竞争中取得优势。

时间: 2024-07-30 16:28:48

技术宅:大数据时代可能影响你的7个商业趋势的相关文章

大数据时代可能影响你的7个商业趋势

我们已经看到了许多这样的案例出现企业愿意分享他们在大数据使用上取得的成就.在IT行业任何的范式转变(paradigmshift),一个特定的主题吸引新闻媒体.投资者和创新人才的大量关注,这个转变需求很强的商业价格的支持.这个典型的案例是:客户服务.分布式计算和以服务为导向的架构与语言,例如:JAVA. 我们也看到了一个有益的生态系统的出现,迅速的赞美或扩展能力的核心支持技术,在大数据案例中,大数据生态系统已经迅速集中一批技术提供者,例如Hadoop,Cassandra,Accumulo,Orac

大数据时代到来 数据挖掘将改变生活和商业

3月31日下午消息,在今日召开IT领袖峰会"大数据时代"分论坛上,业内专家和科技领袖分别就大数据未来的发展前景展开了讨论,论坛嘉宾普遍认为,大数据的核心并非数据的体量,而是如何进行价值挖掘,大数据将改变传统的个人生活与商业模式. 北极光创投邓峰认为,大数据是云计算的一部分:金蝶徐少春认为,大数据并非新的概念,但移动互联网.云计算.社交网络等等新的技术给大数据带来了一种新的变革:汉能资本陈宏则认为,大数据是一个相对概念,数据量的巨大只是现象,核心是要挖掘数据的价值. 中投朱云来表示,大数

大数据时代:企业应该如何抓准消费趋势

我们今天处在大数据时代,有人说,大数据时代,我们点点鼠标,看看电脑,玩玩数据模型,就可以感知消费者,真的是这样吗?还有人说,不管是不是大数据,其实了解消费者都是很难的事情,特别是要了解消费趋势,就更难了.到底我们如何捕获未来的消费趋势呢?我想有些心得可以和大家分享. 消费者的心思有时候的确很难琢磨,特别在那些需要引领时尚又与人们的生活方式紧密相关的领域.但是,至今为止,消费者的研究却依然是获得产品创新的最佳途径.关键在于,是不是能够有好的方式和方法,由于消费者的需求常常是难以说清楚,是潜藏的,更

大数据时代的商业变革

对于众多企业管理者来说,"大数据"是一个熟悉又陌生的概念.在互联网行业蒸蒸日上的时代,传统企业和互联网企业的管理者对海量的数据规模和其爆炸性的增速毫不陌生,但却对不同来源数据交叉形成的"大数据"具有巨大的潜在价值这一事实将信将疑.事实上,大数据所积蓄的附加价值不仅超乎企业管理者的想象,更将掀起一场在商业模式和决策上的管理变革. 什么是大数据 数十年来,信息产生.组织和流通方式革命性的变化,其中个人用户第一次成为信息产生和流通的主体.QQ/MSN聊天.网络购物.信用卡

大数据时代的数字营销趋势

mbaonline网站曾发布了一个有意思的统计叫<互联网的一天>:一天内互联网产生的数据流量可以装满1.68亿张DVD光盘:上传到Facebook的照片打印堆积起来有80个埃菲尔铁塔那么高:上传到Youtube的视频时长可以不间断播放98年:在Pandora播放音乐的时长达到1.87亿小时,如果一台电脑从公元1年开始播放,到现在还没有播完-- 毋庸置疑,我们已经进入大数据(Big Data)时代,这些庞杂的数据是垃圾也孕育商机,而最先将这里数据挖掘清洗产生商业价值的,正是网络广告人.正如Fac

特斯拉和360大PK 大数据时代的确要防“黑客”

IT界的"刺儿头"360,最近竟杠上了http://www.aliyun.com/zixun/aggregation/6412.html">汽车企业.上周,360公司对外表示,其专业团队研究了 Tesla Model S 型汽车后发现,特斯拉汽车应用程序流程存在设计缺陷.攻击者利用这个漏洞,可远程控制车辆,实现开锁.鸣笛.闪灯.开启天窗等操作,并且能够在车辆行驶中开启天窗.于是,360公开"约架",通过比赛方式来让"技术宅"们找出

大数据时代来临

前言:最近读了很多大数据分析的文章,感觉大数据时代来临.哈佛商业评论也开了一个新的栏目叫做"大数据".整理了一下所有收藏并准备记录的大数据分析文章,本文是最适合做第一篇分享的.文章以案例为支持,讲述了大数据分析的4个基本点.文章记录完后,yoyo也根据与英雄联盟数据分析组负责人的聊天,记录一些对大数据分析的思考. http://blogs.hbr.org/cs/2012/10/getting_started_on_a_big_data.html Inspiration: Big dat

分析师:“大数据时代”的生存法则

在Talend Connect大会上,一名IT业内分析专家指出,企业若不抓住大数据带 来的机会,将很有可能在同行中遭到淘汰. Jeff Kelly是Wikibon.org的 首席研究员,也是SiliconANGLE的编辑.他说,诸如Hadoop和MapReduce这样的大 数据技术才刚刚起步:很多人由于技术有限或观念陈旧,仍然将它们拒之门外. 然而,在不久的将来,当软件使用门槛变低大量企业开始采用的时候,这些今天 已经采用了大数据技术的企业将再次占领高地.到那时,他们会具备更丰富的信 息来进行决

院士演讲:大数据时代的位置服务

 摘要: 中国工程院院士李德毅院士为大家带来<大数据时代的位置服务>的主题演讲,李德毅院士同时指出:大数据引发新理念,实践中的研究也许胜过研究中的实践,较多的数据也许胜过较好的算法  以"智慧城市与移动信息化"为主题的"第七届中国电子政务高峰论坛"于2013年6月23日在北京大学英杰交流中心阳光大厅隆重举办.本次论坛由工业和信息化部信息化推进司指导,北京大学信息化与信息管理研究中心主办,中央机构编制委员会办公室电子政务中心.北大CIO班教务办公室协办,C