从头认识“快数据”

  互联网业务和技术的发展迎来了信息革命新的高潮,所带来的除了更加高效的生产和消费模式外,还带来数据的爆炸式增长。移动互联网和物联网浪潮下的数据规模与产生速度更是前所未有地加快,相应产生的数据存储、处理、分析、展示的技术与工具也层出不穷。传统企业已经具备对现有系统流程和数据比较成熟的生产和获取方式,然而如何对曾经被忽视和丢弃的数据,利用分布式、基于内存等新型技术,同时整合企业现有数据和分析结果来实现业务创新和增强,是急需解决的问题。

  大数据[注]的初始阶段,价值往往呈现出稀疏的特点,企业常常需要“沙里淘金”。在当今时代,存储海量数据的成本虽然已经降低,但从海量数据中获取价值却是昂贵的,而要及时获取价值则更加昂贵。因此,越来越多的企业选择构建大数据实时计算框架,以期从中获得实时的数据洞见,“快数据”的概念也因此应运而生。

什么是快数据?

  大数据的概念本身比较抽象,一个比较有代表性的是 4V 定义,即认为大数据需满足 4个特点:规模性(Volume)、 多样性(Variety)、高速性(Velocity) 和价值性 (Value)。而快数据则是为了实现高速性(Velocity) 而产生的。“快”来自一些众所周知的法则:时间就是金钱,数据的价值也具有时效性,数据的价值随着时间折旧越快。下表给出了不同业务处理数据快慢的比较。

  从数据分析的技术实现视角分析,目前的大数据处理可以分为如下三个类型:

  复杂的批量数据处理(batch processing),常见的实现框架如Hadoop/Mapreduce,数据处理的时间跨度在数十分钟到数小时之间。

  增强的历史数据的交互式查询(inter-active query),常见的实现框架如Dremel/Impala,数据处理的时间跨度在数十秒到数分钟之间。

  基于实时事件数据流的数据处理(event streaming processing),常见的实现框架如Oracle CEP、Strom。数据处理的时间跨度在数百毫秒到数秒之间。

  以上的三种方式,最符合快数据定义的是第三种。基于实时事件数据流的数据处理不光是能够提供更快的数据处理效率,而是采用了一种完全不同于离线批处理的模式。这两种处理模式,批处理(Batch Processing)是先存储后处理(Store-then-process),而流处理则是直接 处理(Straight-through processing)。这两种处理模式相辅相成,在企业构建大数据处理框架时都非常重要。一些成熟的企业在处理数据时,会把数据处理服务分成几层。一方面是重要程度,一方面是处理时效要求,比如“快数据紧急”、“快数据不紧急”和“慢数据重要”等。快数据从本质上意味着数据处理接近实时决策的能力,改善业务决策所花费的时间,流处理模式则给系统业务创新带来了更多的想象空间和创新空间。

快数据有怎样的应用场景?

  人类社会的数据产生方式大致经历了3个阶段,正是数据产生方式的巨大变化才最终导致大数据的产生:

  1、运营式系统阶段。数据的产生大都为运营系统产生,数据也大都是运营相关的数据。这种数据的产生特点是被动的。

  2、用户创造内容阶段。互联网的发展尤其是电子商务和Web2.0的发展带来数据新的爆发阶段。互联网电子商务的发展产生了大量的用户行为数据,这完全不同于被动式运营系统所产生的数据。Web2.0的最重要标志就是用户原创内容(UGC, User Generated Content)。这个阶段数据的产生特点是主动的。

  3、感知式系统阶段。今天我们正处于这个阶段的起点。这个阶段产生的核心原因在于移动互联网和物联网的发展兴起。随着技术的发展, 智能手机、可穿戴设备以及微小的带有处理功能的传感器日益成熟,各种原来“死”的设备,现在都能自动生成、采集数据,就连我们人类,也因为携带智能设备,每一次位置变化和设备使用都会产生大量可用于分析的数据。这种数据的产生特点是自动的。

  简单来说,数据产生历了被动、主动和自动三个阶段。这些被动、主动和自动的数据共同构成了大数据的数据来源。

  快数据可以在下面四大领域帮助企业客户:

  •帮助企业提升客户体验。传统的被动型系统会丢弃很多与业务存储以及统计分析无关的数据。而快数据能够有机的和传统数据以及Hadoop类型大数据进行有机的结合,帮助企业更好的建立全视角用户视图,开发出用户驱动型的产品,提供客户导向型的服务。快数据弥补了原来用单一数据库和Hadoop平台构建全视角用户视图的制肘之处。

  •帮助企业优化运营。传统企业IT运营往往缺乏把握在线营销时机的能力。在客户行为事件发生的恰当时机,以最了解客户的形式展开营销。同时,在社交媒体追踪对地点、用户和产品的提及信息,分析产品、用户、品牌之间的关联,从而优化其内部产品与服务提供的准确性,进行跟有针对性的线上和线下(O2O[注])产品推荐是传统企业最重要的运营能力创新。

  •帮助企业优化资源。通过智能设备的数据采集技术,可以实现企业对所需资源的精准优化,优化资源使用效率。在企业在运营过程中,用户产品所需要的每一种资源的具体使用情况和分布等,企业都可以进行搜集分析,就如同“电子驾驶舱”一般,实现“点对点”的数据化、图像化展现。快数据让企业的管理者管理优化企业资源的方式从“T+1”进化到“T+0”,可以更直观高效地管理自己的企业。

  •帮助企业拓展服务。快数据让企业将自己的服务时机与地点拓展到客户生命周期的每一个要点。企业还可以借助社交媒体中公开的海量数据,通过快数据趋势分析舆情侦听技术、分析数据内容之间的关联度等,进而面向社会化用户开展精细化服务。

如何分辨企业是否需要“快数据”?

  随着大数据已经成为IT业界炙手可热的话题(+微信关注网络世界),所有企业都希望尽早部署自己的大数据战略,也希望通过“快数据”获取实时数据分析能力。然而,如何分辨企业是真的需要“快数据”还是仅需要狭义的大数据解决方案?这里甲骨文提出快数据项目三问帮企业做出正确决策:

  •数据分析的结果如何反作用于应用系统?

  •数据是连续不断的而且有顺序、窗口、时机等要素,是来源众多的且有不同格式,数据量大但不关心存储吗?

  •是否考虑三个第一:能否在第一时间,客户的第一接触点上,作出第一反应?

  如果企业可以正确认识以上问题并根据自身实际情况给出肯定的答案,那么“快数据”是企业的一个良好选择。常见的快数据处理场景包括事件驱动营销与推荐,基于位置的服务,交互式营销,客户维系挽留,风险预测与评估,性能管理,媒体侦听与响应,智能设备采集分析,金融量化交易与风险管理。

  甲骨文认为,为了得到全面、透彻、完善的市场洞察,大数据应完全覆盖传统数据、非结构化数据、流式数据和快数据,共同为企业构建全数据视图,提供全面的信息支撑。因此,“快数据”始终是甲骨文大数据解决方案中重要的一环,也是未来的一大关键方向。

  甲骨文具备完整的数据“流程”方案:从Oracle大数据一体机、Oracle大数据连接器、Exadata 数据库云服务器、Exalytics商务智能云服务器,再到Oracle Endeca Information Discovery、Oracle实时决策、Oracle事件处理、R语言,尤其是强大的Oracle数据库与中间件,构成了大数据从捕获、存储、计算、处理、分析、发现、展现等全生命流程处理,能够帮助企业有效应对数据海洋,获得分析洞见。

时间: 2024-09-20 00:11:36

从头认识“快数据”的相关文章

快数据:大数据发展的下一个起点

大数据之所以能够坐拥一个"大"字,主要依靠源源不断且态势稳定的输入数据流.在大容量环境之下,数据的积累速度往往十分惊人,不过其分析与存储仍然困扰着不少用户. VoltDB公司软件架构师John Hugg认为,相对于传统为后续分析提供数据的简单存储机制,也许现在我们已经步入了历史的新阶段--在这里,系统完全有能力利用Apache Kafka等工具在继续保持高速数据输入的同时实现分析. -- Paul Venezia 就在大约十年之前,我们还几乎无法想象利用商用硬件对PB级别的历史数据加以

快数据:大数据后的下一个热点?

我们在生活或工作中会碰到以下情景:公司的女神安娜一直喜欢吃哈根达斯冰激凌,几乎每天要买一杯,但某一天,她却拿着一个DQ冰雪皇后品尝得津津有 味:公司屌丝程序员李甲上班早,加班多,完成任务代码质量高,公司团建活动也积极参与,连续多个季度是公司的优秀员工,突然某一天,态度坚决提出离职,说 要回家支教. 我让从事大数据服务的朋友来预测和解释,朋友讲,如果按大数据基本算法推测,女神安娜是不会吃DQ的,因为她的行为数据已经表明,她会继续吃哈根达斯:同样,行为大数据分析得出,程序猿李甲很快会晋升为研发经理或

大数据的下一站:快数据?

摘要,:当我们所 有的行为数据都联网, 在云端,我们的下一步应该可能会做什么"大数据"都可以分析后做出预测,但或许这仅仅只是预测,因为"偶然".因为"人的思维"等种种原因,很 多时候,人类不按常理出牌,这样的话,你的数据还能准确的预测出你的行为吗?答案或许是可以的,只是不完全是大数据,而需要快数据!大数据的下一站:快数据?我们在生活或工作中会碰到以下情景:公司的女神MM一直喜欢吃哈根达斯冰激凌,几乎每天要买一杯,但某一天,她却拿着一个DQ冰雪皇后

【Spark Summit EU 2016】Apache Kudu&Spark SQL:对快数据进行快速分析

本讲义出自 Mike Percy在Spark Summit EU上的演讲,主要介绍了Cloudera开发的大型开源储存引擎 Kudu,该引擎用于储存和服务大量不同类型的非结构化数据,并且介绍了使用Kudu+Spark SQL对于数据进行快速分析的方法,并分享了多个使用Kudu+Spark SQL进行数据分析的实际案例.

在JSP页面中实现检索数据的分页显示

js|分页|数据|显示|页面     在页面中,当检索的数据很多时,通常需要分页显示数据,并要实现翻页. 下面将通过一些例程来说明实现JSP页面翻页技术的实现. 首先,在JSP中,通过JAVA servlet 来检索数据,而用JSP来调用结果来显示. 因而,此技术可分为两个部分(依赖关系): 1. 在服务器端的servlet 中的实现 要点: &将查询条件保存到session中,取session中的查询条件 &设置Statement对象的MaxRows(确定一页显示多少行数据) &

怎样才算大数据(之三)

天下武功,唯快不破.这句话滥觞于<拳经>,经过雷军等人的演绎,几乎成了互联网时代商业致胜的不二法则.那么,大数据的快又从何说起呢? 话说道哥(Doug Laney)当年创立三V经,背景是电子商务:Velocity衡量的是用户"交互点"(Point-of-Interaction),如网站响应速度.订单完成速度.产品和服务的交付速度等.假设交互点是一个黑盒子,一边吸入数据,经过黑盒子处理后,在另一边流出价值,那Velocity指的是吸入.处理和产生价值的快速度.随后"

2014年值得关注的十个Hadoop大数据创业公司

开源大数据框架Apache Hadoop已经成了大数据处理的事实标准,同时也几乎成了大数据的代名词,虽然这多少有些以偏概全. 根据Gartner的估计,目前的Hadoop生态系统市场规模在7700万美元左右,2016年,该市场规模将快速增长至8.13亿美元. 但是在Hadoop这个快速扩增的蓝海中游泳并非易事,不仅开发大数据基础设施技术产品这件事很难,销售起来也很难,具体到大数据基础设施工具如 Hadoop.NoSQL数据库和流处理系统则更是难上加难.客户需要大量培训和教育,付费用户需要大量支持

从马云的&quot;DT时代&quot;到林奇的&quot;数据产业&quot;

阿里巴巴集团董事局主席马云最早提出"DT时代"这一概念,是在2014年3月在北京举行的一场大数据产业推介会上.在之后的多个场合,马云对"DT时代"做出了系统解读.他认为,人类已经由IT时代进入了DT时代,数据正成为最核心的资源,甚至在未来,数据可能会成为像水.电.石油一样的公共资源. 如果说马云的"DT时代"宣布了IT时代的式微,并给我们描述了大数据洪流汹涌而来的壮观宏大的话,那么近日游族网络董事长.首席执行官林奇提出"数据产业&quo

透析:大数据与商业决策究竟是何关系?

今天,我们正处于决策成本产生巨变的爆发点,过去那些想尽办法都无法获取的数据,在今天唾手可得,而当有些表面上完全不相关的行业数据关联起来时,居然产生了新的商业价值.更重要的是,过去,我们更多地是带着问题去寻找能够验证自己观点的数据,而今天我们却可以使用数据去预测可能出现的问题.海量数据可以使人的智慧得到更大的发挥,并变得更加规模化.大数据的本质是人,数据研究的极点就是莫测的人性.我们一旦掌控了数据之后的数据,就会拥有制胜未来商业的无敌利器. 假定数据是脏的 在处理数据的时候,会像污水处理厂一样,每