大数据工具指南:从选择到应用

通过部署和使用大数据分析工具,分析流程可以帮助公司提高运营效率,产生新的利润,获得竞争优势。企业可选择的数据分析应用程序有很多。比如描述性分析善于描述已发生的事情,揭示因果关系。描述性分析主要输出查询、报表和历史数据可视化。

另外,更复杂的预测模型和规范模型可以帮助企业获得商机,做出影响市场战略,提升客户体验,避免设备故障的决定。在预测分析中,历史数据集有了预测 分析,历史数据集可用于分析未来的状况和行为,规范分析承接预测分析,建议决策者采取某种行为。在很多情况下,先进的分析程序由于处理和数据存储的需求过 高,限制了它的发展,但这些缺点也不是不可克服的。大数据平台和大数据分析工具的流行,让预测分析和规范分析也能通过扩展,处理来自广泛数据源的大量数据 集。

大数据分析意味着什么?

本质上,大数据分析工具是能够支持运行在大数据计算平台上的预测分析应用程序和规范分析应用程序的软件产品。一般我们所说的都是基于商业服务器集 群,可扩展的分布式存储和技术的并行处理系统,比如Hadoop和NoSQL数据库。这些工具可以帮助用户快速分析大规模数据,有时能做到实时分析。

另外,大数据分析工具提供了使用数据挖掘技术分析数据、发现类型、使用分析模型的框架,来认识和应对特定的数据类型,提高业务流程。例如,大量的运 输数据,交通数据流,天气数据和供应商历史数据都可以用不同的数据模型来进行分析,用于优化特定地域内的运输线路,降低送货延误或损坏货物的风险。

大数据分析工具可以消化广泛的数据种类,包括结构化数据,比如关系型数据库中存储的交易数据,半结构化数据,比如Web服务器或移动应用程序文件,和非结构化数据,比如文本文件、文档、电子邮件、文本信息和社交媒体信息等。

大数据和高级分析工具

下面来介绍一下大数据分析的厂商,很多厂商提供支持分析流程的大数据平台和工具,比如数据集成、数据准备和其他类型的数据管理软件。我们关注能够满足下列要求的工具:

1)能应用高级的分析算法和模型提供分析

2)以大数据平台为引擎,比如Hadoop或其他高性能分析系统

3)能够适用于多种数据源的结构化和非结构化数据

4)随着用于分析模型的数据的增加,能够实现扩展

5)分析模型可以,或者已经集成到数据可视化工具

6)能够和其他技术集成

另外,工具必须包含必备的一些功能,包括集成算法和支持数据挖掘技术,包括(但不限于):

1)集群和细分:把一个大的实体分割拥有共同特征的小团体。比如分析收集来的客户,确定更细分的目标市场。

2)分类:把数据组织进预定类别。比如根据细分模型决定客户改如何进行分类。

3)恢复:用于恢复从属变量和一个及一个以上独立变量之间的关系,帮助决定从属变量如何根据独立变量的变化而变化。比如使用地理数据、净收入、夏日平均温度和占地面积预测财产的未来走向。

4)联合和项目集挖掘:在大数据集中寻找变量之间的相关关系。比如它可以帮助呼叫中心代表提供基于呼叫者客户细分、关系和投诉类型的更精准的信息。

5)相似性和联系:用于非直接的集群算法。相似性积分算法可用于决定备用集群中实体的相似性。

6)神经网络:用于机器学习的非直接分析。

这只是预测分析和规范分析的子集。另外,不同的供应商很可能提供不同的算法支持不同的方式。

高级分析市场

高级分析工具市场随着时间发展不断进步,不同成熟度的工具类型都可选择。有些来自历史悠久的传统厂商,比如IBM、Oracle和SAS。也有厂商通过收购有一定历史的工具,增强实力,比如微软、戴尔、Teradata 和SAP。

一些小公司也提供大数据分析产品,包括Angoss, Predixion, Alteryx, Alpine Data Labs, Pentaho, KNIME 和 RapidMiner,有时公司会开发自己的算法。其他采用了开源算法R语言,提供预测模型和规范模型能力,或使用开源Weka项目软件。

第三类产品就是开源技术。之前提到的R语言就是一个例子,还有Hadoop下的Mahout软件,以及Weka。

在一些情况下,尤其是大厂商,大数据工具往往被打包到大数据套装中。其他情况下,大数据工具会单独出售。在后者,客户需要自己将工具和已有的大数据 平台集成起来。大多数的工具都提供虚拟化界面指导分析流程,比如数据挖掘与发现分析,模型的判断和积分,与运营环境集成。在大多数情况下,供应商都提供帮 助客户搭建和运行软件的指导和服务。

谁在使用大数据和高级分析工具?

企业里的一些人着眼于探索设计新型预测性模型,另一些人关注将这些模型嵌入他们的商业流程中,还有一些人想要理解这些工具会给他们的业务带来什么整体变化。

数据科学家们,他们想使用更复杂的数据类型实现更复杂的分析,熟知如何设计,如何应用基础模型来评估内在倾向性或偏差。

业务分析师,他们更像是随性的用户,想要用数据来实现主动数据发现,或者实现现有信息和部分预测分析的可视化。

企业经理,他们想要了解模型和结论。

IT开发人员,他们为以上所有类用户提供支持。

所有这些角色通常都会在模型发展生命周期中共同合作。数据科学家将一套大数据集置于无目标分析的条件下,然后观察那种模式符合商业利益。在与业务分 析师一起检查模型工作方式,并评估出发现的每个模型或模式对于企业存在何种潜在积极效应,企业经理和IT小组这个时候就需要介入,来将模型嵌入或将模型整 合进商业流程,或者围绕该模型设计新流程。

但是从市场角度来说,考虑环绕大数据分析的业务种类是很有趣的。。许多大数据技术的早期用户都是网络公司(例 如,Google,Yahoo,Facebook,LinkedIn和Netflix)或者分析服务提供商。这些公司都依赖运行性和分析型应用,这些应用 需要引入高速数据流来进行处理、分析然后将结果反馈以持续改善表现。

在更为主流的产业中,对于数据扩展的胃口也越来越大,大数据分析也在这些更为普遍的企业人口中找到了位置。在过去,大规模分析平台的成本因素使得只 有超大型公司才能实现。但是,通用型主导的大数据平台越来越平易近人(如那些通过亚马逊网页服务实现的),而能实现大数据具象呈现的平台也越来越多,像 Hadoop本地一样不需要大量投资,降低的准入门槛。此外,开放数据集和社交媒体渠道提供的救火管数据供给的可获取程度为与内部数据集相混合的大规模数 据分析准备了原材料。

大型企业可能还是会选择高端大数据分析工具,但是低成本替代品在更加符合成本效益的平台上运作,使得中小企业得以评估和启动大数据分析恒旭,并取得预期的商业发展成果。

现在我们已经分析过了不同类型的工具和他们的用户,下一步就是要确定怎样用这些工具为公司谋利。看一看对于大数据分析不同案例下的使用,你就能开始理解如何权衡一般大数据分析能力来创造和增加价值。

本文作者:佚名

来源:51CTO

时间: 2024-10-28 08:55:13

大数据工具指南:从选择到应用的相关文章

大数据工具为企业提供更多数据分析选择

在云端部署大数据应用时,企业有各种各样的选择,而且选择的数量还在不断增加中.拥有更多的选择意味着IT团队也要做出一些重要的决定.他们应该信赖云设备还是自己构建必要的基础架构呢? 大数据云设备的第一波浪潮始于去年.Cloudera.EMC.Yahoo旗下Hortonworks.Infobright.MapR Technologies和YottaStor都加入了这场游戏. 使用大数据设备对于企业来说有很多好处,首先是便捷.但是通常第三方大数据工具的高成本驳斥了这个好处. "厂商配置了这些类型的设备,

ODCA发布厂商中立的大数据新指南

究竟什么是大数据?答案多种多样,其中Gartner著名的3V特征是最常被引用的定义--大数据是指高容量.高速度.多样性的信息,需要新的工具来管理.尽管如此,对于大数据的定义,仍然存在模糊,开放数据中心联盟(ODCA)试图通过其最新的"大数据消费指南"来帮助企业解答什么是大数据.为什么它会如此重要以及如何从中获益. ODCA创建于2010年,其主要目标是为云计算开发开放标准.在接受电话采访时,ODCA负责人表示,该联盟的"大数据消费指南"是对其云计算工作的合乎逻辑的延

最适合Java开发者的大数据工具和框架

文章讲的是最适合Java开发者的大数据工具和框架,当今编程人员面对的最大挑战就是复杂性,硬件越来越复杂,OS越来越复杂,编程语言和API越来越复杂,我们构建的应用也越来越复杂.根据外媒的一项调查报告,以下列出了Java程序员在过去12个月内一直使用的一些工具或框架,或许会对你有意义. 先来看看大数据的概念.根据维基百科,大数据是庞大或复杂的数据集的广义术语,因此传统的数据处理程序不足以支持如此庞大的体量. 在许多情况下,使用SQL数据库存储/检索数据都是很好的选择.而现如今的很多情况下,它都不再

Bossies:最佳开源大数据工具

处理大数据可能会遇到各种各样的问题,目前没有任何工具可以完美地处理这一切--即便是Spark.在今年的 Bossie开源大数据工具中,你会发现最新最好的方法是利用大型集群进行索引.搜索.图形处理.流处理.结构化查询.分布式OLAP和机器学习,因为众多处理器和RAM可降低工作量级. Bossie奖是英文IT网站InfoWorld针对开源软件颁发的年度奖项,根据这些软件对开源界的贡献,以及在业界的影响力评判获奖对象.本次InfoWorld评选出了13款最佳开源大数据工具,Spark.Beam都名列榜

Bossies 2016:最佳开源大数据工具

处理大数据可能会遇到各种各样的问题,目前没有任何工具可以完美地处理这一切--即便是Spark.在今年的 Bossie开源大数据工具中,你会发现最新最好的方法是利用大型集群进行索引.搜索.图形处理.流处理.结构化查询.分布式OLAP和机器学习,因为众多处理器和RAM可降低工作量级. Bossie奖是英文IT网站InfoWorld针对开源软件颁发的年度奖项,根据这些软件对开源界的贡献,以及在业界的影响力评判获奖对象.本次InfoWorld评选出了13款最佳开源大数据工具,Spark.Beam都名列榜

值得一试的4个大数据工具

如今,大数据越来越重要,因为企业需要处理来自多个来源的不断增长的存储数据. 采用大数据可以称之为一场完美风暴.廉价的存储和大量的结构化和非结构化数据的大量涌入,导致了诸多的大型数据工具得以开发,帮助企业"解锁"他们积累的数据,从客户记录到产品性能的结果等更多的数据. 像传统的商业智能(BI),这些新的大数据工具可以分析过去的趋势,并帮助企业识别重要模式,如特定的销售趋势.许多大数据工具现在提供了一个新一代预测和规范性的见解,以及深埋在企业数据中心的所有数据. 对于人们面临的挑战,调查机

三款大数据工具比拼,谁才是真正的王者

业内有这样一种说法,SQL虽然在大数据分析领域久经考验,但是无奈长江后浪推前浪,和炙手可热的Hadoop相比,SQL已经过时了.这个说法有点言过其实,现在很多的项目都是将Hadoop作为数据存储,然后利用SQL进行前端查询.这说明Hadoop需要一种高级查询语言的支持. Hadoop MapReduce虽然能够进行数据分析,但是太复杂了.于是,开发人员开发出了类似SQL的Pig和Hive. 大数据时代,我们有很多的查询工具可以选择.虽然SQL占据着绝对优势,但是随着大数据的持续升温,也给了Apa

观点:开源软件 大数据时代的最佳选择

在过去的12个月当中,大数据浪潮席卷全球各个领域.即使是最大的机构也缺乏基础设施.工具以及方法,这直接导致了企业缺乏从大数据中有效的提取关键数据并转换为洞察业务的能力.但现今大数据的世界正在发生变化.对于所有类型和规模的组织,海量的开源软件和低成本的硬件组合大大降低了大数据处理系统的门槛. 简单的说,开源解决方案允许组织在短时间内将集群发展到成千上万台服务器的规模,以便更好地支持大数据的服务.并且只需支付所用资源的开销.而以下几点也充分说明了开源软件是大数据时代最好的选择. 1.包含众多的大数据

贝恩:企业大数据战略指南

拥有优秀大数据能力的企业,做出正确决策的可能性高出竞争对手3倍.决策速度比竞争对手快5倍. 当某在线视频网站准备推出自制剧的时候,评论家纷纷嘲笑他们把握观众品味的能力.很难有谁会想到,该公司通过分析其积累的多年用户观影偏好的大数据,来指导制片人.主演选择和编剧内容并一炮走红,帮助其在一个季度内获取数百万新增用户,并在接下来的一两年内里获得数倍的股价提升. 打造大数据战略的四大挑战 我们正在迎来一个数据爆炸的时代:各类设备和互动产生的数据量正以年均大于50%的速度增长,预计在2020年可能会达到4