聚焦大数据收益 主流Hadoop用户有话说

证明大数据应用和平台业务价值的需求在主流组织中占据了重要地位,对于IT和分析经理们来说,获取数据价值并非易事。

例如:对于密歇根的Blue Cross Blue Shield公司来说,大数据部署并不是一时冲动的决定。

Beata Puncevic是这家医疗保险公司分析总监,负责数据工程和数据管理,她说:“对于很多像我们这样的组织,大数据还没有成为运营业务的核心基础。如果你去对很多人(主管)讲,让他们在大数据平台上投资,你是很难与他们产生共鸣的,这是很大的挑战。”

Puncevic认为,对于Blue Cross公司和其它医疗保健企业,这些挑战包括低利润率、资源和技能储备问题,还有相对保守的文化问题。低利润使得很难为技术创新留出钱来。她和她的同事们不得不做很多额外的努力来获得Hadoop数据湖的审批和资金。

Puncevic组建了团队针对数据湖项目开发了投资回报率框架,评估大数据项目的益处。在构建业务案例的过程中,她还关注了三类与IT有关的改善,包括:降低数据处理和管理成本,建立更深刻的分析,创建更灵活和适应性的技术架构。

此外,Puncevic说她在争取获得公司资金支持,用于本阶段项目和后续项目阶段。“因此,我们不必担心为了大数据策略的各种方面从个别业务单元获取资金的问题”。

这种策略很有效,这家底特律的保险公司已经启动了未来三到五年的大数据平台建设规划。Puncevic上周在美国加州San Jose举办的2016 Hadoop峰会上说,大数据的好处对于整个医疗行业来说是“潜力巨大的”。除了节省IT开支,她还提到了降低医疗成本的益处,同时可以改善患者就医体验,促进医学预防工作。所有这些都是通过更好的分析获得的。

利用大数据获益之路

大数据的价值为Progressive Casualty保险公司及其车险客户也带来了绝对真实的价值。Brian Durkin是该公司企业架构组的创新战略师,他说Progressive公司使用Hadoop集群增强了Snapshot项目,基于从车辆收集到的运行数据奖励安全未出险驾驶员购险折扣。Durkin在另一场分会上表示,自从2008年该项目启动以来,该保险公司已经发放了价值超过5.6亿美元的折扣优惠。

他说:“这不是科学实验,而是已经在真实发生的事。我们在这方面全身心投入,这对我们的客户也很重要。”

为了跟踪参保驾驶员并计算折扣,该集群环境需要收集大量数据进行处理和分析,他们的集群环境与Blue Cross公司的是类似的,都是基于Hortonworks Hadoop分布式框架的。Progressive公司已经收集了24亿数据,集群留存了所有信息。为了分析驾驶模式,识别坏习惯驾驶的司机并警示他们,Durkin认为:“越旧的数据越有价值。所以他们留存了所有数据并对所有历史数据进行分析。”

处理数据需要大量处理资源,Progressive公司部署了许多高级分析工具供公司数据科学家使用,包括SAS、R编程语言和H2O。Pawan Divakarla是该保险公司在美国俄亥俄州Mayfield Village分部的数据和分析业务负责人,他表示许多业务主管们都乐意为此买单。

他说:“我们公司完全是数据驱动的公司,我们希望人们有主观动机和想法,但是他们需要用数据证明他们的想法。”

Hadoop的高价值应用

零售商Macy公司运行了BI和分析应用,也是基于Hortonworks的Hadoop系统,他们为此支持营销、销售计划、产品管理和其它业务运营。每天都有成千上万的商业用户访问数以百计的BI仪表盘,这是他们做决策需要使用的关键功能。

Chakrapany说:“你不会只想看到Hadoop用作廉价存储解决方案的,它的价值原不止于此。”

Hadoop仍然在逐渐走向成熟,目前还有一些功能比较粗糙。他提醒说,使用Hadoop的新用户应该了解到它有一些不稳定性,有些IT管理功能也不太完善。“如果你认为它是绝对可靠的,那么这种想法是不正确的”。他说,尽管如此他还是认为Hadoop可以真正成为企业级的数据分析平台供Macy公司使用。

但是,Chakrapany并不认为从大数据分析和基于Hadoop的BI应用获益是理所当然的事。去年,他组建了团队在内部宣讲大数据环境的优点,希望游说更多业务单元使用它。他的团队还跟踪Hadoop平台产生的业务价值,包括定性和定量两方面。

Chakrapany说:“我们不想只是统计用户数量和查询数量,统计分析了多少数据,那些只是数字。关键部分在于,这些数据给企业带来了哪些帮助。”

====================================分割线================================

本文转自d1net(转载)

时间: 2024-11-12 12:27:34

聚焦大数据收益 主流Hadoop用户有话说的相关文章

大数据利器:Hadoop的十大应用场景

本文讲的是大数据利器:Hadoop的十大应用场景,谁在用Hadoop?这是个问题.在大数据背景下,Apache Hadoop已经逐渐成为一种标签性,业界对于这一开源分布式技术的了解也在不断加深.但谁才是Hadoop的最大用户呢?首先想到的当然是它的"发源地",像Google这样的大型互联网搜索引擎,以及Yahoo专门的广告分析系统.也许你会认为,Hadoop平台发挥作用的领域是互联网行业,用来改善分析性能并提高扩展性.其实Hadoop的应用场景远不止这一点,深入挖掘的话你会发现Hado

探索大数据世界 主流大数据厂商盘点

文章讲的是探索大数据世界 主流大数据厂商盘点,在当前的互联网领域,大数据的应用已经十分广泛,尤其以企业为主,企业成为大数据应用的主体.大数据真能改变企业的运作方式吗?答案毋庸置疑是肯定的.随着企业开始利用大数据,我们每天都会看到大数据新的奇妙的应用,帮助人们真正从中获益.大数据的应用已广泛深入我们生活的方方面面,涵盖医疗.交通.金融.教育.体育.零售等各行各业.       目前国内外做大数据的厂商依旧分为两类:一类是正进行数据库和数据仓储业务的老牌厂商,他们打算利用自身优势地位冲击大数据领域,

在大数据里:Hadoop可能是你的救命稻草

文章讲的是在大数据里:Hadoop可能是你的救命稻草,用于数据分析的开源Hadoop架构的巨大增长是由其结构化和非结构化数据量的增长所驱动的,并且很多权威组织也预测,未来Hadoop架构还将继续增长,并需要复杂的可访问工具来从数据中提取业务和市场信息. 对于Hadoop来说,前景很乐观--开源框架旨在促进巨大数据集的分布式处理.Hadoop对企业越来越具有吸引力,因为它既可以获取大数据的好处,同时又避免了基础架构费用. 联合市场研究部门最近的一份报告表明,Hadoop市场将实现从2013年到20

CIO-CTO俱乐部观点激荡 聚焦大数据

本文讲的是CIO-CTO俱乐部观点激荡 聚焦大数据,"大数据"这一话题对从事IT行业的人们来说并不陌生.大数据被称为继云计算之后,最受瞩目的技术,也同云计算一样铺天盖地而来,"落地"得有些慌乱.在实践中我们的CIO.CTO和IT经理们是怎样针对大数据进行数据挖掘和商业智能的呢?或许你可以在第二期IT168 CIO-CTO俱乐部中找到答案或者共鸣. 2012年5月30日,由IT168 CIO-CTO俱乐部发起的第二期暨大数据时代下数据挖掘与商业智能应用研讨会在北京深圳

知意图大数据一体机诠释Hadoop简单之美

[IT168 资讯]2012 年12月3日消息,在北京开幕的HBTC 2012 (Hadoop 与大数据技术大会 2012,原 Hadoop in China) 技术盛会上,云集众多学者.企业用户以及技术领袖.大会发扬开源精神的角度,联合国际和国内 Hadoop 及大数据应用的产学界人士和成功企业,通过技术应用审视大数据技术生态系统的现状和发展趋势,围绕大数据处理.信息检索.内容挖掘.自然语言理解.数据可视化.计算广告学.地理信息系统等相关技术主题进行探讨,充分促进 Hadoop 与大数据技术在

2014年大数据应用:Hadoop正处于上升期

文章讲的是2014年大数据应用:Hadoop正处于上升期,根据最新的Forrest报告,有很多公司都在努力挖掘他们拥有的大量数据,包括结构化.非结构化.半结构化以及二进制数据等,探索对数据的深入利用.下面是报告结论的其中一点: 大多数公司估计他们只分析了已有数据的12%,剩余88%还没有被充分利用.大量的数据孤岛和分析能力的缺乏是造成这种局面的主要原因.另外一个难题是如何判断数据是否有价值.尤其是在大数据时代,你必须采集并存储这些数据.一些看起来与业务无关的数据,如手机GPS数据,将来也可能是座

大数据新技能Hadoop有望高收入?

开源Apache Hadoop项目一直是个热门,这对于具备Hadoop及相关技能的IT求职者来说是个好消息. Matt Andrieux是旧金山Riviera Partners公司技术招聘部门负责人,他告诉我们对Hadoop及相关技能的需求在过去几年中呈直线上升趋势. Andrieux在接受电子邮件采访时还向我们透露:"我们的分析表明大多招聘企业是初创公司,它们正在招聘大量的工程师来帮助它们通过各种方式利用数据,让公司摆脱困境.很多公司都将它们的整个业务建立在数据收集和分析基础上,其实在任何行业

《Spark与Hadoop大数据分析》一一1.2 大数据科学以及Hadoop和Spark在其中承担的角色

1.2 大数据科学以及Hadoop和Spark在其中承担的角色 数据科学的工作体现在以下这两个方面:从数据中提取其深层次的规律性创建数据产品要从数据中提取其深层次的规律性,意味着要使用统计算法提炼出有价值的信息.数据产品则是一种软件系统,其核心功能取决于对数据的统计分析和机器学习的应用.Google AdWords或Facebook里的"你可能认识的人"就是数据产品的两个例子.1.2.1 从数据分析到数据科学的根本性转变 从数据分析到数据科学的根本转变的根源,是对更准确的预测和创建更好

《Spark与Hadoop大数据分析》——1.2 大数据科学以及Hadoop和Spark在其中承担的角色

1.2 大数据科学以及Hadoop和Spark在其中承担的角色 数据科学的工作体现在以下这两个方面: 要从数据中提取其深层次的规律性,意味着要使用统计算法提炼出有价值的信息.数据产品则是一种软件系统,其核心功能取决于对数据的统计分析和机器学习的应用.Google AdWords或Facebook里的"你可能认识的人"就是数据产品的两个例子. 1.2.1 从数据分析到数据科学的根本性转变 从数据分析到数据科学的根本转变的根源,是对更准确的预测和创建更好的数据产品需求的不断增长. 让我们来