一线用户谈大数据面临的最大挑战

Klout公司正在利用数据分析来了解人们在社交网络的影响力,该公司首席技术官Virendra Vase表示:“我们基本上是位于社交网络上面,收集所有信息,帮助人们理解以及认识其影响力。”

这个工作每天需要处理来自超过4亿用户的120亿数据信号,Klout的大数据环境包括开源平台Hadoop、以及Hbase、Hive、ElasticSearch、Scala、Storm、Node.js和其他工具。

Virendra Vase

Rachel Higham

Vase最近谈到了Klout学到的一些大数据教训。保险公司ACE Group公司首席企业架构师Rachel Higham,Tenet Healthcare公司消费类应用程序副总裁Brian Barnes也分享了他们的大数据技巧、窍门以及遇到的问题,下面让我们来看看他们分享的内容:

数据量使测试、存储和计算复杂化

庞大的数据量使测试成为一个挑战。处理非结构化数据格式和社交媒体导出的数据(例如140个字符的微薄)也不是简单的事情。当涉及存储时,更多的数据并不总是更好。他提醒说:“我们必须要弄清楚:我们需要保存什么样的数据?我们需要归档哪些数据。在最后,并不是关于数据,而是关于我们如何分析数据。”

技术成熟度是一个挑战

Vase警告说,很多大数据技术仍然在开发中。虽然这些基础技术正在日趋完善,但用于管理和配置的工具仍然处于起步阶段,这让IT专业人士不得不应对这种差距。他表示:“我们需要从管理的角度、从工作流程的角度、从配置的角度来开发攻击。”

模块化

对于Klout来说,模块化的基础设施很重要,因为这允许IT团队处理业务优先级变化,并提供业务透明度。他重申,企业需要投资于管理和生产力工具。“这正是我们的20%和25%工程资源侧重的地方--生产力工具和工作流程管理。”

努力发现人才

大数据工具正在快速发展,而供应商支持并没有完全到位,这使得寻找大数据人才成为挑战。“我们很难找到人才,我们只能聘请优秀的工程师,并对他们进行培训。”

大数据专家与业务专家合作

我们经常谈到让大数据专家与产品专家以及业务专家紧密合作,但这说起来比做起来容易,这件事情仍然难以贯彻,但双方都需要了解另一方。

ACE集团已经很善于利用大数据分析来发现风险和欺诈模式,识别新的商业机会,以及了解客户情绪。Higham表示:“我认为我们学到的最大经验是:在企业内传达我们的意图、愿景以及成功案例”。

定义一个愿景,教育领导班子

“我们花了很多时间来发现大数据可运用的领域,例如在我们的承保和理赔流程中,并向业务部门进行解释,”Higham表示,“这为我们确定了两个概念证明,现在我们已经运用到更多领域,并且进一步运用一些大数据工具和技术。”

建立督导组

ACE集团的督导委员会负责领导该公司的大数据项目,令人惊讶的是,其中并不完全是技术人员。“其中包含4名技术人员以及大约20名企业领导。”

在开始项目前,配备数据和人才

Higham表示:“我们投资的关键事情之一就是在开始项目之前,准备技能和资源,如果没有这些,我们将无法为业务提供价值。”

散布企业内的人才

ACE集团的大数据专家分散在整个企业,“我们在整个企业都建立了核心竞争力,在企业中配备了新的技能人才,包括统计人员、数据筛选人员、数据分析师、流程专家等。这种协作能够帮助我们收集资源、分享技能,以及不断发展和创新。”

不要低估供应商管理或者系统集成

对于Vanguard Health Systems而言,大数据分析的最好方法是利用8个供应商的方法,“我们使用8家供应商的解决方案,因为没有供应商提供即用的解决方案。”供应商管理是一个挑战,集成所有不同系统也是挑战。

单独评估投资回报率

美国第二大医疗保健网络Tenet Healthcare利用大数据分析来改进和验证营销活动的有效性。当大数据取得成功时,每个人都希望成为其中的一部分。“当你部署大数据项目后,你会开始给企业带来新的收入,然后企业其他团队也会跳出来说这是他们带来的收入。”对于其团队而言,首席财务官能够帮助解决这个问题,他们能够单独提供大数据项目的投资回报率。

(责任编辑:蒙遗善)

时间: 2024-08-01 16:37:21

一线用户谈大数据面临的最大挑战的相关文章

天融信谈大数据对网络安全的挑战

2013年4月25日,在第十一届中国CSO俱乐部大会暨2013中国信息安全年会上,天融信副总裁宫一鸣作了主题为<大数据对网络安全的挑战>的精彩演讲,他从安全角度介绍了大数据的发展历程.现状和未来,指出了实现大数据的主要挑战.本届大会会议主题是"捍卫大数据,构建云安全".随着信息化进程的加快,信息安全已经成为关乎我们每个人.每个部门.每个机构,甚至是国家安全的重要话题.信息安全问题的日益严重使得信息安全产业得到了 快速发展.除了传统的网络信息防御.应用感知.流量清洗等之外,近

浅谈医疗大数据面临的技术挑战

医疗大数据的本质是数据.在医疗行业,医生的诊治是一个过程,需要将患者疾病状态或治疗过程记录下来.由于医生对疾病的认识不同,因此所记录的"事实"会有所不同,特别是缺乏经验的医生,经常会忽略记录重要的病历信息,可能因此出现数据丢失,也可能导致所记录的数据没有准确地反映出客观的事实. 医疗大数据 大数据时代,数据来源于外部,不由自己把控.如果获取的是不真实的数据,无法得出有价值的结果,更多情况下可能是误导.所以,一定要认识到,数据并不是越多越好,数据质量非常重要,把握数据的含义也非常重要.

谈大数据 大数据的精髓在于“预测用户行为”

谈大数据 大数据的精髓在于"预测用户行为".它能够知道你的喜好,它能够通过你过去留下的行为,看过什么东西,浏览过什么网站,去过什么地方,喜欢什么吃的,就是说你在互联网上都留下了一些足迹,这些信息能够帮助大数据的服务商推进你有兴趣的信息,比如你在玩一个游戏,他会猜你喜欢什么样的游戏,它能推荐你什么样的应用和商品. 企业建立内部的数据平台已是大势所趋,但只有市场出现专业的数据平台实现数据的管理和交易,才能推动大数据快速发展. 未来移动互联网的发展更普及之后,我们可以看到,整个营销会迎来一个

Facebook前主管谈大数据技术趋势和演变

本文讲的是Facebook前主管谈大数据技术趋势和演变,全球系统架构师大会于8月10-12日在深圳万科国际会议中心隆重举行.首先给大家带来分享的是前Facebook数据基础设施团队主管,Qubole创始人,CEO Ashish Thusoo,他主要介绍了大数据架构以及怎么样不断的演进,与其说演进,不如说革命.其中主要包括三个方面的主题: ▲全球系统架构师大会现场报道 第一,大数据的需求.当今世界需要大数据,有哪些驱动因素促使我们不同方式考虑大数据?以不同方式处理数据. 第二,技术给我们带来哪些架

大数据面临的挑战:当大数据遭遇云计算

本文讲的是大数据面临的挑战:当大数据遭遇云计算,据IDC的报告,未来十年全球大数据将增加50倍.仅在2011年,我们就将看到1.8ZB(也就是1.8万亿GB)的大数据创建产生.这相当于每位美国人每分钟写3条Tweet,而且还是不停地写2.6976万年.在未来十年,管理数据仓库的服务器的数量将增加10倍以便迎合50倍的大数据增长. 毫无疑问,大数据将挑战企业的存储架构及数据中心基础设施等,也会引发云计算.数据仓库.数据挖掘.商业智能等应用的连锁反应.2011年企业会将更多的多TB(1TB=1000

大数据面临的风险和现存问题

"大数据"无疑是当下的热门术语,提及数据分析必谈大数据,这是对大数据和数据分析的双重误解,面对一个流行概念本身所许诺的前景和它所代表的商业利益,学界应保持高度的真诚和怀疑.本文发表于<广告大观(理论版)>2013年03期,作者结合多年的数据分析经验,就大数据面临的风险和现存问题做一个说明,并希望从大数据本身的特性出发讨论它对业界和科学研究的影响,希望能引发更多思考和讨论.--刘德寰[1] 李雪莲[2] "大数据"成为2012年的关键词汇,被认为将会带来生

CNCC 人物专访 谭晓生(上)| 360 首席隐私官谈大数据与个人隐私的博弈

     现任奇虎 360 科技有限公司首席隐私官,2013 中国互联网安全大会主席. 2009 年 7 月加盟北京奇虎科技有限公司担任副总裁,负责公司网站技术.技术运维.数据分析与挖掘.云查杀.云存储等业务的技术团队管理. 1992 年毕业于西安交通大学计算机科学与工程系计算机应用专业.2003 年 1 月至今先后任 3721 技术开发总监.雅虎中国技术开发总监.雅虎中国 CTO.阿里巴巴-雅虎中国技术研发部总监.还曾任 MySpace CTO 兼任 COO. 目前还担任 CCF 副秘书长,Y

银行与互金都在谈大数据,相比之下有何不同?

在<大数据在金融业中的应用>发布之后,便有朋友留言问,"银行的大数据和互金的大数据应用有没有什么不同?"的确,说到金融大数据,我们会发现有两类机构都在提,当互联网金融企业都把大数据挂在嘴边.当大数据风控成为新金融的代表性模式时,被称作"传统金融机构"的银行业也坐不住了,站出来讲,银行业才是典型的大数据企业,银行内部有大量的数据,既有结构性数据,也有非结构性数据,只是没有把这个数据富矿更好地利用罢了. 所以,问题就来了.银行与互金,所讲的大数据是一回事吗?

长虹佳华“趣谈大数据”首次公开课圆满结束

大数据时代的来临,对于IT分销企业来说既是机遇,也是挑战.该如何应对.如何利用是一个很大的课题.4月15日,为了帮助合作伙伴能够更好的把握大数据时代商机,国内IT分销领域领先企业长虹佳华在北京长虹大厦举办了主题为"趣谈大数据"的首次公开课.课上,主讲人运用深入浅出的语言和鲜活的案例为与会者呈现了一堂精彩的演出,使到会的60多名经销商代表和业内同仁尽享了一场关于大数据市场拓展的思想盛宴. 据了解,此次大数据公开课的开讲是长虹佳华培训服务的又一次大胆尝试.作为IT分销领域的卓越企业,长虹佳