业内视角:Hortonworks眼中的大数据

文章讲的是业内视角:Hortonworks眼中的大数据,目前到处扩散的朦胧定义还不足以清晰表达大数据所带来的收益,Hortonworks公司的一位高管如是说。今天我们要从业内人士的视角出发,看看他们眼中的大数据到底是怎么一回事。

  那么,大数据到底是什么?这一般技术人员会用经典的3V模型来解释——容量、速度以及数据多样性——这种说法几乎成为行业惯例。不过这种流行定义太过含糊不清,并没能真正解释大数据平台给使用者带来的切实利益。

  Hortonworks公司营销副总裁David McJannet认为,通过更为实际的描述来解释大数据给现实世界带来的好处,更有利于将这套新机制推广到各行各业。

  “大数据绝不是什么说不清、道不明的东西,”McJannet在接受记者采访时指出。“从务实的角度来看,这是一种企业原先并未关注的新数据类型,主要作为新型分析应用程序的运作基础。”

  当然,Hortonworks公司向全世界推广大数据明确概念的举动也有自己的考虑。作为Hadoop生态系统中的主要推动者,这家位于加州帕洛阿尔托的企业软件公司能够通过说服企业用户存储并分析大量数据帮助自身销售产品、赚取利润,而且这一新兴领域在过往一直为客户所忽略。

  因此他们提出了一种替代性定义(从客观角度出发):大数据的宗旨在于“以全新数据类型为基础建立新型分析应用程序,从而更好地为客户提供服务并推动竞争优势”。

  这条看似简单的定义能够帮助企业“超越以往对大数据的模糊认识”。

  当然,不同大数据之间并无相似之处,因此Hortonworks公司根据其具体来源划分出五种不同数据类别:社交媒体、服务器日志、Web点击流、设备/传感器以及地理位置。

  但企业用户要如何使用这些信息?

  先来看社交媒体数据。企业目前已经开始利用Facebook、Twitter以及此类社交网站了解用户针对某种事物的“情绪”,McJannet告诉记者。举例来说,一位电影制片人可以根据此类数据了解新片获得的评价,并以社交媒体用户的意见为基础对市场营销活动进行优化调整。

  服务器日志能帮助系统管理员利用Hadoop发掘数据,从而识别并应对重要问题。McJannet举了这样一个例子:“如果我在我的网站上追踪每一条单一入站请求,并根据地理区划对其进行叠加,则能够更好地判断自己的大型客户主要集中在哪些区域、在哪里可能面临潜在的安全问题。”

  Hadoop带来的点击流数据能够帮助用户对传统数据管理系统的过载状态信息进行高效管理。

  “如果我能够捕捉到来自自己网站上的所有点击流数据——当然,这样庞大的数据记录会很快填满现有数据库——也就是由纯粹点击量所产生的数据,”McJannet解释称,“那么将其保存在Hadoop当中……会帮助我根据信息创建出非常有趣的分析应用程序。”

  设备数据在很大程度上也属于尚未开发的大数据来源。

  “设备绝对是最大的数据来源之一,其涵盖范围囊括了空调机组、冰箱、货车乃至家用机械等各个常见领域,”McJannet指出。“此类流程将带来爆炸式的数据增长。”

  目前全世界的在运行手机达到数十亿部,因此移动数据采集设备具有广阔的市场发展空间。“每一次在通话中经历电话信号塔之间的信息转换,都会产生一部分数据片段。如果有人打算创建分析应用程序,这些信息就会成为非常宝贵的资料基础,”McJannet表示。

  地理位置数据受关注时间同样不长,直到十年之前还只存在于宇宙空间技术及军方应用领域。如今它已经为商业应用程序指明了一条发展新路。

  举例来说,运输公司完全可以每10到60秒追踪一次各车辆的地理位置数据,并由此积累起PB级别的相关信息。

  “如果打算在运营流程中使用地理位置相关数据,大家首先应该考虑自己有能力创建什么样的应用程序以及能够从中提取出哪些有价值信息,”McJannet总结道。

作者:王玉圆

来源:IT168

原文链接:业内视角:Hortonworks眼中的大数据

时间: 2024-08-02 01:32:28

业内视角:Hortonworks眼中的大数据的相关文章

国外学者眼中的大数据:在社科研究中的运用尚在探索

运用大数据的社科研究尚在探索之中 用数据作分析已经成为当前科学研究大趋势.人们常常能够看到自然科学领域学者利用各种各样的数据解决科学难题.然而,社会科学领域学者对大数据的应用,仍在不断探索当中.近期,美国塞奇出版社发布报告<谁在做计算社会科学?大数据研究趋势>(Who Is Doing Computational Social Science?Trends in big data research).报告认为,在社会科学领域中,使用大数据和运用大数据方式解决问题的学者并不十分普及,社会科学领域

不同人群眼中的大数据

Daniel Bolton是Intertape Polymer集团的一名系统分析师,该公司专门从事包装行业的产品生产.他说:"我们是一家中等规模的公司,我对大数据是什么没什么特别的想法,不过我窃以为它是一种营销策略." Bolton不是唯一这么想的人.尽管大数据依旧是最火热的话题,但是如何定义它,甚至组织是否拥有大数据都是各企业难以回答的问题. 例如,来自教育界的一小群代表给大数据的定义比较简单:"信息过载".一家大型综合石油公司的一名经理说,它的公司有15 TB数

“码码农”眼中的大数据

自从大数据的概念出现,便像病毒一样蔓延,以至于不了解这个概念似乎都不好意思承认自己是搞IT的人员,涉足这个领域的各大软件公司也越来越多.本人自认为一直从事着数据处理方面的工作,长期以来,工作的流程一直是:各运营商会提供各自的接口(比如FTP),从接口处取得各种类型的文件(例如 csv格式.xml格式,甚至包括二进制文件),解析文件并将所需要的信息取出后load到数据库中;入库后,有些数据会针对时间粒度或者空间粒度进行汇总处理;然后,对于本人来说就木有然后了,会有另外一批人员进行上层界面的开发,根

业内:供热行业急需“大数据+云平台”运营模式

随着互联网的日益普及,人们对互联网技术的利用率越来越高,由此而产生的大数据为社会各行各业带来了很大变化.而在集中供热领域,各省市供热部门正面临着众多数据孤岛.不能统一运营管理.热网节能难于落地等痛点.业内人士认为,应建立"平台运营"模式来实现热网大数据统一运营,服务于热网安全与节能. 供热行业痛点 供热是北方城市的重要基础设施之一,传统分散供热方式造成能源浪费.环境污染,已不适应现代社会的发展需要,而集中供热可以解决这些问题.发展到2014年,我国已有400多个城市建设了集中供热设施,

TalkingData首席布道师鲍忠铁:我眼中的大数据产业2016年终总结

大数据产业发展了两年后,从探索阶段进入了应用阶段.数据被定义成重要的资源,正在得到企业的重视,在经营过程中发挥着重要的作用.企业看到了数据价值,从被动了解走向主动拥抱.数据如何同业务场景结合,如何变成生产力,如何指导业务决策成为企业最关心的问题. 数据本身是没有价值的,必须同商业需求结合在一起,才能够产生化学反映,体现商业价值.大多数企业还是将精力放在数据架构.技术平台.数据采集等探索工作,没有理顺数据价值应用的发展路径,也没有从数据中看到真正的商业价值,看到智慧的力量. 大数据时代,企业面临海

互联网大佬眼中的大数据:会运用才更有价值

大数据的意义何在,怎样才能用好大数据,一起来看几位大佬的分享. 马化腾:腾讯只做连接与合作伙伴共建生态 腾讯公司董事局主席马化腾介绍,为了让亿万用户获得良好产品体验,腾讯每天需要高效地进行海量数据的处理.例如,用户通过微信朋友圈和QQ空间日上传图片高达10亿张,腾讯视频(含微信公众号H5视频)每天播放量达20亿次.除夕当天红包支付超过25亿笔,每天移动支付超过5亿笔.这些数据在国内均位居行业首位. 此外,腾讯将和合作伙伴一起共建生态:云.支付.LBS.安全.比如LBS,腾讯投资了一些基础地图的公

美国人眼中的大数据法律问题

2016年1月6日美国联邦贸易委员会(FTC)发布了一份题为<大数据:包容工具抑或排斥工具>(Big Data: A Tool for Inclusion or Exclusion?)的研究报告,介绍了大数据的生命周期.大数据技术应用给消费者带来的利益和风险,探讨了应当如何利用大数据,使人们既能充分享受其给社会带来的利益,又能最小化其法律和道德风险. 一.大数据技术利用争论 智能手机.电脑和其他联网设备的普及以及随之而来的消费者数据的体量剧增和大范围流动,将我们推入大数据时代.大数据分析技术能

从幕后走到台前 数据分析师眼中的大数据

数据,自从变成了当今社会仅次于能源资源的另一类重要资源之后,已经开始被越来越多的用户所重点关注,很多人也说当今的这个社会是大数据的社会,大数据时代到来了.伴随着大数据时代的到来以及大数据所导致的各类IT信息技术的飞速发展,数据分析师成为了近些年炙手可热的岗位. 然而伴随着数据的爆发式增长,相对应的带给企业用户机会的同时也带来了很多来自数据端的挑战,大数据在众多行业当中的应用也开始变得广泛起来.本期,笔者就和大家一起来聊聊从数据分析师的角度上来看,未来大数据将会面临到什么样的机会和挑战. 工具和人

国家领导人眼中的大数据

感谢微信公众号"水清木华朋友圈"唐老师荐文. 以下是汪洋同志讲话全文: 休息这几天,我看了两本书,其中有一本是广西师范大学出版社出版的,一个美籍的华人涂子沛写的<大数据>,看以后非常有启发.我推荐你们全厅干部都看一下这本书,研究一下大数据时代.他这书里边讲,数据是对信息数字进行解释,赋予意义.进入信息时代后,人们趋向把所有存储在计算机上的信息,无论是数字还是音乐.视频,都统称为数据.2010年,美国总统科学技术委员会给总统和国会的报告写了这么几句话:数据正在呈指数级增长,联