大数据分析技术的新平台

在Gartner的发展规律周期(hype cycle)中,大数据还在节节高升,一个全新的大数据服务供应商类别又诞生了。这一消息对MetaScale是最不陌生的了。该公司在今年四月进入大众视野,是Sears Holdings的全控股子公司。

MetaScale位于美国伊利诺斯州的霍夫曼斯特市,是一家在基于云计算的模型中运营的管理大数据服务供应商。也就是说,MetaScale可以向那些准备采用大数据分析技术但又没有相关架构或者能力的客户,提供不同程度的足够的所需支持。

在本文中,记者编辑就大数据的挑战和市场趋势话题,对MetaScale的创始人兼CEO、同时也是Sears的CTO Phil Shelley进行了采访。

记者:目前企业面临的大数据方面的挑战有哪些?您能否对大数据管理和大数据分析进行分别阐述?

Shelley:首先,从大数据管理方面来看,我们现在处于一个全新的门槛。任何IT行业的资深人士都知道,Holy Grail想要把所有数据都汇集到同一个地方,这对系统要求非常高。当然了,他们没能实现愿望,结果还是用ETL复制数据;这个复制工作非常庞大,不同的系统用作不同的用途,将数据放到不同的地方。因此,数据管理一直以来都让人头疼。不过,现在有了改变。现在已经可以将数据模型放到一个单一的地方,企业中所有的交易信息、历史记录都在同一个地方。这样一来,你就可以实实在在地对企业进行管理、制造模型、设计数据架构,从真正意义上提高数据的使用效率。数据的重复使用十分重要;有了这些技术以后,终于可以实现了。

在把数据集中到一处之后,你就有了使用它们的各种新的可能性,因为Hadoop可以保存海量的历史记录。还不仅仅是保存,它还可以在不用移动数据的情况下对其进行分析。当你的企业涉及数以P计的数据时,你真的没有办法移动它们进行分析。以前的老办法是使用ETL将数据移动到一个分析平台上,现在行不通了。因此,与过去相比,能够拥有一个既能存储数据又能对其进行分析的平台真是一大进步了。

记者:那么,也就是说您是把工具带到数据中去,而不是将数据转移到工具上来?

Shelley:在目前所有的大数据技术中,也有一些新兴的工具可以配置图形前端和分析前端,这样你就能在数据仓库中进行查询和分析,而不是复制它们,你只需提取那么一小部分你真正需要的数据,也就是结果集。这是一种全新的颠覆性的思维方式,人们适应它还需要一段时间。

记者:我听到过很多说法--“逻辑数据仓库”、“混合数据生态系统”等等,这些概念强调的都是把数据放到最合适的地方。这和您说的是一回事吧,对吗?

Shelley:是的,只不过有些地方我说的更具体一点。有些人会说,把数据放到合适的地方;那么如果这么说,你就会有太多包含大量数据片段的系统。由于ETL所花费的时间和成本,我不会支持这一说法。但我绝对拥护工具的生态系统。如果你需要高速的SQL分析,那么Hadoop一定不合适,这一点毋庸置疑。把多少数据放到什么样的地方、什么时候放、怎么放--这些问题都需要仔细规划,否则就会产生某些地方数据太多、某些地方空余太大的情况。如果那样的话,你又回到了使用ETL时遇到的问题--移动数据。在企业数据架构方面的考虑尤其得慎重,需要合理地将系统与Hadoop结合,这至关重要。不过话说回来,我也不太相信太多的其他操作数据存储和逻辑数据集市,因为那样只会增加复杂度。随着数据变得越来越大,你没办法那样做,也没必要那样做。

(责任编辑:蒙遗善)

时间: 2024-10-30 20:16:27

大数据分析技术的新平台的相关文章

大数据分析技术深度发展 智能交通呈现三大趋势

随着移动互联网.人工智能.大数据.云计算等新一代技术在汽车和交通领域的逐步应用,交通体系与出行方式变革已经开始.当前,新一轮科技革命蓄势待发,一大批以"绿色.智能.泛在"为特征的巨大技术变革正在孕育.物联网.大数据.云计算,移动互联网等新一代信息技术的快速发展,为道路智能交通提供了强大的技术支持. 大数据分析技术的深度应用,将驱动道路交通运输实现精准管理和信息服务,北斗定位导航.移动互联网,高精度地理信息等系统,将成为推动建设新一代道路智能交通系统的基础,交通运输行业新模式.新业态.新

刷新大数据技术知识新高度的MaxCompute 2.0就要来了

中国云计算产业最具影响力的盛会之一--2016杭州云栖大会(https://yunqi.aliyun.com/)将在云栖小镇召开.连续举办七届的云栖大会一直是业界了解阿里云计算生态发展和应用趋势.体验前沿技术和产品的最佳平台,来自海内外的上万名开发者.创业者聚集于此,分享着他们对云计算的思考与实践经验.7年来,从产品发布到行业解决方案展示,从关注技术到技术与服务并重,从单一的客户到生态全景的展现,大会的核心内容一直在"进化",而2016年杭州云栖大会,则以"飞天・进化&quo

大数据分析技术生态圈一览

大数据领域让人晕头转向.为了帮助你,我们决定制作这份厂商图标和目录.它并不是全面列出了这个领域的每家厂商,而是深入探讨大数据分析技术领域.我们希望这份资料新颖.实用. 这是一款面向Hadoop的自助服务式.无数据库模式的大数据分析应用软件. Platfora 这是一款大数据发现和分析平台. Qlikview 这是一款引导分析平台. Sisense 这是一款商业智能软件,专门处理复杂数据的商业智能解决方案. Sqream 这是一款快速.可扩展的大数据分析SQL数据库. Splunk 这是一款运维智

健康大数据分析技术有哪些?

21世纪是以生命科学为主导.科学技术迅猛发展的世纪,科技竞争力已成为决定国家前途和命运的重要因素,是推动经济发展.促进社会进步和维护国家安全的关键所在.医学在生命科学中占有极其重要的地位,卫生科技的创新和进步,将促进医疗卫生事业的发展,提高全民族的健康素质,增强中国的科技竞争力和综合国力.世界最新医学科研技术是包括医学.药学.分子生物学.数学.计算科学.以及大数据分析技术等多种学科和技术的综合. 大数据分析技术主要包括是以最新应用数学.前沿计算科学和信息工程学为核心,以数据挖掘.数据仓库.商务智

大数据分析技术涵盖的5个方面

由于大数据的特殊性,大数据分析技术还处于发展阶段,老技术会日趋完善,新技术会更多出现. 1.可视化分析 数据可视化无论对于普通用户或是数据分析专家,都是最基本的功能.数据图像化可以让数据自己说话,让用户直观的感受到结果. 2.数据挖掘算法 图像化是将机器语言翻译给人看,而数据挖掘就是机器的母语.分割.集群.孤立点分析还有各种各样五花八门的算法让我们精炼数据,挖掘价值.这些算法一定要能够应付大数据的量,同时还具有很高的处理速度. 3.预测性分析能力 数据挖掘可以让分析师对数据承载信息更快更好地消化

技术基础:大数据分析技术的发展

大数据分析技术最初起源于互联网行业.网页存档.用户点击.商品信息.用户关系等数据形成了持续增长的海量数据集.这些大数据中蕴藏着大量可以用于 增强用户体验.提高服务质量和开发新型应用的知识,而如何高效和准确的发现这些知识就基本决定了各大互联网公司在激烈竞争环境中的位置.首先,以 Google为首的技术型互联网公司提出了MapReduce的技术框架,利用廉价的PC服务器集群,大规模并发处理批量事务. 利用文件系统存放非结构化数据,加上完善的备份和容灾策略,这套经济实惠的大数据解决方案与之前昂贵的企业

NEC应用大数据分析技术成功研发大型设备故障监测系统

近日, IT&通信领先企业NEC应用大数据分析技术,成功开发出 "大型设备故障预兆监测系统",可应用于发电站.工厂等大型设施的故障监测. 通过该系统,操作员可从庞大的信息量里自动定义出设备的健全运行状态,通过同实时数据进行http://www.aliyun.com/zixun/aggregation/8007.html">对比分析,在设备故障前发现异状.由于在系统中融入了NEC专利的传感器信息大数据分析技术--Invariant,操作员无需进行复杂设置及专业知识

百度与广发银行合作 提供大数据分析技术

中介交易 SEO诊断淘宝客 站长团购 云主机 技术大厅 网易科技讯 9月22日消息,百度与广发银行今天达成战略合作,双方将围绕大数据和LBS技术开展在银行业.互联网金融业务的合作. 对于正在寻求转型的传统金融业来说,如何从海量的数据中发掘有价值的信息尤为关键.百度副总裁张东晨称,此次合作将利用百度对大数据的处理经验,将百度的数据资源开放给广发银行,为广发银行的业务运转提供数据支持. 据介绍,此次百度与广发银行的合作将利用百度的大数据分析技术,向广发银行的客户提供包括理财产品推介.风险能力评估等在

运用大数据分析技术 防范电信诈骗

近日,记者从工行东莞分行获悉,该行充分运用大数据分析技术,通过工行自行开发的外部欺诈风险信息系统--"融安e信",2015年累计成功堵截电信诈骗22笔,为客户避免资金损失26.9022万元.其中自助渠道堵截17笔,涉及金额25.752万元:柜面渠道堵截5笔,金额1.1502万元,有力地保障了客户资金安全. 据该行有关负责人介绍,为有效破解电信诈骗防控难题,切实保护客户资金安全,中国工商银行早于2013年即在国内银行业中率先投产了外部欺诈风险信息系统--"融安e信".