透析大数据负载平台与技术现状与趋势

在上一篇文章中,我们结合ZDNet发起的中国大数据认知与应用市场调研,从全局的角度对基于中国不同地域以及不同行业对大数据的认知和关注程度进行了扫描,并从中看到了x86架构作为大数据基础平台的接受度以及发展潜力。本文将在上一篇的基础上,结合数据库应用和相关技术对调研报告进行解读,并从中总结几大发现和结论。

一.对大数据分析和存储的需求旺盛

调研的数据显示,除了已经认知到大数据具备容量大、产生速度快、数据类型多的特点,包含非结构化和半结构化数据之外,更多的企业还会联想到数据存储和数据分析等大数据处理技术,不难看出在对大数据认知的基础上,企业对大数据分析处理已经表现出强烈的渴望和兴趣,并极有可能将其作为企业的一项重要IT规划。

二.x86成数据库应用主流平台

虽然数据具有多种来源,但是毫无疑问,数据库是企业数据的首要来源,构建数据库、数据仓库以及商业智能分析平台也是迎击大数据进程中极其关键的一环。在数据时代,数据库应用无疑也是企业的核心应用之一,从企业现有数据库平台来看,有72.93%的企业目前的数据库应用基于x86平台,只有20.79%的企业将现有的数据库应用基于安腾、SPARC、POWER等Unix系统。

从现有数据库平台来看,x86架构已经获得了企业的广泛认可和信赖,良好的“先天优势”为x86应对大数据挑战时发挥重要作用埋下了伏笔,随着在数据库等关键应用领域性能的进一步提升,x86平台在数据库领域的应用还将更加广泛和深入。

同时,在构建数据仓库、商业智能方面,调查的数据也与企业现有数据库应用负载主要平台保持一致,其中有82.99%的企业倾向于选择x86平台来构建这类数据分析与商业智能应用,具体而言,有48.99%的企业倾向于采用四路及以上x86服务器,有34%的企业倾向于采用双路x86服务器,这也与四路或以上的高端x86服务器的定位相匹配,近几年越来越多的四路及以上高端服务器开始进入数据库、虚拟化等企业关键应用,并获得了企业的广泛认可。

三.Hadoop广为接受

与现有的传统结构化数据处理不同,大数据处理将涉及到海量的非结构化和半结构化数据处理,在这种处理场景中,针对传统结构化数据处理的技术和方法显然难以应付,也正因为如此,越来越多的大数据处理技术开始涌现,并获得企业青睐,比如时下火热的分布式运算系统Hadoop。值得注意的是,Hadoop的诞生本身就与x86平台有着极为密切的关系,也正是Hadoop的诞生才使得在低成本的通用硬件集群上运行分布式计算框架成为可能,从这个角度上来说,Hadoop本身就是为x86平台而设计并优化的。

Hadoop最早是一个开源的框架,并由Apache基金会开发,其重要创新是将任务分解并运行在多个节点中处理,当数据量大到无法在一台服务器上处理时,分布式计算的优势就体现出来,此外,通过将这种技术与Linux服务器结合还能以极高的性价比替代大规模计算阵列。也正是看到了Hadoop未来应对大数据的潜力,不少组织和供应商开始着手发展Hadoop技术,并形成了一定规模,英特尔就是其中的代表。

作为x86平台的推动者,英特尔显然已经预见到x86平台与Hadoop技术结合在应对大数据方面能释放的巨大威力,并在2012年7月正式发布了Hadoop发行版,借助软硬组合迎击大数据,在短短半年时间里,Hadoop发行版已经获得了市场的高度认可,在针对Hadoop版本的认知调研中,英特尔Hadoop发行版就以44.02%的占有率成为企业最关注的Hadoop版本,由此也可以看出除了硬件平台,英特尔在大数据软件平台方面同样受到推崇。

四.大数据平台方案面临的挑战

随着越来越多的企业关注大数据,并最终将构建大数据平台作为企业的IT规划,一场大数据平台和解决方案的选型已经不可避免,通过调研,在平台和方案的选型中,企业最关注的前三大因素依次为:性价比、安全性、稳定性,很明显,更多的企业既希望部署大数据平台来应对数据增长的压力,同时又担心对大数据平台的投入带来成本上的压力;此外,数据安全和隐私一直是数据处理的巨大隐患,企业对大数据处理的安全性的担忧也源于缺少专门用于保护企业数据隐私的数据安全标准和特定技术;对稳定性的关注程度位于性价比和安全性之后,不难看出企业对通用硬件平台稳定性的担忧其实已经有所下降,这也与x86平台近几年的性能提升不无关系,同时x86平台与Hadoop的结合也为处理大数据提供了更为低成本的选择。

五.对大数据技术供应商的认知

如果从数据库负载平台和相关技术的认可度能从侧面反映出x86架构在应对大数据方面的技术实力,那么对大数据技术供应商的认知则表现的更为直观,其中有19.42%的用户认为英特尔与大数据密切相关,其接受度超过了IBM、甲骨文、微软等IT供应商,可见英特尔作为一个大数据技术供应商已被广泛认知。

随着大数据时代的来临,以数据为中心的应用无疑是核心所在,企业将更加重视数据的存储、分析以及管理,基础设施能否满足大数据环境下的扩展性并提供出色性能无疑是一大挑战。英特尔作为大数据技术供应商被广泛接受,一方面与英特尔近几年在大数据领域的宣传攻势密不可分,但更重要的是作为数据中心基础设施的供应商,英特尔在数据分析和存储的能力已经不容置疑,在大数据的全新浪潮下,英特尔也正着手推动数据中心基础设施向着大数据平台演进,此外,在对Hadoop功能的优化和扩充之后,英特尔也积累了Hadoop应用的最佳实践经验,在应对海量数据和非结构化数据处理方面无疑更加游刃有余。

(责任编辑:蒙遗善)

时间: 2024-12-21 05:21:28

透析大数据负载平台与技术现状与趋势的相关文章

吴军:三个案例透析大数据思维的核心

逻辑推理能力是人类特有的本领,给出原因,我们能够通过逻辑推理得到结果.在过去,我们一直非常强调因果关系,一方面是因为我们常常是先有原因,再有结果,另一方面是因为如果我们找不出原因,常常会觉得结果不是非常可信.而大数据时代,大数据思维要求我们从探求因果联系到探索强相关关系. 以下三个案例分别来自药品研发.司法判决与广告投放,从三个不同的角度了解大数据思维的核心. ◆ ◆ ◆ 大数据与药品研发:寻找特效药的方法 比如在过去,现代医学里新药的研制,就是典型的利用因果关系解决问题的例子.   青霉素的发

三个案例透析大数据思维的核心

逻辑推理能力是人类特有的本领,给出原因,我们能够通过逻辑推理得到结果.在过去,我们一直非常强调因果关系,一方面是因为我们常常是先有原因,再有结果,另一方面是因为如果我们找不出原因,常常会觉得结果不是非常可信. 逻辑推理能力是人类特有的本领,给出原因,我们能够通过逻辑推理得到结果.在过去,我们一直非常强调因果关系,一方面是因为我们常常是先有原因,再有结果,另一方面是因为如果我们找不出原因,常常会觉得结果不是非常可信.而大数据时代,大数据思维要求我们从探求因果联系到探索强相关关系. 以下三个案例分别

医疗健康大数据服务平台技术架构

医疗健康大数据服务平台是一个包含多个业务系统.多个自身管理软件.是一系列软.硬件和人员.政策支持的综合系统体系,统一建设医疗健康云计算服务中心,集中存储居民医疗卫生信息和居民电子健康档案等数据,满足社会大众.医务工作者.各级卫生主管部门.第三方机构的应用需求. 医疗健康大数据服务平台总体架构如下图所示. 图 医疗健康大数据服务平台总体架构 如上图所示,医疗健康大数据服务平台分为资源层.服务层和展现层.其中层功能如下: 1.展现层 负责对用户提供医疗健康信息.以及分析与挖掘信息服务,支持4大类用户

阿里巴巴大数据计算平台MaxCompute(原名ODPS)全套攻略(持续更新20171122)

  概况介绍 大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速.完全托管的TB/PB级数据仓库解决方案.MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全.本文收录了大量的MaxCompute产品介绍.技术介绍,帮助您快速了解MaxCompute/ODPS. MaxCompute 2.0:阿里巴巴的大数

小米新一代大数据统计平台大公开

首次来到台北的小米研发架构师欧阳辰,看见城市中川流不息的摩托车车流,引起了他的注意:「它的特色很像大数据」,除了数量多.变化快,以及难以预测动向,摩托车也和大数据一般,都是解决人类生活在社会中的一项工具,「未来大数据会是重要的社会基础架构,就像水.电力一样.」 谈起大数据,不免回归最基本的问题:它跟传统数据分析的区隔为何. 欧阳辰表示:「在目标上,我认为两者没有区隔」,欧阳辰表示,传统统计分析解决的问题如人口统计议题,只需要经过随机抽样方法就能解决.但是碰上投放商业广告,若仍靠传统抽样分析结果,

【ATF】林伟:大数据计算平台的研究与实践

  2016 ATF阿里技术论坛于4月15日在清华大学举办,主旨是阐述阿里对世界创新做出的贡献.阿里巴巴集团技术委员会主席王坚,阿里巴巴集团首席技术官(CTO)张建锋(花名:行癫),阿里巴巴集团首席风险官(CRO)刘振飞(花名:振飞),蚂蚁金服首席技术官(CTO)程立(花名:鲁肃)以及来自阿里巴巴集团各部门多位技术大咖齐聚一堂,与莘莘学子分享阿里的技术梦想.   在下午的云计算与大数据论坛上,阿里云资深专家林伟(花名:伟林)带来了以<大数据计算平台的研究与实践>为主题的深度分享.林伟目前负责阿

高可用的大数据计算平台如何持续发布和演进

2016年11月18-20日SDCC 2016中国软件开发者大会,阿里巴巴大数据计算平台首席架构师林伟给我们带来了"高可用的大数据计算平台如何持续发布和演进"的演讲.本文主要谈及大数据系统如何做系统迭代,以及大规模系统因为其大规模没有可能搭建对等的测试环境,需要进行在线测试方面的内容,更有在线测试需要的必要条件等等. 阿里巴巴大数据计算平台需要每天不间断的跑在上万台机器集群上,上面承担阿里核心分析计算任务,有着很高的可靠性和SLA的要求,但是我们同时需要持续不断提高系统的性能,降低成本

互联工厂大数据云平台打造中国版CPS

摘要:10月13日2016杭州云栖大会拉开帷幕,智能工业专场的上海名匠智能系统有限公司董事长陈俊带来了"工业大数据与云制造"的重要演讲.本文从智能制造带来的机遇和挑战开始谈起,进而对互联工厂进行定位,并讲解了互联工厂的特点,接着重点说明了工业大数据下的互联工厂模型及应用场景,最后简要介绍了立体仓库货位优化控制系统.   以下内容根据演讲PPT及现场分享整理: 本文从智能制造带来的机遇和挑战开始谈起,进而对互联工厂进行定位,并讲解了互联工厂的特点,接着重点说明了工业大数据下的互联工厂模型

网商银行俞胜法:大数据风控+平台化打造普惠金融能力

7月31日,在2016上海新金融年会暨互联网金融外滩峰会上,网商银行行长俞胜法表示,普惠金融不仅是一种愿景,还是一种能力,互联网金融.互联网银行想要去具备普惠金融的能力,需要从自身的风控能力,尤其是大数据风控加上合作平台 俞胜法介绍,网商银行开业一年多以来,服务了超过170万家小微企业,贷款余额达到230亿元,帮助千千万万的小微企业经营者.创业者去追逐他们的梦想,同时拉动了就业.支持了实体经济的发展. 利用大数据风控等技术优势,贴近电商经营解决小微经营者的融资难问题.众多的小微电商经营者缺少规范