省时省事省力 巧用阿里ECS D1构建大数据处理平台

随着人们逐渐认识到 “大数据”的价值,互联网、电商到金融业、政企等各行业开始处理海量数据。如何低成本、敏捷高效地搭建大数据处理平台,成为影响大数据创新效率的关键。

 

为了让用户以最简便地方式享用阿里云全球云资源,在云端构建敏捷弹性、高可靠和高性价比的大数据平台,阿里云在云栖大会·成都峰会上正式推出了Hadoop/Spark场景专用的ECS存储优化型实例D1规格族,充分满足泛互联网行业、金融、电商、政企等行业等搭建大数据存储与计算分析平台的要求,真正意义上做到了“省时省事省力”。

 

采用阿里云ECS D1规格族建设大数据平台,相比传统方式具有如下优势:

·按需部署和弹性灵活


传统大数据平台建设周期过长,扩容不便,因此一般都会适当放大大数据建设规模,造成早期资源闲置浪费,而后期资源不足影响业务发展。采用ECS D1实例可以按需进行大数据平台建设,并随着业务的增长而快速弹性伸缩,让企业做到按需支付成本。此外,Hadoop/Spark大数据生态系统中组件众多,每种组件对硬件资源的要求不同,而传统大数据平台建设中,往往很难兼顾资源需求上的差异。而采用阿里云ECS建设大数据平台,可以充分选择D1和其它独享型规格类型,做到为每个Hadoop/Spark组件节点“量体裁衣”来选择实例,最大限度避免资源浪费。

此外,传统大数据平台规模和分析能力固定,难以应对临时性突发的大数据分析需求,采用ECS D1和独享型实例、竞价型实例等产品家族,可快速扩容大数据平台的计算和分析能力,当任务完成后,可以即使释放这些资源,从而达到灵活性和成本间的最优组合。

·高性价比


阿里云ECS D1实例采用独享计算架构+本地存储设计,CPU的计算性能在实例和实例间是独享,性能稳定性极高,有效保障大数据计算能力的稳定性。D1实例选用高性能企业级6TB SATA硬盘,D1单实例最大5GB/s存储吞吐能力,可有效缩短HDFS文件读取和写入时间。D1实例基于阿里云SDN和网络加速技术,在10GE组网环境下,最大可提供20Gbps网络带宽,满足大数据分析节点间数据交互需求(譬如MapReduce计算框架下Shuffle过程),缩短分析任务整体运行时间。D1实例最佳的配置和性价比,支持包月、包年的预付费支付模式,同时也支持按小时付费的使用模型,真正做到即开即用,按量付费,同时也免除用户硬件运维的困扰,大大降低用户初期成本投入和门槛。

·可靠性高


传统大数据平台受机架、交换机和机房等的限制,很难做到机架级、交换机、机房级别的数据容灾可靠性保证。而阿里云ECS 独有的部署集(Deployment Set)机制,可以保证用户采用D1实例构建大数据平台时,在任何规模下都可以充分将实例按业务可靠性要求,在阿里云数据中心中,进行机架、交换机、可用区等级别容灾保护。同时,还可以充分享用阿里云全球高效、稳定的机房和网络基础设施,大大降低客户建设复杂度和成本。

采用阿里云ECS D1建设大数据平台,建设周期从传统方式“数周”缩短至云端“数分钟”,时间缩短95%以上;项目建设成本从一次性重资产投入,变为轻资产分期使用,初期建设陈本降低80%以上;借助阿里云可靠稳定的云基础设施和容灾保护能力,客户可轻松打造媲美业界一流公司的高可靠大数据平台,为大数据业务创新保驾护航。

吞吐密集型本地盘实例D1官网:https://promotion.aliyun.com/ntms/act/ecsinstancetd1.html

时间: 2024-12-21 20:37:43

省时省事省力 巧用阿里ECS D1构建大数据处理平台的相关文章

阿里云“数加”大数据平台为计算加点料

数据在现在的年代一点也不缺,大数据时代是一个很好的解释,而且计算也是我们从很早就开始做的一件事. 计算在那个年时代是一件相对困难的事情,但是在现如今计算的能力却平易近人.这就不得不说到图灵,他被誉为计算机之父,其让计算发生了质的飞跃. 为了计算而奋斗始终 为了无法计算的价值,正是现在企业要做的一件事,而这也成了阿里云甚至是2016栖大会上海站的主题,阿里巴巴集团首席技术官王坚对计算这点事做了充分的阐述. 阿里巴巴集团首席技术官王坚 因为有了互联网+数据+计算产生了巨大的价值,使得人类有机会看到以

阿里云发布一站式大数据平台“数加”

1月20日消息,阿里云在2016云栖大会上海峰会上宣布开放阿里巴巴十年的大数据能力,发布一站式大数据平台"数加",首批亮相20款产品.据介绍,在输出自身大数据能力的同时,"数加"还向有数据开发能力的团队开放.这些团队可入驻"数加",借助数加上的工具为各行各业提供数据服务. "这就像在淘宝开店一样,只是他们售卖的是专业能力."阿里云大数据事业部资深总监徐常亮表示,阿里云计划用3年时间吸引1000家合作伙伴入驻,共同分享1万亿的大

阿里云参与两大国家工程实验室获批,人工智能继续深入工业制造

免费开通大数据服务:https://www.aliyun.com/product/odps 近日,国家发改委公布大数据国家工程实验室名单,由阿里云参与的"工业大数据应用技术国家工程实验室"和"大数据系统软件国家工程实验室"均获批复认定,分别是工业大数据应用及大数据系统软件领域的唯一国家级工程实验室. 前者由航天云网旗下北京航天数据股份有限公司和阿里云联合共建.后者由清华大学和北京理工大学牵头,阿里云支撑实验室研发全生命周期大数据系统软件及其开源创新平台体系.   国

阿里云参与两大国家工程实验室获批 全面推进我国工业大数据能力建设

近日,国家发改委公布大数据国家工程实验室名单,由阿里云参与的"工业大数据应用技术国家工程实验室"和"大数据系统软件国家工程实验室"均获批复认定,分别是工业大数据应用及大数据系统软件领域的唯一国家级工程实验室.   前者由航天云网旗下北京航天数据股份有限公司和阿里云联合共建.后者由清华大学和北京理工大学牵头,阿里云支撑实验室研发全生命周期大数据系统软件及其开源创新平台体系.   国家工程实验室承担着国家科技创新的重要任务,此次共有19个国家工程实验室获批,其中大数据领

团购化妆品省事省力,当心化妆品是冒牌货

在网上购买化妆品成了时尚,省事省力,尤其是团购化妆品,更是极为省钱.但也有不少消费者是"哑巴吃黄连,有苦说不出",比如网上看到的产品跟收到的实物完全不相符,或是看起来是正品实际却是"水货"或冒牌货-- 业内人士曝光网购化妆品黑幕,称部分产品低至一折利润仍高达1000% 在网上购买化妆品成了时尚,省事省力,尤其是团购化妆品,更是极为省钱.但也有不少消费者是"哑巴吃黄连,有苦说不出",比如网上看到的产品跟收到的实物完全不相符,或是看起来是正品实际却是

【阿里在线技术峰会】李金波:企业大数据平台仓库架构建设思路

本文根据阿里云高级技术专家李金波在首届阿里巴巴在线峰会的<企业大数据平台仓库架构建设思路>的分享整理而成.随着互联网规模不断的扩大,数据也在爆炸式地增长,各种结构化.半结构化.非结构化数据的产生,越来越多的企业开始在大数据平台下进行数据处理.分享中,李金波主要从总体思路.模型设计.数加架构.数据治理四个方面介绍了如何利用大数据平台的特性,构建更贴合大数据应用的数据仓库. 直播视频: (点击图片查看视频) 幻灯片下载:点此进入 以下为整理内容. 总体思路 随着互联网规模不断的扩大,数据也在爆炸式

阿里十年经验输出,大数据平台“数加”的前世今生

2016 年1月20日,在云栖大会上阿里云发布了一站式大数据平台"数加",该平台集合了阿里巴巴十年的大数据能力以及上万名工程师实战检验,该平台是一站式的解决方案,首批亮相20款产品,覆盖数据采集.计算引擎.数据加工.数据分析.机器学习.数据应用等数据生产全链条. 数加平台由大数据计算服务(MaxCompute).分析型数据库(Analytic DB).流计算(StreamCompute)共同组成了底层强大的计算引擎,速度更快.成本更低.计算引擎之上,"数加"提供了丰

阿里亮相网络安全周 大数据共建生态安全

"钱盾"APP为用户提供赔付额高达120万的防欺诈险,"阿里聚安全"覆盖客户终端数高达8亿,"御城河"每天帮助服务商分析1.8亿次核心数据访问行为并拦截风险,阿里云保护着中国境内35%的网站,互联网安全志愿者联盟10年间实现15亿次举报--9月19日,阿里巴巴集团亮相2016国家网络安全宣传周,首次向外界全面展示其作为亚洲市值领先互联网公司在安全领域的强大防护能力和布局. "网络安全是现代商业发展的基础设施,要真正解决安全问题,核心要靠

阿里封神-大数据处理技术漫谈

以前一篇博客,从宏观描述了云梯1当时整体生态,年底了,笔者再梳理下软件栈,主要以开源软件为主,闭源不谈.大数据发展至今,开源软件层出不穷,也去解决了不同的问题,笔者试图去弄清楚这些,分门别类,后面也可以参照下.由于笔者知识面有限,难免会出现一些偏颇,不全,不正确,还请指正.后面也会有很多新的软件出现,一段时间后,软件栈也会变化的. 典型架构 很多的场景都是如上的,有web(包括无线.以前CS的模式.现在的BS模式等).DB.cache.数据分析我就用了Hadoop了(代名词,或者泛指数据仓库了)