Hadoop社区支持阿里云OSS 云计算与开源融合的新里程碑

记者从全球著名的开源软件社区Hadoop社区获悉,Hadoop支持阿里云的OSS对象存储文件系统,这是Hadoop第一次支持中国云计算服务商的对象存储文件系统。这意味着全球用户在使用Hadoop这一开源软件时,都可以无缝连接阿里云的OSS对象存储文件系统。这是继Docker支持阿里云存储以后,又一个更重大的里程碑。

OSS进入Hadoop社区后,意味着全球所有的Hadoop(HDFS)生态的离线,交互,数据仓库,深度学习等程序在不需要修改代码的情况下,自由读取和写入OSS对象存储,也提升了Hadoop社区的覆盖度和竞争力,也给用户提供了一个新的选择。

Hadoop社区作为大数据领域的开源软件,一直以来都受到了各个厂商的高度重视,对OSS的支持将更大程度的促进开源软件和云计算的互通与融合。

OSS开放云存储服务,是阿里云对外的提供的海量,安全和高可靠的云存储服务。计算和存储分离已经成为主流的技术形态,在阿里云上E-MapReduce产品中Hadoop组件可以直接利用OSS作为存储后端进行数据存取,E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务,这次OSS产品融入Hadoop社区,也意味着用户使用E-MapReduce组建Hadoop集群的时候,能够更加的方便快捷。

阿里云的高级技术专家亦龙说,“在大数据的时代,谁能做好用户的数据服务,谁就能更好的服务客户。”

“主流开源社区纷纷拥抱中国的技术生态,这也是对中国云计算行业的认可。阿里愿意用自己的技术去回馈社会。当这四个阶段发生的时候,从拥抱、回馈、融合、回报,只有当四个阶段做完之后,你才会知道怎么做技术,怎么把技术对社会的服务。”阿里云资深总监李津告诉记者。

时间: 2025-01-08 14:27:13

Hadoop社区支持阿里云OSS 云计算与开源融合的新里程碑的相关文章

Synology®新增支持阿里云OSS对象存储

群晖科技Synology与阿里云合作在群晖Cloud Sync套件新增支持阿里云OSS对象存储,让用户可以将NAS数据备份至阿里云OSS上,或是将阿里云OSS的数据存储到本地NAS,快速打造异地备份解决方案. 数据意外事故频传,无论是勒索病毒.天灾.硬件损坏或是人为误操作,都可能造成数据丢失或服务中断.根据国外机构IT Policy Compliance Group报告指出,全球每年有近百万的企业因为数据丢失而破产,平均每丢失一个客户记录就会造成100美元的损失.看准企业对数据保护的需求,群晖宣

国内首家 Docker新增支持阿里云OSS

近年来,开源的容器应用引擎Docker在企业IT市场中风生水起,短短两年内,建立在Docker容器软件内的应用被下载5.35亿次.全球约有400万人在使用Docker,约有150,000个在线应用靠Docker容器运行,大型企业正在空前快速地测试或计划采用Docker,胜过其他任何开源的云端产品. 8月12日,Docker1.8和Docker Registry 2.1发布,新版本中加入了Docker Registry对阿里云开放存储服务的正式支持,阿里云成为被Docker官方支持的存储服务的云服

Tachyon 已支持阿里云 OSS,正式改名 Alluxio

近日,人气很火的开源分布式虚拟存储系统 Tachyon 正式更名为 Alluxio,并发布了1.0版本.新的版本新增支持任意存储系统如阿里云对象存储 OSS.Amazon S3.OpenStack Swift 等. 据阿里云高级技术专家罗李介绍,阿里云为 Alluxio 社区提供了基于对象存储 OSS 的 UnderFileSystem 的支持,让存储在 Alluxio 内存文件系统中的数据可以使用 OSS 对象存储服务来作为持久化存储介质和数据交换平台. 此 前,Alluxio 用户遇到了无法

开源备份工具duplicity支持阿里云OSS后端存储

duplicity简介 duplicity是一款开源的备份工具,使用librsync高效地支持增量备份,节约本地存储空间,同时使用GnuPG加密数据.duplicity能将数据轻松的备份到本地或远端文件共享存储,同时支持各类云存储. 不过官方版本并没有支持阿里云作为后端存储,最近用oss最新的Python SDK oss2支持了duplicity上传阿里云OSS,先实现了一个简单的版本,在本文附件中可以下载到集成了aliyunbackend的duplicity安装包. 适用场景 重要文档数据的打

王坚:开发者和客户教会阿里云做云计算

本文讲的是王坚:开发者和客户教会阿里云做云计算,云计算在中国正呈现百花齐放的发展势头,各行业.各领域都在以各种各样的方式尝试云计算技术与自身业务的深度结合,云计算的应用实践成为业界关注的重点.11月9日,在杭州举行的阿里云开发者大会,为所有关注者提供了深入了解云计算应用落地的重要机会,大会全面展示了阿里云飞天开放平台上的众多云计算服务,畅捷通.中软.壹人壹本等遍布SaaS.软件企业.互联网和移动互联网等众多领域的企业,基于自身的云计算战略,与阿里云展开了深入的合作. ▲阿里集团CTO 兼阿里云总

以服务为驱动 看阿里云重新定义云计算

本文讲的是以服务为驱动 看阿里云重新定义云计算[IT168评论]我们时常谈起云计算,那云计算是从哪个行业最先发起的呢?答案是互联网,互联网大应用推动了IT产业的变革.互联网的特点是用户需求变化非常快,要求基础架构.软件搭建的方式更加高效,更符合用户的实际需求.为了适应互联网的快速发展,以弹性.高扩展性.安全.低成本为特点的云计算诞生.紧接着,是大数据概念的提出,与云计算一起成为了互联网化时代下最受企业关注的新技术.在本文中,笔者将结合云计算概念.云服务界定.云安全.云与大数据的关系.产业生态.国

阿里云oss挂载到linux本地文件系统

对象存储 OSS 阿里云对象存储服务 (OSS) 是一种高度可伸缩且安全可靠的云对象存储服务,让您可以存储.备份和归档大量数据.阿里云 OSS 是一种简单易用的服务,让您每秒能处理数百万请求,它还支持大数据.科学与财务分析以及媒体应用. 阿里云是一家全球性云对象存储提供商,让您可以随时随地以高度安全.经济实惠的方式存储.处理和访问数据.阿里云 OSS 为企业提供加密云存储,具有自动数据复制与故障转移功能及高达 99.9% 的服务可用性和数据可靠性,是容灾的理想选择. 对比 阿里云OSS : 好处

Greenplum insert的性能(单步\批量\copy) - 暨推荐使用gpfdist、阿里云oss外部表并行导入

标签 PostgreSQL , Greenplum , HybridDB for PostgreSQL , insert , copy , 外部表 , oss , gpfdist 背景 Greenplum是一款MPP数据库产品,优势是优良的OLAP性能,支持多节点并行计算,实现PB级数据量的实时分析. 除了分析能力,数据写入吞吐也是Greenplum的重要指标,Greenplum支持从master节点写入,也支持从segment节点并行写入. 从segment并行加载的话,性能是线性提升的,因为

浙数文化携手阿里云拓展云计算服务

                                   浙报数字文化集团股份有限公司(A股上市公司,证券代码600633,简称"浙数文化")与阿里云计算有限公司(简称"阿里云")今日正式宣布达成战略合作,共同建设云计算服务平台,联合在智慧城市解决方案.企业上云和互联网大数据云计算培训等领域互相合作. 拟共同建设的云计算服务平台中,阿里云将提供"飞天"计算模块和技术与人才支撑:浙数文化"富春云"数据中心提供云服务基