【百科】走近飞天:盘古——存储管理服务

盘古是一个分布式文件系统,在整个阿里巴巴云计算平台----“飞天”中,它是最早被开发出的服务,因此用中国古代神话中开天辟地的盘古为其命名,希冀能创建出一个全新的“云世界”。在“飞天”平台中,它是负责数据存储的基石性系统,其上承载了一系列的云服务(如图1所示)。盘古的设计目标是将大量通用机器的存储资源聚合在一起,为用户提供大规模、高可用、高吞吐量和良好扩展性的存储服务。盘古的上层服务中,既有要求高吞吐量,期待I / O能力随集群规模线性增长的“开放存储”;又有要求低时延的“弹性计算”,而作为底层平台核心模块的盘古必须二者兼顾,同时具备高吞吐量和低时延。

 

 

     在内部架构上盘古采用Master / ChunkSer ver结构(如图2所示),Master管理元数据,多Master之间采用Primar y - Secondaries模式,基于PAXOS协议来保障服务高可用;ChunkServer负责实际数据读写,通过冗余副本提供数据安全;Client对外提供类POSIX的专有API,系统地提供丰富的文件形式,满足离线场景对高吞吐量的要求,在线场景下对低延迟的要求,以及虚拟机等特殊场景下随机访问的要求。

 

时间: 2024-10-03 20:48:37

【百科】走近飞天:盘古——存储管理服务的相关文章

【百科】走近飞天:伏羲——资源调度服务

"飞天"是阿里巴巴的云计算平台,其中的分布式调度系统被命名为"伏羲"(代码名称Fuxi),名字来自我国古代神话人物.伏羲主要负责管理集群的机器资源和调度并发的计算任务,目前支持离线数据处理(DAG Job)和在线服务(Service),为上层分布式应用如MaxCompute / OSS / OTS提供稳定.高效.安全的资源管理和任务调度服务,为阿里巴巴集团打造数据分享第一平台的目标提供了强大的计算引擎.   伏羲系统设计上采用M / S架构(如图1所示),系统有一个

两年内赚到60万美元?走近以色列在线攻击服务vDOS

vDOS这个在线攻击服务,在过去的两年里挣了60多万美元,同时帮助客户发起了15万次以上的DDoS攻击.然而戏剧性的是,现在vDOS自己却被入侵了,泄露了成千上万的付费用户和被DDoS目标的数据. vDOS服务简述 在2016年7月底,根据KrebsOnSecurity.com获取的vDOS数据显示,该攻击服务的站长是两个来自以色列的年轻人,此外还有着几位来自美国的年轻人为他们做技术支持. vDOS在过去的几年里发起了一系列的DDoS攻击,以攻击持续的秒数作为定价的基准.在2016年4月到7月之

【百科】详解阿里云技术核心——飞天

飞天(Apsara)是由阿里云自主研发.服务全球的超大规模通用计算操作系统.它可以将遍布全球的百万级服务器连成一台超级计算机,以在线公共服务的方式为社会提供计算能力.  从PC互联网到移动互联网到万物互联网,互联网成为世界新的基础设施.飞天希望解决人类计算的规模.效率和安全问题.飞天的革命性在于将云计算的三个方向整合起来:提供足够强大的计算能力,提供通用的计算能力,提供普惠的计算能力. 飞天诞生于2009年2月,目前为全球200多个国家和地区的创新创业企业.政府.机构等提供服务.   为什么叫飞

【阿里飞天】阿里飞天平台总架构师唐洪:飞天开放平台

中国最具影响.规模最大的大数据领域盛会--2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行.数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL.NewSQL等技术方向,还对互联网.金融.电信.交通.医疗等创新案例,大数据资源的法律法规.大数据商业利用的政策管制等有深入讨论. 阿里飞天平台总架构师唐洪带来的分享是"飞天开放平台",唐洪认为大数据和云计算可以说

飞天,进化!

转:阿里云的"飞天"是什么? 一.飞天是什么? 飞天(Apsara)是由阿里云自主研发.服务全球的超大规模通用计算操作系统.它可以将遍布全球的百万级服务器连成一台超级计算机,以在线公共服务的方式为社会提供计算能力. 从PC互联网到移动互联网到万物互联网,互联网成为世界新的基础设施.飞天希望解决人类计算的规模.效率和安全问题.飞天的革命性在于将云计算的三个方向整合起来:提供足够强大的计算能力,提供通用的计算能力,提供普惠的计算能力. 二.飞天的主要组成部分包括哪些,架构是怎样的? * 飞

【飞天stack】专访阿里李津:阿里云的第一行代码及专有云Apsara Stack的核心优势

随着计算日益成为水电煤一样的公共服务,越来越多的政府.大型企业以更加开放的姿态拥抱云计算.同时出于自身数据中心利旧和数据本地化的考虑,大量政企客户需要专属的云计算解决方案.4月20日,在云栖大会·深圳峰会上,阿里云发布专有云Apsara Stack,可为政企客户实现在自有的数据中心内构建完整的专属式云计算服务,为客户打造安全.可靠.弹性的云计算工作环境.  云栖大会·武汉峰会现场 而在云栖大会走到武汉之际,笔者在现场感受到阿里云的火热以及技术魅力,其中亮点之一的是阿里云资深产品总监李津就专有云的

360发力搜索服务以来,百度首次展开相应的反制行动

面对着360的强烈攻势,昨晚百度开始了绝地反击,用户在通过360综合搜索访问百度知道.百科.贴吧等服务时,将会强行跳转至百度首页.比如,在360搜索的新闻.MP3.地图选项中搜索"奇虎"关键词,会直接进入百度的搜索结果页面.而从8月28日晚间开始,当用户在360搜索框中使用出除百度网页的所有百度服务时,所有搜索结果都会直接跳转至百度首页.这也是360本月中旬发力搜索服务以来,百度首次展开相应的反制行动. 互联网搜索行业经过长久的酝酿,昨晚上演了一场"暗战".交锋的双

360方面在网址导航页面撤掉所有来自百度的默认服务

作为对昨日百度反制奇虎360搜索的回击,今天上午开始,360方面在网址导航页面撤掉所有来自百度的默认服务. 昨日百度悄然调整搜索效果以抵制奇虎360综合搜索,用户通过360综合搜索访问百度知道.百科.贴吧等服务时,将会强行跳转至百度首页. 事实上,在360搜索上线一周后,百度就曾做出回应,通过奇虎搜索访问百度知道,搜索结果将被标记. 作为反击,360方面今日将所有默认来自百度的相关服务撤换,百度地图更换为谷歌地图,MP3更换为搜狗音乐,图片更换为即刻搜索,网页.新闻.视频及问答服务全部应用自己旗

专·新·智·惠——阿里云引领云计算服务不断进化

2016年度最精彩的云计算盛会,杭州云栖大会正在杭州云栖小镇盛大召开.本届云栖大会的主题是"飞天·进化",服务作为飞天的核心能力之一,和飞天相生相伴,在云计算的长跑路上持续进化.本届杭州云栖大会,阿里云服务集体亮相,在服务主展台集中展示了覆盖公共云.专有云的全生命周期的支持计划.尊享服务和区域服务,更有云博士.智能质检和自动诊断等黑科技露面. 作为会议期间服务的重头戏,14日举办了以"用心做好服务,用技术开拓未来"为主题的服务专场,内容涵盖阿里云公共云.专有云的服务