分布式基础学习【一】 —— 分布式文件系统

分布式基础学习

所谓分布式,在这里,很狭义的指代以Google的三驾马车,GFS、Map/Reduce、BigTable 为框架核心的分布式存储和计算系统。通常如我一样初学的人,会以Google这几份经典的论 文作为开端的。它们勾勒出了分布式存储和计算的一个基本蓝图,已可窥见其几分风韵,但 终究还是由于缺少一些实现的代码和示例,色彩有些斑驳,缺少了点感性。幸好我们还有 Open Source,还有Hadoop。Hadoop是一个基于Java实现的,开源的,分布式存储和计算的项 目。作为这个领域最富盛名的开源项目之一,它的使用者也是大牌如云,包括了Yahoo, Amazon,Facebook等等(好吧,还可能有校内,不过这真的没啥分量...)。Hadoop本身,实 现的是分布式的文件系统HDFS,和分布式的计算(Map/Reduce)框架,此外,它还不是一个 人在战斗,Hadoop包含一系列扩展项目,包括了分布式文件数据库HBase(对应Google的 BigTable),分布式协同服务ZooKeeper(对应Google的Chubby),等等。。。

如此,一个看上去不错的黄金搭档浮出水面,Google的论文 + Hadoop的实现,顺着论文 的框架看具体的实现,用实现来进一步理解论文的逻辑,看上去至少很美。网上有很多前辈 们,做过Hadoop相关的源码剖析工作,我关注最多的是这里,目前博主已经完成了HDFS的剖 析工作,Map/Reduce的剖析正火热进行中,更新频率之高,剖析之详尽,都是难得一见的, 所以,走过路过一定不要错过了。此外,还有很多Hadoop的关注者和使用者贴过相关的文章 ,比如:这里,这里。也可以去Hadoop的中文站点(不知是民间还是官方...),搜罗一些学 习资料。。。

我个人从上述资料中受益匪浅,而我自己要做的整理,与原始的源码剖析有些不同,不是 依照实现的模块,而是基于论文的脉络和实现这样系统的基本脉络来进行的,也算,从另一 个角度给出一些东西吧。鉴于个人对于分布式系统的理解非常的浅薄,缺少足够的实践经验 ,深入的问题就不班门弄斧了,仅做梳理和解析,大牛至此,可绕路而行了。。。

一. 分布式文件系统

分布式文件系统,在整个分布式系统体系中处于最低层最基础的地位,存储嘛,没了数据 ,再好的计算平台,再完善的数据库系统,都成了无水之舟了。那么,什么是分布式文件系 统,顾名思义,就是分布式+文件系统。它包含这两个方面的内涵,从文件系统的客户使用的 角度来看,它就是一个标准的文件系统,提供了一系列API,由此进行文件或目录的创建、移 动、删除,以及对文件的读写等操作。从内部实现来看,分布式的系统则不再和普通文件系 统一样负责管理本地磁盘,它的文件内容和目录结构都不是存储在本地磁盘上,而是通过网 络传输到远端系统上。并且,同一个文件存储不只是在一台机器上,而是在一簇机器上分布 式存储,协同提供服务,正所谓分布式。。。

因此,考量一个分布式文件系统的实现,其实不妨可以从这两方面来分别剖析,而后合二 为一。首先,看它如何去实现文件系统所需的基本增删改查的功能。然后,看它如何考虑分 布式系统的特点,提供更好的容错性,负载平衡,等等之类的。这二者合二为一,就明白了 一个分布式文件系统,整体的实现模式。。。

时间: 2024-11-27 04:24:45

分布式基础学习【一】 —— 分布式文件系统的相关文章

分布式基础学习【二】 —— 分布式计算系统(Map/Reduce)

二. 分布式计算(Map/Reduce) 分布式式计算,同样是一个宽泛的概念,在这里,它狭义的指代,按Google Map/Reduce 框架所设计的分布式框架.在Hadoop中,分布式文件系统,很大程度上,是为各种分布式计 算需求所服务的.我们说分布式文件系统就是加了分布式的文件系统,类似的定义推广到分 布式计算上,我们可以将其视为增加了分布式支持的计算函数.从计算的角度上看, Map/Reduce框架接受各种格式的键值对文件作为输入,读取计算后,最终生成自定义格式的 输出文件.而从分布式的角

一脸懵逼学习Hadoop分布式集群HA模式部署(七台机器跑集群)

1)集群规划:主机名        IP      安装的软件                     运行的进程master    192.168.199.130   jdk.hadoop                     NameNode.DFSZKFailoverController(zkfc)slaver1    192.168.199.131    jdk.hadoop                       NameNode.DFSZKFailoverController(

分布式深度学习算法产品及在蚂蚁金服中的应用

近日在北京刚刚举办的Strata + Hadoop World大会很有亮点.阿里云iDST褚崴在会上分享了<分布式深度学习算法产品及其在蚂蚁金服业务中的应用>.下为大数据文摘所做的整理文章. 近年来深度学习技术迅猛发展,在图像识别,语音交互,机器翻译等领域展现出了巨大的潜力.依托阿里云自主研发的分布式数据存储与计算服务ODPS,我们研发了机器学习平台产品PAI (platform of artificial intelligence),支持分布式的深度学习算法产品.在CPU和GPU混布计算集群

AI大事件 | 人类理解行为数据集推出,Uber发布自家分布式深度学习框架

呜啦啦啦啦啦大家好呀,又到了本周的AI大事件时间了.过去的一周中AI圈都发生了什么?大佬们互撕了哪些问题?研究者们发布了哪些值得一读的论文?又有哪些开源的代码和数据库可以使用了?文摘菌带你盘点过去一周AI大事件! 新闻 AlphaGo Zero: 从零开始的学习 来源:DEEPMIND.COM: 链接:https://deepmind.com/blog/alphago-zero-learning-scratch/?utm_campaign=Revue%20newsletter&utm_mediu

英特尔开源分布式深度学习库BigDL:支持高性能大数据分析

近日,英特尔开源了一个运行在 Apache Spark 上的分布式深度学习库 BigDL,其可以利用已有的 Spark 集群来运行深度学习计算,并且还能简化从 Hadoop 的大数据集的数据加载. 开源地址>>> 据介绍,在 Xeon 服务器上的测试表明,BigDL 相比于 Caffe.Torch 或 TensorFlow 等开源框架实现了显著的速度提升.其速度可与主流的 GPU 相媲美,而且 BigDL 也能扩展到多达数十个 Xeon 服务器. BigDL 库支持 Spark 1.5.

基于Hadoop集群的大规模分布式深度学习

前言 在过去的十年里,Yahoo一直持续投资建设和扩展Apache Hadoop集群,到目前为止共有超过4万台服务器和600PB数据分布在19个集群上.正如在2015 Hadoop 峰会上介绍的,我们在自己的服务器上开发了可扩展的机器学习算法,用于分类.排序和计算词向量.目前,Hadoop集群已成为Yahoo大规模机器学习的首选平台. 深度学习(Deep Learning, DL)是雅虎很多产品的核心技术需求.在2015 RE.WORK深度学习峰会上,Yahoo Flickr团队(Simon O

交换机基础知识:分布式链路聚合技术

交换机基础:IRF架构下的聚合技术IRF技术将多台交换设备组合成一个高性能的整体,目的是以尽可能少的开销,获得尽可能高的网络性能和网络可用性.支持IRF技术的设备都具备三个重要特性:分布式设备管理DDM.分布式链路聚合DLA和分布式弹性路由DRR.这三项技术是完成IRF技术目标不可 缺少的环节.其中,DLA用于提高传输链路的可用性和容量.多台IRF交换机堆叠后,端口的数量增加了,要求DLA能支持更多的聚合组,每组能有更多的链路聚合成员.更多的聚合组意味着交换设备可提供更多的高速链路,而更多的聚合

Intel开源了基于Apache Spark的分布式深度学习框架BigDL

Intel开源了基于Apache Spark的分布式深度学习框架BigDL.BigDL借助现有的Spark集群来运行深度学习计算,并简化存储在Hadoop中的大数据集的数据加载. 在Xeon服务器上运行的测试结果表明,BigDL比其他开源框架Caffe.Torch和TensorFlow有显著的性能提升.BigDL速度可与主流GPU匹敌,而且能够扩展到数十个Xeon服务器. BigDL库支持Spark 1.5.1.6和2.0版本,并容许将深度学习嵌入在现有的Spark程序中.BigDL库中有把Sp

《中国人工智能学会通讯》——7.13 深度学习与分布式表示学习概览

7.13 深度学习与分布式表示学习概览 深度学习的概念源于人工神经网络的研究.深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的有效表示,而这种使用相对较短.稠密的向量表示叫做分布式特征表示(也可以称为嵌入式表示).本部分主要对于目前使用较广的一些学习算法进行一个简单的回顾. 首先介绍一些浅层的分布式表示模型.目前在文本领域,浅层分布式表示模型得到了广泛的使用,例如 word2vec.GloVec 等[6] .与传统词袋模型对比,词嵌入模型可以将词或者其他信息单元(例如短