拨云见日 解密分布式云存储利器FastDFS

2012数据库技术大会于4月13日在北京永泰朋福.喜来登酒店隆重召开。本次大会已经是IT168、ITPUB、IXPUB、ChinaUnix联合主办的第三届数据库技术会议。大会将针对大数据架构设计、数据库安全、分布式数据库、商业智能、NoSQL、Hadoop等多个重点话题进行深入探讨。此次大会得到了全国数据库技术高手们的高度关注与支持,是当前象征最高技术水平的数据库工程师盛会。

在14日下午的分布式大数据架构设计专场中演讲嘉宾是开源FastDFS研发者余庆。余庆,有着超过10年的互联网开发和架构经历,曾在新浪网担任开发工程师,在雅虎中国担任架构师,现在一淘网从事数据抓取相关工作。余庆曾主导过新浪内容管理系统、雅虎论坛和雅虎相册的设计和开发工作,对大型网站架构和存储有着非常丰富的经验。余庆是开源分布式文件系统FastDFS和分布式KV系统FastDHT的作者,对分布式数据存储架构有着比较深入的研究。

余庆

余庆首先给我们介绍一下FastDFS,他表示FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。

FastDFS提供的功能

FastDFS的特点

FastDFS扩展模块特性

余庆先生还给我们讲述了FastDFS如何解决同步延迟问题。他表示FastDFS在存储生成的文件名中,会包含源头storage IP地址和文件创建时间戳。同时源头storage定时向tracker报告同步情况,包括向目标服务器同步到的文件时间戳,而tracker收到storage的同步报告后,找出该组内每台storage被同步到的时间戳(取最小值),作为storage属性保存到内存中。这样可以最大限度的消除同步延迟。

最后余庆先生给我们介绍了FastDFS云存储的部署方案,详情看下图。

时间: 2024-09-17 13:36:22

拨云见日 解密分布式云存储利器FastDFS的相关文章

云存储利器DBank网盘正式更名为华为网盘

2011年12月8日消息,华为公司宣布旗下互联网存储服务DBank网盘从今日(12月8日)起正式更名为华为网盘. 与此同时,华为网盘Android客户端今日升级到1.0.8.0版,该版本新增加"手机相册备份"等功能.后续将推出通讯录.音乐.视频等一键备份功能. 据了解,华为从2009年开始低调试水互联网,同年3月推出互联网存储服务--DBank网盘,随后发布基于Android平台的手机浏览器--天天浏览器.截止今年9月华为网盘(DBank网盘)用户数已突破1000万. 官方资料显示,华

云存储利器:华为DBank网盘

应用名称:华为DBank网盘 应用平台:Android(免费) 官方网站:http://www.dbank.com/ 网盘作为个人存储.分享的平台,在互联网上早已被网民所广泛接受,随着移动互联网的发展和智能手机的普及,网盘的使用必然会延伸到移动终端上来,与pc相比,移动终端更需要网盘作为云端存储,多种终端共取数据,提高效率,今天介绍的华为DBank网盘Android版正是一款主流的移动网盘产品. 据开发者向网易科技介绍,DBank网盘最大的特点就是"免打扰"的工作模式,可以兼顾工具型应

基于虚拟化与分布式技术的云存储研究

基于虚拟化与分布式技术的云存储研究 刘 亮 云存储是云计算与云服务实现的核心基石之一,目前业界已有基于虚拟化技术和分布式存储技术的多种云存储解决方案,但是其技术比较与演进趋势仍不明朗.该文从研究目前的虚拟化和分布式云存储技术着手,详细分析对比了各类技术的实现原理.适用场景与应用情况,进而提出了云存储发展的预期,为各种云存储应用与研究提供参考. 关键词:虚拟化:分布:云存储 temp_12092310095551.pdf

企业云存储八大选择

近年来,云计算.云存储技术呈 快速发展状态,云存储领域的业务范围也越来越广,开始涉及到政府.医疗.学校.企事业等单位.随着企业对数据存储的要求越来越高,很多企业都有着由于增长IT基础设施所面临的存储问题以及自己搭建存储所面临的高昂成本和运维成本,这些问题都困扰着企业.如何选择适合自己企业的云存储服务,从而 减轻企业负担成为很多企业的重中之重. 目前国内提供云存储的各大服务商,一般都是采用完全免费.部分免费的形式, 但是,在国内,因为对于单个文件 大小的限制,使得很多用户抱怨,免费用户受到了严格的

初志:借力云存储 掌控云时代

云,必然是未来的趋势.国内云市场群雄并起,各大跨国厂商为争夺市场纷纷推出了各具特色的云解决方案,而在这其中,国产厂商也奋起直追,希望利用自身的优势与各巨头平起平坐. 初志:借力云存储 掌控云时代 初志科技公司其以"借力云存储,掌控云时代"为主题的云计算大会上提出了未来信息科技的五大发展方向,并展示了基于集群技术的初志云存储解决方案,同时还发布了帮助用户向云过渡的"宏桥"云计算战略. 初志InitCloud云平台采用了虚拟化集群计算.分布式云存储.分布式容灾备份以及全

金山快盘:数据服务定位个人云存储中心

[IT168 资讯]云存储会改变生活,这似乎是一个不争的事实,对金山这样的国内厂商来说,要在云存储领域小试牛刀也是在前期作了充足的准备的.07年,金山就开始了云存储探索,之后推出的金山快盘则明示了金山云服务的道路和未来. 金山快盘:本身是一个品牌 实际上金山快盘产品包含了三个组成部分,包含了我们能够在用户直观地看得到地是一个桌面的PC端的同步网盘,还有在各个移动互联网终端包括Android.iOS等各个移动终端上的客户端,然后背后是一个非常庞大的可以说比较有技术含量的分布式云存储技术,加上一个比

国内云存储领域的九雄争霸

据国外媒体报道,云存储应用Dropbox用户数量已由去年12月份的1亿增长至1.75亿.这家成立于2007年的公司凭借着免费试用加高级服务收费的模式,在移动互联网的发展大潮中乘势而起,迅速占领了个人用户云存储市场. 国内对个人云存储市场的争夺从未停止.2012年之前,115网盘.金山快盘.酷盘和华为网盘几乎垄断了整个网盘市场.随后,许多互联网公司如腾讯.百度等也加入了云存储市场战局.在一番"攻城略地"厮杀之后,新浪微盘.360云盘.minicloud迷你云.百度云以及腾讯微云都凭借自身

云存储让海量数据产生更大价值

企业数据急剧膨胀,海量存储挑战愈加严峻.对于各类行业的用户而言,爆炸性增长的海量数据正如潮水般地冲击着他们的存储系统.同时,各行业对于数据的安全性要求也越来越高.特别是视频监控.高性能计算等行业,不仅对存储系统的容量.可靠性需求日益提高,而且对于传输带宽也提出了更高的要求. 面对不断增长的数据,传统的存储架构由于扩展性较差,当用户容量及性能需求增加时,只能一味地添加高端存储设备.长此以往,存储环境就会变得日益复杂,管理和运营成本更高,并造成了过高的能源消耗.同时,过于复杂的存储架构和备份方式也很

傲游携手金士顿 云存储U盘全球发布

近日,全球最大存储厂商金士顿发布了具有革命性意义的云存储U盘,将便携式存储设备与高端云计算技术完美结合,为用户提供了"永不丢失.永久在线"的便携式云存储服务.据悉,云存储U盘中的云端技术支持由国际知名浏览器专家傲游提供.傲游是起步于新加坡,并为全球网民提供服务的国际浏览器厂商,目前用户遍布全球120个国家和地区.这次傲游与金士顿的合作是一次真正意义上的"软硬结合",并将为云存储服务的全球应用开启新的篇章. 图一 傲游具有丰富的云存储经验,从2003年起,傲游就向全球