Gfarm 2.5.1发布 分布式文件系统

Gfarm是一款日本开发的分布式文件系统，一般用于大规模集群计算。它通过UserLand实施，FUSE安装，利用一个文件的">访问数据节点的位置，支持广域网的Globus GSI。用户可以控制Gfarm上的文件副本位置，Gfarm可以用来作为一种替代存储系统到HDFS，支持Hadoop，Samba和GridFTP。它是一个面向数据密集型网格应用程序的全局文件系统，支持对文件的并行I／O 操作，在网格环境中，Gfarm 采用GSI［8］认证方式，它不接受多级受限的代理证书。

Gfarm 2.5.1版本包括复制元数据服务器的错误修正，建议用户进行升级到本版本。Gfarm和gfarm2fs现在支持MacOS X。

软件信息：http://datafarm.apgrid.org/

下载地址：http://sourceforge.net/projects/gfarm/files/gfarm_v2/2.5.1/gfarm-2.5.1.tar.gz/download

时间： 2024-10-10 09:09:18

Gfarm 2.5.1发布 分布式文件系统的相关文章

Ceph 0.80.7 发布，分布式文件系统

Ceph是加州大学Santa Cruz分校的Sage Weil(DreamHost的联合创始人)专为博士论文设计的新一代自由软件分布式文件系统.自2007年毕业之后,Sage开始全职投入到Ceph开 发之中,使其能适用于生产环境.Ceph的主要目标是设计成基于POSIX的没有单点故障的分布式文件系统,使数据能容错和无缝的复制.2010年3 月,Linus Torvalds将Ceph client合并到内 核2.6.34中.IBM开发者园地的一篇文章 探讨了Ceph的架构,它的容错实现和简化海量数

各种分布式文件系统的比较

适合做通用文件系统的有 MooseFS,GlusterFS,Lustre. MooseFS 支持FUSE,相对比较轻量级,对master服务器有单点依赖,用perl编写,性能相对较差,国内用的人比较多,易用,稳定,对小文件很高效. + 支持文件元信息 + mfsmount 很好用 + 编译依赖少,文档全,默认配置很好 + mfshdd.cfg 加 * 的条目会被转移到其它 chunk server,以便此 chunk server 安全退出 + 不要求 chunk server 使用的文件系统格

Hadoop分布式文件系统：架构和设计要点

Hadoop分布式文件系统:架构和设计要点 原文:http://hadoop.apache.org/core/docs/current/hdfs_design.html一.前提和设计目标 1.硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速.自动的恢复是HDFS的核心架构目标. 2.跑在HDFS上的应用与一般的应用不同,它们主要是以流式读为主,做批量处理:比之关注数据访问的低延迟问题,更关键的在于数据访问的高吞吐量. 3.

当下流行的分布式文件系统大阅兵

当下流行的分布式文件系统大阅兵 本文对目前数种分布式文件系统进行简单的介绍.当前比较流行的分布式文件系统包括:Lustre.Hadoop.MogileFS.FreeNAS.FastDFS.NFS.OpenAFS.MooseFS.pNFS.以及GoogleFS. Lustre(www.lustre.org) lustre是一个大规模的.安全可靠的,具备高可用性的集群文件系统,它是由SUN公司开发和维护.该项目主要的目的就是开发下一代的集群文件系统,可以支持超过10000个节点,数以PB的数量存储系

从HDFS看分布式文件系统的设计需求

分布式文件系统的设计需求大概是这么几个:透明性.并发控制.可伸缩性.容错以及安全需求等.我想试试从这几个角度去观察HDFS的设计和实现,可以更清楚地看出HDFS的应用场景和设计理念.     首先是透明性,如果按照开放分布式处理的标准确定就有8种透明性:访问的透明性.位置的透明性.并发透明性.复制透明性.故障透明性.移动透明性.性能透明性和伸缩透明性.对于分布式文件系统,最重要的是希望能达到5个透明性要求: 1)访问的透明性:用户能通过相同的操作来访问本地文件和远程文件资源.HDFS可以做到这一

win2003分布式文件系统及其部署 图文教程_win服务器

DFS介绍 使用分布式文件系统可以轻松定位和管理网络中的共享资源.使用统一的命名路径完成对所需资源院的访问.提供可靠的负载平衡.与FRS(文件复制服务)联合在多台服务器之间提供冗余.与windows权限集成以保证安全. 配置分布式文件服务器的过程很简单,可以使用"DFS管理"组件来配置,也可使用"分布式文件系统"组件. 分布式文件系统(DFS)把一些分散的(分布在局域网内各个计算机上)共享文件夹,集合成一个文件夹内(虚拟共享文件夹)利用分布式文件夹,对于用户来说,要

A16Z 750万美元投资分布式文件系统Tachyon

摘要: 据WSJ消息,Tachyon日前获得了硅谷风投A16Z 750万美元A轮投资.A16Z的普通合伙人Peter Levine加入Tachyon董事会. 根据该项目官网的介绍,Tachyon是一个以内存为中心的分布式文件系统,能够为 据WSJ消息,Tachyon日前获得了硅谷风投A16Z 750万美元A轮投资.A16Z的普通合伙人Peter Levine加入Tachyon董事会. 根据该项目官网的介绍,Tachyon是一个以内存为中心的分布式文件系统,能够为集群框架(如Spark.MapRe

C#和.NET中如何利用FastDFS打造分布式文件系统

背景 海量存储.系统负载的迁移.服务器吞吐的瓶颈等等 让文件系统独立于业务系统 提高整个项目的扩展性以及可维护性 目前主流的方案 MFS FASTDFS GFS LUSTRE HADOOP等等 我选择的是FASTDFS 用一句广告语来说 "免费.快速.找得到".FASTDFS的作者是淘宝的资深架构师余庆,很诙谐.很有爱!!!其他方案还没玩过 暂不评论. 简介 FastDFS是一款开源的轻量级分布式文件系统纯C实现,支持Linux.FreeBSD等UNIX系统类google FS,不是通

分布式文件系统应用（上） 理论

自从6月份出山以来 就一直琢磨着搞一套通用的服务化平台.在设计用户行为分析以及用户推广的时候,发现自己的构架里对海量文件的存储没有一个合理的方案.起初打算用windows2003中dfs系统开发一套新的文件系统,后来发现win下的dfs是个大坑,未遂.然后考虑到win平台与linux系统之间关于文件处理的优劣与稳定性,最终选择linux下fastdfs. 下面先简单介绍下分布式文件系统然后结合我的实际case给大家图文演示,在这之前先感谢下fishman.咕咚.以及菲雪同学的大力支持.你们是最棒