并行文件系统 BeeGFS 现已开源

2月23日 ThinkParQ 宣布完整的 BeeGFS 并行文件系统 的源码现已开源。由于 BeeGFS 是专为要求性能的环境开发的,所以它在开发时十分注重安装的简易性以及高度灵活性,包括融合了在存储服务器同时做计算任务时需要的设置。随着系统中的服务器以及存储设备的增加,文件系统的容量以及性能将是需求的拓展点,无论是小型集群还是多达上千个节点的企业级系统。

官方第一次声明开放 BeeGFS 的源码是在 2013 年的国际超级计算大会上发布的。这个声明是在欧洲的百亿亿次级超算项目DEEP-ER 的背景下做出的,在这个项目里为了得到更好的 I/O 要求,做出了一些新的改进。对于运算量高达百亿亿次的系统,不同的软硬件必须有效的协同工作才能得到最佳的拓展性。因此,开源 BeeGFS 是让一个百亿亿次的集群的所有组成部分高效的发挥作用的一步。

“当我们的一些用户对于 BeeGFS 十分容易安装并且不用费心管理而感到高兴时,另外一些用户则想要知道它是如何运行的以便于更好的优化他们的应用,使得他们可以监控它或者把它移植到其他的平台上,比如 BSD,” Sven Breuner 说道,他是 ThinkParQ (BeeGFS 背后的公司)的 CEO,“而且,把 BeeGFS 移植到其他的非 X86 架构,比如 ARM 或者 Power,也是社区即将要做的一件事。”

对于未来的采购来说,ARM 技术的稳步发展确实使得它成为了一个越来越有趣的技术。因此, BeeGFS 的团队也参与了ExaNeSt,一个来自欧洲的新的百亿亿次级超算计划,这个计划致力于使 ARM 的生态能为高性能的工作负载做好准备。“尽管现在 BeeGFS 在 ARM 处理器上可以算是开箱即用,这个项目也将给我们机会来证明我们在这个架构上也能完全发挥其性能。”, Bernd Lietzow , BeeGFS 中 ExaNeSt 的领导者补充道。

作为一个有着 25 K 行 C++ 代码的元数据服务以及约 15 K 行存储服务的项目,BeeGFS 相对比较容易理解和拓展,不只是对于大神,对于对文件系统有兴趣的大学生也是这样。在 GitHub 上已经有很多的为 BeeGFS 写的项目,比如基于浏览器的监控或者 Docker 一体化。

====================================分割线================================
文章转载自 开源中国社区[http://www.oschina.net]

时间: 2024-07-30 20:53:51

并行文件系统 BeeGFS 现已开源的相关文章

计算性能当然重要,但并行文件系统才是HPC运转的基础

每六个月发布一次的HPC 500强排行榜越来越受到业界广泛关注,尤其在近几年,连续数届荣登榜首的都是中国的HPC系统. HPC(高性能计算)话题备受瞩目,不仅因为本土系统在业界博得好评,更重要的是高性能计算逐渐走进每个人的生活,并且发挥着不可或缺的作用.比如说金融.气象.能源.制造等行业中的很多企事业都在应用高性能计算,作为普通百姓的衣食住行,我们在刷卡购物.打电话.听天气预报.出门坐车时也已经在享受高性能计算所带来的准确与方便. 谈到HPC,大家最关注的总是计算性能,却鲜有人谈到HPC的存储系

深度剖析pNFS和文件系统的未来

随着未来对文件系统协议的升级,例如NFS(包括并行NFS,即pNFS),NFS将有可能取代现有的许多专有文件系统吗? 我们先拿DigitalFilm Tree来举例,它是一家位于好莱坞.为娱乐行业提供后期处理和虚拟效果服务的公司.这家公司采用了包括Apple Xsan.HP StorageWorks阵列.QLogic交换机以及其他存储厂商的产品.另外他们还采用了混合型的操作系统环境,在Mac和PC上处理用户的工作. DigitalFilm Tree创始人兼首席执行官Ramy Katrib表示:"

开源框架思索-----一篇醍醐灌顶的好文章

本文源于IT168 作者 陈雄华 http://tech.it168.com/o/2006-12-13/200612131101722.shtml 1 空前繁荣的开源世界 大致2000年以前,Java世界还是Sun一言九鼎,唯我独尊的时代.Sun发布的任何规范和标准都无一例外地被Java社区有意无意的追捧着,Java世界沉浸在一片歌功颂德,前拥后簇的氛围里.IBM,Bea,Oracle这些Java阵营的代表者也都为能最先最快实现Sun的各种规范而弹冠相庆. 但这三四年来,Java的列车驶进了春秋

阿里巴巴开源技术汇总:115个软件

近期策划了多期和开源产品相关的内容,比如: 28款GitHub最流行的开源机器学习项目(一和二):TensorFlow排榜首 史上最全的"大数据"学习资源(上和下) 史上最全的机器学习资料(上和下) 还有最近非常受关注的6月将开源的阿里Weex项目<深度揭秘阿里移动端高性能动态化方案Weex>以及一直高居阅读榜首的<阿里自主研发的互动游戏引擎Hilo开源>...... 当然,专家文章下面的评论总是少不了这个问题"技术很好,会开源吗?" 阿里巴

一篇文章,掌握所有开源数据库的现状

  数据库作为业务的核心,在整个基础软件栈中是非常重要的一环.近几年社区也是新的方案和思想层出不穷,接下来我将总结一下近几年一些主流的开源数据库方案,其背后的设计思想以及适用场景.本人才疏学浅如有遗漏或者错误请见谅.本次分享聚焦于数据库既结构化数据存储 OLTP 及 NoSQL 领域,不会涉及 OLAP.对象存储.分布式文件系统. 1 开源RDBMS与互联网的崛起 很长时间以来,关系型数据库一直是大公司的专利,市场被 Oracle / DB2 等企业数据库牢牢把持.但是随着互联网的崛起.开源社区

NASA 美国国家航空航天局开源项目列表

美国宇航局,即 NASA ,将 253 个软件项目开源目前托管在 Gitithub上(https://github.com/nasa),NASA 希望可以通过开源收获更多项目改进的建议,同时NASA也希望用户可以给NASA提交项目,为此专门开通了官方的开源网站 Code NASA . Livingstone2 -- 人工智能(AI)软件系统 Livingstone2 是一个可重用的人工智能(AI)软件系统,旨在帮助飞船生命支持系统.化工厂或其他复杂系统在操作强劲以最小的人力监督,即使面对硬件故障

这10款开源的存储解决方案可能更适合你

你的企业离不开存储数据.但是,当你去寻找一款可以涵盖所有存储需求的解决方案时,可能性却似乎是无穷无尽的,其中一些可能会花费你大量的IT预算.所以,当你正在选购数据存储工具的时候,你不应该忽视开源. 一旦你深入探寻开源世界,你会发现大量解决方案几乎可以解决所有问题或者针对所有用途--包括存储.为了不必花费大量时间寻找适合你需求的适当的解决方案,我已经列出了一个名单,有10个将帮助你找到完美存储工具的要点. 1.Samba Samba提供了安全.可靠和高速的存储(以及打印服务),针对所有使用SMB/

当下流行的分布式文件系统大阅兵

当下流行的分布式文件系统大阅兵 本文对目前数种分布式文件系统进行简单的介绍.当前比较流行的分布式文件系统包括:Lustre.Hadoop.MogileFS.FreeNAS.FastDFS.NFS.OpenAFS.MooseFS.pNFS.以及GoogleFS. Lustre(www.lustre.org) lustre是一个大规模的.安全可靠的,具备高可用性的集群文件系统,它是由SUN公司开发和维护.该项目主要的目的就是开发下一代的集群文件系统,可以支持超过10000个节点,数以PB的数量存储系

WatchStor观察:剖析pNFS和文件系统的未来

    [WatchStor独家译文]像Panasas PanFS.Sun QFS.Quantum StorNext.IBM GPFS以及HP File Services这样的高性能文件系统能够给存储应用带来很大的价值. 就拿DigitalFilm Tree来说,它是一家位于好莱坞.为娱乐行业提供后期处理和虚拟效果服务的公司.最近这家公司不得不对他们的系统进行升级以应对Showtime的喜剧<单身毒妈>.CW的<人人都恨克里斯>以及NBC的<实习医生风云>等电视剧的后期