Facebook发布开源数据库HydraBase,下一代HBase

  ">Facebook近日在官方博客上宣布推出HBase数据库的升级版—— HydraBase, Facebook是HBase的重度用户,Facebook的HBase数据库系统存储着Facebook的很多关键业务数据,包括内部监控系统、搜索索引、流数据分析以及数据抓取等。HydraBase相比HBase稳定性和可用性更高,可以减少服务器宕机时间。

  Facebook声称HydraBase能将Facebook全年的宕机时间缩减到不到5分钟。

  在HBase系统中,数据分片存储于很多区域,如果某个区域服务器宕机,其域内数据都需要迁移到另外一个域服务器。Facebook指出,虽然HBase能够自动恢复,但是恢复时间过长。

  HydraBase的典型部署模型

  HydraBase能够让一个数据域分布在多个域服务器中,域服务器之间能相互备份,因此能够大大减少数据恢复所用的时间。Facebook声称HydraBase能将Facebook全年的宕机时间缩减到不到5分钟。

  Facebook目前正在测试HydraBase,并计划在生产集群中逐步开始部署。 在HydraBase之外,Facebook还公布了HDFS RAID及其用于数据保护的纠错码技术细节,可以精简用Hadoop创建备份的集群数量。

  去年Facebook首次在数据仓库集群中使用HDFS RAID技术,备份效率大大提升,节省了数以十PB计的数据存储空间。

时间: 2024-10-26 11:15:22

Facebook发布开源数据库HydraBase,下一代HBase的相关文章

Facebook 发布开源框架 PyTorch, Torch 终于被移植到 Python 生态圈

本周,Facebook 的 AI 研究团队发布了一个 Python 工具包,专门针对 GPU 加速的深度神经网络(DNN)编程.它有望辅助.或在一定程度上替代,现有的 Python 数学.统计库(比如 NumPy).它实现了机器学习框架 Torch 在 Python 语言环境的执行.开发团队表示,除 Facebook之外,它还已经被推特.卡内基梅隆大学和 Salesforce 等机构采用. 使用 Pytorch 的机构 Torch 是一个十分老牌.对多维矩阵数据进行操作的张量(tensor )库

为向偏远地区提供服务 Facebook发布开源无线接入平台OpenCellular

 7月7日消息,据外电报道,全球最大的社交网站Facebook周三发布了开源无线接入平台OpenCellular,旨在向全球偏远地区提供互联网服务. OpenCellular像鞋盒般大小,最多可支持1500人,可在10公里的范围内提供包括无线服务.2G.3G.长期演进技术(4G)等连接服务.截至2015年年底,全球仍有超过40亿人未曾使用基础互联网服务,且有7亿人生活在蜂窝连接的覆盖范围之外.当然,这也让这些人群无法使用Facebook的服务. Facebook表示,初始版本的OpenCellu

Facebook发布HBase衍生数据库HydraBase

[天极网服务器频道6月16日消息]http://www.aliyun.com/zixun/aggregation/1560.html">Facebook近日在官方博客上宣布推出HBase内部衍生版本HydraBase, Facebook是HBase的重度用户,Facebook的HBase数据库系统存储着Facebook的很多关键业务数据,包括内部监控系统.搜索索引.流数据分析以及数据抓取等. 在了解HydraBase之前,首先解释一些HBase的基础概念.在HBase系统中,数据是物理共享

Facebook 尝试新的方法来发布开源项目

上周,Facebook发布了Create React App,这个新项目旨在帮助React开发者快速上手其新项目.Create React App这个新项目只是一个开始,它也成为了Facebook在GitHub上的孵化器的首个项目. Facebook孵化器是Facebook用于发布开源项目的新流程,用于确保这些开源项目能够长久平稳地运行.我们可以将其看作是Facebook新的开源项目的Beta阶段或是试验场. Facebook开源负责人James Pearce说,Facebook孵化器的想法在于

Facebook尝试新的方法来发布开源项目

上周,Facebook发布了Create React App,这个新项目旨在帮助React开发者快速上手其新项目.Create React App这个新项目只是一个开始,它也成为了Facebook在GitHub上的孵化器的首个项目. Facebook孵化器是Facebook用于发布开源项目的新流程,用于确保这些开源项目能够长久平稳地运行.我们可以将其看作是Facebook新的开源项目的Beta阶段或是试验场. Facebook开源负责人James Pearce说,Facebook孵化器的想法在于

甲骨文推出开源数据库MySQL 5.6的发布候选版

甲骨文全球大会,2012 年 10 月 1 日--甲骨文公司将在2012甲骨文全球大会(Oracle OpenWorld 2012)上首次召开MySQL Connect 大会,并于近日宣布推出全球最受欢迎的开源数据库(open-source database)MySQL 5.6的发布候选版 (MySQL 5.6 http://www.aliyun.com/zixun/aggregation/16920.html">Release Candidate). 凭借更高的应用性能.更强的可扩展性.

D1net阅闻:Facebook发布基站开源平台OpenCellular

Facebook发布基站开源平台OpenCellular OpenCellular的远景是一座不受天气影响.能够在强风和高温下持续使用的基站,旨在向偏远地区提供连接移动蜂窝网所必须的设备和开源软件,以帮助居住于这些社区的人们实现连接互联网.这是 Facebook在推进全球互联网连接战略的又一新尝试,想帮助全球没有互联网覆盖的40亿人及没有手机服务覆盖的10%人口实现联网. 华为起诉美国运营商T-Mobile,其4G专利侵权 据华为表示,曾于2014年6月6日开始,先后两次向T-Mobile发出通

深度解读Facebook刚开源的beringei时序数据库

Facebook最近开源了beringei时序数据库.beringei是用来解决其内部监控数据存储和查询需求的数据库,其特点是读写速度快,属于内存数据库. beringei是如何做到的呢,其压缩算法上有哪些独到之处? 阿里云数据库高级专家叶翔借着源代码和论文,对beringei原理进行了解读,同时也介绍了它在Facebook的应用情况. 扩展阅读: 1.阿里云专家带您探寻MongoDB技术内幕 2.云数据MongoDB官网

一篇文章,掌握所有开源数据库的现状

  数据库作为业务的核心,在整个基础软件栈中是非常重要的一环.近几年社区也是新的方案和思想层出不穷,接下来我将总结一下近几年一些主流的开源数据库方案,其背后的设计思想以及适用场景.本人才疏学浅如有遗漏或者错误请见谅.本次分享聚焦于数据库既结构化数据存储 OLTP 及 NoSQL 领域,不会涉及 OLAP.对象存储.分布式文件系统. 1 开源RDBMS与互联网的崛起 很长时间以来,关系型数据库一直是大公司的专利,市场被 Oracle / DB2 等企业数据库牢牢把持.但是随着互联网的崛起.开源社区