BigTable和GFS的关系是什么?

问题描述

老是说GFS、MapReduce和BigTable是google研发出的云计算技术的基石,这里把GFS和bigTable并列起来了。我感觉GFS和BigTable都是文件系统啊,这两者有什么关系,是谁依附谁?还是谁在谁的基础上产生?还是两者平等,没有交集?求大神解答。

解决方案

解决方案二:
发错版块了。这里真是冷清。
解决方案三:
GFS是分布式文件系统,BigTable是建立在GFS之上的。就像文件系统需要数据库来存储结构化数据一样,GFS也需要Bigtable来存储结构化数据,每个Table都是一个多维的稀疏图,为了管理巨大的Table,把Table根据行分割,这些分割后的数据统称为:Tablets。每个Tablets大概有100-200MB,每个机器存储100个左右的Tablets。底层的架构是:GFS。由于GFS是一种分布式的文件系统,采用Tablets的机制后,可以获得很好的负载均衡。比如:可以把经常响应的表移动到其他空闲机器上,然后快速重建。
解决方案四:
引用2楼的回复:

GFS是分布式文件系统,BigTable是建立在GFS之上的。就像文件系统需要数据库来存储结构化数据一样,GFS也需要Bigtable来存储结构化数据,每个Table都是一个多维的稀疏图,为了管理巨大的Table,把Table根据行分割,这些分割后的数据统称为:Tablets。每个Tablets大概有100-200MB,每个机器存储100个左右的Tablets。底层的架构是:GFS。由于……

既然如此,那在GFS之上,还可以有其他的类似BigTable的数据庫了?不谈原理,从性质上来说,GFS是不是相当与NTFS,BigTable就是SQLSEVER?
解决方案五:
恩,可以这么认为引用3楼的回复:

引用2楼的回复:GFS是分布式文件系统,BigTable是建立在GFS之上的。就像文件系统需要数据库来存储结构化数据一样,GFS也需要Bigtable来存储结构化数据,每个Table都是一个多维的稀疏图,为了管理巨大的Table,把Table根据行分割,这些分割后的数据统称为:Tablets。每个Tablets大概有100-200MB,每个机器存储100个左右的Table……

时间: 2024-08-03 13:15:27

BigTable和GFS的关系是什么?的相关文章

【分布式系统工程实现】GFS&Bigtable设计的优势

目前,知名度比较高的通用存储系统包括:Google GFS&Bigtable,Amazon Dynamo,Microsoft Azure存储系统及Yahoo PNUTS.其中,GFS&Bigtable,Azure存储系统及Yahoo PNUTS都有总控节点,Amazon Dynamo采用去中心化的P2P设计. Amazon Dynamo看起来很优美,比如Dynamo论文中提到的技术比较酷,Dynamo没有中心节点,可以支持更大的系统规模.然而,Dynamo不是我心目中的理想架构,因为Dyn

BigTable论文翻译

摘要 Bigtable是一个分布式的结构化数据存储系统,它被设计用来处理海量数据:通常是分布在数千台普通服务器上的PB级的数据.Google的很多项目使用Bigtable存储数据,包括Web索引.Google Earth.Google Finance.这些应用对Bigtable提出的要求差异非常大,无论是在数据量上(从URL到网页到卫星图像)还是在响应速度上(从后端的批量处理到实时数据服务).尽管应用需求差异很大,但是,针对Google的这些产品,Bigtable还是成功的提供了一个灵活的.高性

Bigtable:一个分布式的结构化数据存储系统

Bigtable:一个分布式的结构化数据存储系统 本文的英文原文为Google在2006年发布的Google Bigtable paper 本文的翻译版本由Alex完成,原文地址为: http://blademaster.ixiezi.com/ 这是我很长时间以来一直想要翻译的文章,不过由于其文太长,以及本人精力有限,未能如愿,今天偶遇此文,感觉译者此文的翻译已远远超越本人,因此将此翻译版本转载于此. Bigtable:一个分布式的结构化数据存储系统译者:alex 摘要 Bigtable是一个分

大数据与传统数据库是互补关系

文章讲的是大数据与传统数据库是互补关系,在全球大数据生态圈中,Hadoop堪称其中最为核心的技术.     由非营利组织管理的Hadoop平台,尽管推行开源模式,但企业并不是拿来就可以用,它需要经过进一步的加工和修缮,由此孕育了多家大数据商业开发公司,如Cloudera.MapR.Hortonworks等.这些公司的商业模式就是开发商业化的Hadoop分发版,并对外销售.     在这些Hadoop分发版开发公司中,Hortonworks刚刚完成IPO,算是最早的一家,目前市值约10亿美元.而要

HBase基础

Hbase简介 HBase-Hadoop Database,是一个高可用性,面向列,可伸缩的分布式存储系统,利用HBase技术可在廉价的PC Server上搭建起大规模 结构化存储集群. HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统:Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处理HBase中

最全的大数据技术大合集:Hadoop家族、Cloudera系列、spark

大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来.为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合适的语言. 我们可以带着下面问题来阅读本文章: 1.hadoop都包含什么技术? 2.Cloudera公司与hadoop的关系是什么,都有什么产品,产品有什么特性? 3.Spark与hadoop的关联是什么? 4.Storm与hadoop的关联是什么

HBase技术架构介绍

HBase简介 HBase – Hadoop Database,是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群. HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统:Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处理HB

15个nosql数据库

1.MongoDB 介绍 MongoDB是一个基于分布式文件存储的数据库.由C++语言编写.主要解决的是海量数据的访问效率问题,为WEB应用提供可扩展的高性能数据存储解决方案.当数据量达到50GB以上的时候,MongoDB的数据库访问速度是MySQL的10倍以上.MongoDB的并发读写效率不是特别出色,根据官方提供的性能测试表明,大约每秒可以处理0.5万~1.5万次读写请求.MongoDB还自带了一个出色的分布式文件系统GridFS,可以支持海量的数据存储. MongoDB也有一个Ruby的项

BAT解密:互联网技术发展之路(4)- 存储层技术剖析

BAT解密:互联网技术发展之路(4)- 存储层技术剖析 1. SQL 即关系数据.前几年NoSQL火了一阵子,很多人都理解为NoSQL是完全抛弃关系数据,全部采用非关系型数据,但事实经过几年的试验后,大家发现关系数据不可能完全抛弃,NoSQL不是No SQL,而是Not Only SQL,即NoSQL是SQL的补充. 所以互联网行业也必须依赖关系数据,考虑到Oracle太贵,还需要专人维护,一般情况下互联网行业都是用MySQL.PostgreSQL这类开源数据库.这类数据库的特点是开源免费,拿来