下一代大数据:Twitter 公布曼哈顿实时数据库细节

Twitter曼哈顿数据库的横空出世表明当今的数据库技术已经无法满足大型互联网公司的独特需求,新一轮数据库技术革命已经启动。

Twitter是所有大型互联网公司中产品实时性和技术进化速度最快的一个,本周Twitter在博客中公布了实时数据服务的核心引擎——曼哈顿(Manhattan)数据库的技术细节。曼哈顿是一个分布式、实时数据库,服务对象是Twitter公司内部的多个团队和应用。

曼哈顿数据库的数据处理能力和速度让当今流行的开源数据库相形见绌,这些数据库已经无法满足Twitter规模的生产环境,正如Twitter软件工程师Peter Schuller所言:

我们为了让生产系统满足各种产品的性能预期而四处救火,浪费了太多时间。为一个新应用配置存储资源需要涉及太多的人工和流程。根据我们的经验,为Twitter这样的大规模web业务开发和运营生产存储环境,采用现成的数据库技术已经行不通了。

Schuller在博客中详细介绍了Twitter如何开发出曼哈顿这样的高可靠、高可用、易用的新一代数据库。同时也公布了一些为曼哈顿数据库设 计的一些数据格式的细节。目前,用户通过key-value存储的方式使用曼哈顿数据库,未来Twitter还计划增加包括图形界面在内的用户界面。曼哈 顿数据库有三个存储引擎,分别面向只读Hadoop数据、大量读取数据和大量写入数据。此外曼哈顿还内置了很多服务,包括导入Hadoop数据,确保数据 一致性和计算时间序列数据等。

对于开发者和工程师来说最重要的一点是,曼哈顿作为一种存储服务可以像其他任何一种云存储服务一样使用。工程师数秒钟就可以为应用配置好存储资源, 无需等待安装硬件或对系统架构进行重新配置。Twitter将重点放在确保曼哈顿的多租户使用的整体性能不会因某个租户占用过多资源而受到影响。

Twitter计划在择日发布的曼哈顿数据库技术白皮书中公布具体技术开发细节。作为开源软件的重量级拥趸,Twitter很可能会在将来某个时间将曼哈顿数据库技术开源。实际上,Twitter曾于2012年将其MySQL代码开源,最近又与Facebook携手开发WebScaleSQL开源数据库项目。

Twitter曼哈顿数据库的横空出世表明当今的数据库技术已经无法满足大型互联网公司的独特需求。Twitter、Google、 Facebook和LinkedIn已经抛弃了最初的NoSQL技术(这些NoSQL技术正在进入大型企业),纷纷开发下一代数据库技术,正如他们当年开 发Cassandra、Voldemort和BigTable那样。也许曼哈顿将成为未来的Cassandra,而LinkedIn的Espresso成为新的MongoDB(编者按:MongoDB因获得NSA投资而在发展中市场受挫),成为下一代创业公司开发者的宠儿。

文章转载自 开源中国社区 [http://www.oschina.net]

时间: 2024-08-01 07:14:18

下一代大数据:Twitter 公布曼哈顿实时数据库细节的相关文章

下一代大数据技术:Twitter公布曼哈顿实时数据库细节

Twitter曼哈顿数据库的横空出世表明当今的数据库技术已经无法满足大型互联网公司的独特需求,新一轮数据库技术革命已经启动. Twitter是所有大型互联网公司中产品实时性和技术进化速度最快的一个,本周Twitter在博客中公布了实时数据服务的核心引擎--曼哈顿(Manhattan)数据库的技术细节.曼哈顿是一个分布式.实时数据库,服务对象是Twitter公司内部的多个团队和应用. 曼哈顿数据库的数据处理能力和速度让当今流行的开源数据库相形见绌,这些数据库已经无法满足Twitter规模的生产环境

英特尔段建钢:Spark将成为下一代大数据的标准

Spark是一个基于内存计算的开源集群计算系统,目的是更快速的进行数据分析.Spark由加州伯克利大学AMP实验室Matei为主的小团队使用 Scala开发开发,其核心部分的代码只有63个Scala文件,非常轻量级. Spark提供了与Hadoop相似的开源集群计算环境,但基于内存和迭代优化的设计,Spark在某些工作负载表现更优秀. 9月18日,在长沙举办的第九届政企信息化策略研讨会中,来自英特尔的高级技术经理段建钢带来了"大数据技术发展剖析"的主题演讲.Hadoop改变了处理数据方

如何构建下一代大数据架构——数据湖

如何创建一个适用于多样数据类型,并可扩展的敏捷数据平台?答案就在数据湖中! 图片源于网络 技术和软件的进步使我们能够处理和分析大量数据.虽然很明显,大数据是一个企业投入了大量资金的热门话题,但要注意,除了考虑数据规模,我们还需要考虑到被分析数据类型的多样性.数据种类不同意味着数据集可以存储在许多格式和存储系统中,每个类型都有自己的特征. 考虑数据多样性是一项艰巨的任务,但有一种方法可以使你360度全面了解你的客户,提供商和运营商.为了实现这种方法,我们需要实现下一代大数据架构.接下来,我们来看一

Cassandra 2.0:下一代大数据轻松从关系型数据库迁移

2008年,http://www.aliyun.com/zixun/aggregation/1560.html">Facebook送给大数据用户一个礼物.社交巨头开源了Cassandra--NoSQL大数据分布式数据库.今天,随着Cassandra 2.0的问世,这个礼物也显得愈加珍贵. 自从2008年以来,在Apache软件基金会(ASF)的指导下,Cassandra已经变得更强大更高速.今天,据Apache基金会称,"Cassandra可以快速且可靠地应 对大规模数据集,而不

大数据爆炸时代,从细节预见未来

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp; 插图_Roger. 在信息爆炸的大数据时代,随着生活节奏变得越来越快,从全球经济的健康到击溃恐怖主义,都依靠预测的质量.我们所要做出预测的速度和数量都在不断增加. 心理学家.<专家的政治判断>一书的作者菲利普·泰特洛克对社会科学领域专家预测的准确性做了近20年的调查研究.然而他发现,专家的预测都非常不靠谱."那些专家预测的结果几乎和黑猩猩随机投

Teradata天睿公司推出下一代大数据应用

Teradata天睿公司宣布,推出基于Teradata Aster AppCenter领先技术的大数据应用,帮助企业将业务挑战转化为创收机会. 目前,企业从不同类型大数据中创造业务价值的挑战依然存在.因此,Teradata天睿公司开发出这一全新解决方案,帮助企业克服这些困难.Teradata面向企业的全新大数据应用能够帮助广泛的业务用户高效运用大数据分析技术,处理客户获取与维护.金融欺诈.购买路径.营销优化等各种问题,侧重于消费者金融.娱乐和游戏.医疗.零售和电信等众多行业需求.这些应用采用Ap

美国数据分析科学家带你看看大数据的未来

ZD至顶网CIO与应用频道 10月08日 评论消息:从SGI的首席科学家John R. Masey在1998年提出大数据概念,到大数据分析技术广泛应用于社会的各个领域,已经走过了17年的时间.现在再也没有企业怀疑大数据分析的力量,并且都在竞相利用大数据来增强自己企业的业务竞争力.但是,即使17年过去,大数据分析行业仍然处于快速发展的初期,每时每刻都在产生新的变化. 从概念到实用.从结构化数据分析到非结构化数据分析,大数据分析技术在不断地进化.虽然国内仍然在关注舆情分析,但是记者注意到,在美国,大

美国数据科学家带你看看大数据的未来

从SGI的首席科学家John R. Masey在1998年提出大数据概念,到大数据分析技术广泛应用于社会的各个领域,已经走过了17年的时间.现在再也没有企业怀疑大数据分析的力量,并且都在竞相利用大数据来增强自己企业的业务竞争力.但是,即使17年过去,大数据分析行业仍然处于快速发展的初期,每时每刻都在产生新的变化. 从概念到实用.从结构化数据分析到非结构化数据分析,大数据分析技术在不断地进化.虽然国内仍然在关注舆情分析,但是记者注意到,在美国,大数据分析的研究已经进入到了一个全新的阶段,"预测分析

35个大数据投资并购案例(近2月,超15亿美金)

做了个笨事, 整理了从9月下旬到现在差不多两个月的全球大数据方向的投资并购案例, 总共35个项目,超过15亿美元, 包括三起超过一亿美金的收购(Facebook 1.5亿美元收购移动数据分析服务Onavo, NoSQL数据库公司MongoDB获得1.5亿美元投资, Monsanto 9.3亿美元收购天气大数据公司Climate Corporation), 是否大数据投资将迎来一波高潮? 土匪做了一些详细的分析,这里将一些简单的结果分享下.按照主营业务大致分类了下: 大数据分析服务类项目:17 技