下一代大数据技术:Twitter公布曼哈顿实时数据库细节

  Twitter曼哈顿数据库的横空出世表明当今的数据库技术已经无法满足大型互联网公司的独特需求,新一轮数据库技术革命已经启动。

  Twitter是所有大型互联网公司中产品实时性和技术进化速度最快的一个,本周Twitter在博客中公布了实时数据服务的核心引擎——曼哈顿(Manhattan)数据库的技术细节。曼哈顿是一个分布式、实时数据库,服务对象是Twitter公司内部的多个团队和应用。

  曼哈顿数据库的数据处理能力和速度让当今流行的开源数据库相形见绌,这些数据库已经无法满足Twitter规模的生产环境,正如Twitter软件工程师Peter Schuller所言:

  我们为了让生产系统满足各种产品的性能预期而四处救火,浪费了太多时间。为一个新应用配置存储资源需要涉及太多的人工和流程。根据我们的经验,为Twitter这样的大规模web业务开发和运营生产存储环境,采用现成的数据库技术已经行不通了。

  Schuller在博客中详细介绍了Twitter如何开发出曼哈顿这样的高可靠、高可用、易用的新一代数据库。同时也公布了一些为曼哈顿数据库设计的一些数据格式的细节。目前,用户通过key-value存储的方式使用曼哈顿数据库,未来Twitter还计划增加包括图形界面在内的用户界面。曼哈顿数据库有三个存储引擎,分别面向只读Hadoop数据、大量读取数据和大量写入数据。此外曼哈顿还内置了很多服务,包括导入Hadoop数据,确保数据一致性和计算时间序列数据等。

  对于开发者和工程师来说最重要的一点是,曼哈顿作为一种存储服务可以像其他任何一种云存储服务一样使用。工程师数秒钟就可以为应用配置好存储资源,无需等待安装硬件或对系统架构进行重新配置。Twitter将重点放在确保曼哈顿的多租户使用的整体性能不会因某个租户占用过多资源而受到影响。

  Twitter计划在择日发布的曼哈顿数据库技术白皮书中公布具体技术开发细节。作为开源软件的重量级拥趸,Twitter很可能会在将来某个时间将曼哈顿数据库技术开源。实际上,Twitter曾于2012年将其MySQL代码开源,最近又与Facebook携手开发WebScaleSQL开源数据库项目。

  Twitter曼哈顿数据库的横空出世表明当今的数据库技术已经无法满足大型互联网公司的独特需求。Twitter、Google、Facebook和LinkedIn已经抛弃了最初的NoSQL技术(这些NoSQL技术正在进入大型企业),纷纷开发下一代数据库技术,正如他们当年开发Cassandra、Voldemort和BigTable那样。也许曼哈顿将成为未来的Cassandra,而LinkedIn的Espresso成为新的MongoDB(编者按:MongoDB因获得NSA投资而在发展中市场受挫),成为下一代创业公司开发者的宠儿。

时间: 2024-09-20 19:35:22

下一代大数据技术:Twitter公布曼哈顿实时数据库细节的相关文章

下一代大数据:Twitter 公布曼哈顿实时数据库细节

Twitter曼哈顿数据库的横空出世表明当今的数据库技术已经无法满足大型互联网公司的独特需求,新一轮数据库技术革命已经启动. Twitter是所有大型互联网公司中产品实时性和技术进化速度最快的一个,本周Twitter在博客中公布了实时数据服务的核心引擎--曼哈顿(Manhattan)数据库的技术细节.曼哈顿是一个分布式.实时数据库,服务对象是Twitter公司内部的多个团队和应用. 曼哈顿数据库的数据处理能力和速度让当今流行的开源数据库相形见绌,这些数据库已经无法满足Twitter规模的生产环境

华为与帝国理工学院宣布联手开拓大数据技术

英国帝国理工学院已经与华为公司签署协议备忘录,考虑携手建立研究与创新中心,旨在共同开拓下一代http://www.aliyun.com/zixun/aggregation/13568.html">大数据技术. 帝国理工与华为计划在英国政府的协助下打造一套汇聚业务专家与学术研究者的规模化中心,从而在数字化.能源.医疗.未来城市及生命科学等领域取得创新及应用成果. 作为全球顶尖学府的伦敦帝国理工学院与全球第二大网络设备制造商华为将利用一年时间共同探讨关于建立联合中心的细节问题,目前该中心暂定选

探访美式微博Twitter的大数据技术架构

  Twitter要上市了,再一次让全球瞩目,正是它所创造的twitte让互联网进入了微创新的时代.虽然它没有进入中国,但受其启发的新浪微博和腾讯微博在中国互联网上也成为一道亮丽的风景.Twitter在全球拥有巨大的用户群,海量的社交信息流,支撑其运转的大数据技术架构也颇受人关注. Twitter的大数据架构也是分为基于Hadoop的批处理和基于Storm的实时流计算等主要类型,主要基于开源项目中进行开发和发展.Twitter收集数据采用的是Facebook开源的日志工具Scribe,批处理地存

仁人帮探索大数据技术

前两期小帮为大家介绍了仁人帮的大数据定义与大数据在仁人帮后台的应用.今天也不跟大家卖关子了,接下来,小帮为大家奉上的是大数据平台技术的探索. 大数据技术,小帮认为可以分成两个大的层面,大数据平台技术与大数据应用技术.要使用大数据,你先必须有计算能力,大数据平台技术包括了数据的采集,存储,流转,加工所需要的底层技术,如hadoop生态圈,数加生态圈. 数据的应用技术是指对数据进行加工,把数据转化成商业价值的技术,如算法,以及由算法衍生出来的模型,引擎,接口,产品等等.这些数据加工的底层平台,包括平

2012数据库与大数据产品评选结果公布

本文讲的是2012数据库与大数据产品评选结果公布,2012年12月28日消息,由盛拓传媒IT168主办的2012数据库与大数据产品年度评选于近日正式落下帷幕.本次评选分别对数据库产品和大数据产品,共选出数据库卓越产品奖.最具创新数据库产品奖.最具创新数据库产品奖.大数据卓越产品奖.最具创新大数据产品奖.最受欢迎大数据产品奖六项大奖.其中卓越产品奖和最具创新产品奖由专业评委投票选出,最受欢迎产品奖完全由网友投票产生. 此次评选共有35款产品进入候选名单,其中数据库产品20款,大数据产品15款.经过

大数据技术 未来发展前景及趋势分析

文章讲的是大数据技术 未来发展前景及趋势分析,在过去几年里,大数据技术已得到广泛关注.在这一领域,有几个趋势和创新正悄然发生.本文整理了您目前正在使用或未来将要使用的大数据的新趋势和变化. 流大数据分析 · Storm: Apache Storm是一种开源的分布式实时计算系统.Storm加速了流数据处理的过程,为Hadoop批处理提供实时数据处理. · Spark: Spark是一个兼容Hadoop数据源的内存数据处理平台,运行速度相比于Hadoop MapReduce更快.Spark适合机器学

历届中国大数据技术大会PPT精粹下载

Hadoop起 源于2002年的Apache Nutch项目,是Apache Lucene的子项目之一.2004年,Google在OSDI上公开发表了题为<MapReduce: Simplified Data Processing on Large Clusters>的论文,受到启发的Doug Cutting等人开始实现MapReduce计算框架并与NDFS(Nutch Distributed File System)结合支持Nutch的主要算法.2006年逐渐成为一套完整而独立的软件,起名为

Hadoop之父Doug Cutting眼中大数据技术的未来

上次见到(膜拜)Hadoop之父Doug Cutting是在2年前,2014中国大数据技术大会上.今年Hadoop10岁,刚看到他的Hadoop十周年贺词,感觉时间飞逝. Doug Cutting成长史 1985年毕业于美国斯坦福大学的Cutting并不是一开始就决心投身IT行业的.在大学时代的头两年,Cutting学习了诸如物理.地理等常规课程.因为学费的压力,Cutting开始意识到,自己必须学习一些更加实用.有趣的技能.这样,一方面可以帮助自己还清贷款,另一方面,也是为自己未来的生活做打算

Yahoo的新一代大数据技术架构解析

Hadoop是当前最流行的大数据技术架构,很多大数据应用都是建立在Hadoop平台基础之上.很多人都知道Hadoop是Apache基金会的顶级开源项目,但并不是每个人都知道,在Hadoop的演进发展中,70%的贡献是来自Yahoo公司. Yahoo公司是Hadoop平台最大的用户.最有力的应用支持者和Hadoop商业化的重要推动者,Hadoop一直是Yahoo公司云计算平台的核心,Yahoo公司最大的单个Hadoop集群由4000个节点组成,Yahoo公司的推荐系统.广告分析等应用均建立在Had