系统间实时数据流管理工具即将诞生

据Gigaom消息,Facebook与Yahoo!在上周发布了多系统间实时数据流管理工具的一些细节。在这其中Storm-YARN由Yahoo!公布,已经开源,它建立在YARN(Hadoop 2.0)与Storm之上,让Storm与Hadoop集群间更加紧密的集合——需要时甚至可以通过Storm借用Hadoop批处理集群的能力。Wormhole集成的监视系统,能够支持容量计划,执行自动修复,自动化配置等众多特性,不过Wormhole目前并没有开源。

以下为译文:

6月11日, Yahoo!将人气流处理框架Storm的内部定制版——Storm-YARN开源,用于Hadoop集群中。过了三天,在14号, Facebook将Wormhole系统的细节公布出来,Wormhole系统是为了在多个应用间的通信其中一个系统中的数据发生变化时,可以自动同步到其它相关系统,从而保证数据实时更新。

Yahoo!:Storm-YARN

流处理框架的实时性广受大数据分析者的喜爱,其价值更是毋庸置疑,比如说Twitter的成功就证明了Storm的价值。Twitter使用Storm来处理tweet,让用户的Timelines就可以保持实时更新,Twitter还使用Storm做类似实时分析及新趋势的发现。事实上Twitter通过购买Storm建立者Backtype确实获得了技术和人才上的双丰收。

提交并执行Storm拓扑

从2011年Storm开源之后,其就作为Hadoop的流处理组件在网络公司中流行了起来。而现在Yahoo!让Storm和Hadoop的集合更加紧密,甚至已经达到Storm在需要时可以借用批处理节点能力的程度。这是个非常有价值的特性——而在上周FacebookAnalytics @ Web Scale会议的一个演讲上,Twitter的工程师Krishna Gade还惋惜过Storm自动扩展的局限性。

发布Storm集群和Hadoop YARN

Storm-ARN的实现还获益于YARN的一个重要特性,也是Hadoop 2.0版本一处重大更新——允许Hadoop同时运行多个处理框架。 Twitter曾使用开源资源管理器Mesos达到相同的功能,但是Gade的同事Dmitriy Ryaboy曾申明当Hadoop更新到2.0版本时,该公司将把大数据作业转移到YARN上,并将更多的社区努力放到它的持续改进上,同时还将为其构建更多的应用程序。

Facebook:Wormhole

遗憾的是Facebook的Wormhole迄今并未开源,但是其经验是仍然值得借鉴的(而LinkedIn已经开源了类似的技术Kafka以及Databus)。Wormhole应归属于发布-订阅系统,在Facebook,Wormhole给Facebook主用户数据库发送新内容进行图搜索,从而以最快的速度得到搜索结果,同样Wormhole还可以给其Hadoop环境发送数据,让分析作业使用的数据保持最新。

就像Facebook之前的作品一样(比如新交互式查询引擎Presto),Wormhole具备着很好的扩展性。通过Laurent Demailly的tweet了解到,其延时完全控制在毫秒级:

Wormhole每天处理超过1万亿的信息,每秒1000万条以上。Wormhole被用以处理各组件的故障,具备以下几个特性:集成了监视系统,执行自动修复,支持容量计划,自动化配置及突变处理支持。

最后

虽然Storm-YARN 与Wormhole分别由不同的公司开发,但是显然他们将掀起Hadoop与Storm领域的一场飓风。随着网络公司业务的延伸,应用程序也扩展到多应用与服务混合类型,所以一场针对基础设施的运动也如火如荼的进行着。基于数据层系统的不同需求,这些公司不得不放弃他们最初的架构,转至建设类似Storm以及Wormhole去管理不同系统之间的数据流。

时间: 2024-09-29 19:54:47

系统间实时数据流管理工具即将诞生的相关文章

win10系统如何安装maven管理工具

  win10系统如何安装maven管理工具          具体如下: 1.http://maven.apache.org/,我们先去官网下载资源包; 2.点击下载菜单,选择适合自己的资源包; 3.解压资源包,放到我们的安装路径下; 4.右击桌面上的"此电脑"-->"属性"-->"高级系统设置"-->"环境变量", 然后我们开始新建变量,并设置; 5.添加maven到path变量中; 6.打开命令行工具,

Linux系统中的进程管理工具SystemD介绍

  SystemD是Linux下的一种init软件,由Lennart Poettering带头开发,并在LGPL 2.1及其后续版本许可证下开源发布.Lennart是redhat员工,但SystemD不是redhat项目.其开发目标是提供更优秀的框架以表示系统服务间的依赖关系,并依此实现系统初始化时服务的并行启动,同时达到降低Shell的系统开销的效果,最终代替现在常用的System V与BSD风格init程序. SystemD这一名字源于Unix中的一个惯例:在Unix中常以"d"作

使用Windows7系统自带磁盘管理工具调整硬盘分区大小

Windows 7操作系统本身就自带了很多系统管理配置工具,例如对硬盘分区进行调整的磁盘管理器.在Windows XP时候我们需要使用一些第三方软件来对硬盘分区进行管理,如新建分区.格式化.调整分区大小.合并分区等多种操作.所以现在购买了一台新电脑,在安装 Windows 7系统时我们不必在意如何分区,分区的硬盘大小调整操作都可以放到系统安装完成后进行.本例中我们看一下如何在已安装Windows 7的电脑上调整硬盘分区大小的. 首先运行磁盘管理 工具:点击左下角的微软图标,在搜索框中输入disk

Win8纯净版系统下如何添加管理工具磁贴

  1.在Win8系统开始屏幕上,按住Win+I键调出设置超级按钮,然后在设置菜单下,点击菜单栏中的"磁贴"选项. 2.接着在打开的"磁贴"设置菜单上,将"显示管理工具"选项设置为"是"按钮; 3.设置完成后,再返回Win8系统下载开始屏幕,可以查看到系统屏幕上显示的"系统管理工具"磁贴.

Windows Phone 7一站式管理工具即将放出

或许Zune是一个不错的媒体6186.html">播放器,但是对于管理设备来说它并不是那么让人感到满意.更不用提你的手机上还有大量的内容微软其实并不想让你直接接触到,例如直接的文件.注册表.应用程序等的访问.好吧,现在来自TouchXperience的兄弟似乎已经完成了这么一个一站式的http://www.aliyun.com/zixun/aggregation/13466.html">Windows Phone 7管理工具.使用它可以直接对你的WP7手机进行解锁.管理应用

Linux系统常用的软件管理工具rpm、yum及软件源码编译安装

一.简介 在windows系统上我们安装软件的时候加上了一些与这些程序相关的信息,将他建立称为了数据库,就可以实现软件的安 装.卸载.升级与验证了,类似于windows的"添加删除程序".由于在linux系统上利用源码包设置编译参数.实际编译.最后还要根据需要的方式来安装程序,这个过程很是麻烦,而且对于不熟悉整个系统的用户来说,更是一种负担,所以后来在我们linux系统下至有两种常见的套件管理程序,分别是RPM和Debian的dpkg,其中RPM最为常见,那么晚我们 下面就来介绍下RP

电商业内首现全场景互动客户管理工具 或成未来发展趋势

日前,敦煌网完成数亿元的http://www.aliyun.com/zixun/aggregation/1703.html">第四轮融资后,敦煌网创始人.CEO王树彤宣布了拓展俄罗斯.南美等新兴市场,全方位整合跨境电商供应链的未来规划. 在王树彤雄心勃勃的全球布局背后,敦煌网所使用的实时客户管理工具--敦煌通所具备的70多种语言自动适配和自动翻译功能无疑为这份宏伟蓝图提供了客观条件上的完美支撑.事实上,打破全球语言壁垒只是这款为敦煌网量身打造的实时客户管理工具强大功能中的冰山一角.敦煌通的

卡巴斯基管理工具安装前注意几点

在安装卡巴斯基网络版6.0管理工具之前,先要检查一下系统是否支持安装管理工具,6.0的管理工具不能安装在windows me,windows 98,Windows XP 的Home上;第二步要检查要装的机器能否上网,管理工具下载更新要从卡巴斯基升级服务器上更新,还要检查要装的机器的IP地址和计算机名是否是固定的;检查该机器是否安装了其他的杀毒软件,如有要先卸载其他的杀毒软件;再检查系统是否已经安装了数据库,网络版6.0比网络版5.0提供更多的数据库支持,可以是Mysql,但版本要在Mysql5.

CoreOS 实战:CoreOS 及管理工具介绍

CoreOS 实战:CoreOS 及管理工具介绍 [编者按]CoreOS是一个基于Docker的轻量级容器化Linux发行版,专为大型数据中心而设计,旨在通过轻量的系统架构和灵活的应用程序部署能力简化数据中心的维护成本和复杂度.CoreOS作为Docker生态圈中的重要一员,日益得到各大云服务商的重视,目前已经完成了A轮融资,发展风头正劲.InfoQ希望<CoreOS实战>系列文章能够帮助读者了解CoreOS以及相关的使用方法.如果说Docker是下一代的虚拟机,那CoreOS就应该是下一代的