RabbitMQ消息队列的小伙伴: ProtoBuf（Google Protocol Buffer）

     什么是ProtoBuf？

     一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。它很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。目前提供了 C++、Java、Python 三种语言的 API。

     它可以作为RabbitMQ的Message的数据格式进行传输，由于是结构化的数据，这样就极大的方便了Consumer的数据高效处理。当然了你可能说使用XML不也可以吗？与XML相比，ProtoBuf有以下优势：

  1. 简单
  2. size小了3-10倍
  3. 速度快乐20-100倍
  4. 易于编程
  5. 减小了语义的歧义

       当然了，的确还有很多类似的技术，比如JSON，Thrift等等，和他们相比，ProtoBuf的优势或者劣势在哪里？简单说来，ProtoBuf就是简单，快。以测试为证：项目 thrift-protobuf-compare 比较了这些类似的技术，下图 显示了该项目的一项测试结果。

在占用空间上的性能比较：

由此可见，ProtoBuf具有速度和空间的优势，使得它现在应用非常广泛。比如Hadoop就使用了它。

更多信息，请阅 http://www.ibm.com/developerworks/cn/linux/l-cn-gpb/。

尊重原创，转载请注明出处 anzhsoft：http://blog.csdn.net/anzhsoft/article/details/19771671

时间： 2024-11-08 19:26:53

RabbitMQ消息队列的小伙伴: ProtoBuf（Google Protocol Buffer）的相关文章

Google Protocol Buffer使用经验分享（一） C++动态消息与静态消息的博弈

写在前面 相信正在浏览这篇文章的同学,一定已经对PB(Protocol buffer)有所了解,所以这里不罗嗦何为PB了. 我自己从去年年底开始对PB的使用逐渐有一些了解,直到在搜索排序框架(iRank)的重构中尝试应用PB,希望能在"数据结构灵活增删改"和"高效的数据传输反序列化"之间求得平衡. 在这过程之中,对PB 动态消息和静态消息的C++使用方式进行了一些调研,对 动态消息 和 静态消息 的优缺点有了进一步了解.通过阅读源代码和实际应用,总结出一些经验,将

RabbitMQ消息队列（七）：适用于云计算集群的远程调用(RPC)

        在云计算环境中,很多时候需要用它其他机器的计算资源,我们有可能会在接收到Message进行处理时,会把一部分计算任务分配到其他节点来完成.那么,RabbitMQ如何使用RPC呢?在本篇文章中,我们将会通过其它节点求来斐波纳契完成示例. 1. 客户端接口 Client interface         为了展示一个RPC服务是如何使用的,我们将创建一段很简单的客户端class. 它将会向外提供名字为call的函数,这个call会发送RPC请求并且阻塞知道收到RPC运算的结果.代码

RabbitMQ消息队列（三）：任务分发机制

<===  RabbitMQ消息队列(二):"Hello, World"    在上篇文章中,我们解决了从发送端(Producer)向接收端(Consumer)发送"Hello World"的问题.在实际的应用场景中,这是远远不够的.从本篇文章开始,我们将结合更加实际的应用场景来讲解更多的高级用法.    当有Consumer需要大量的运算时,RabbitMQ Server需要一定的分发机制来balance每个Consumer的load.试想一下,对于web

RabbitMQ消息队列（四）：分发到多Consumer（Publish/Subscribe）

 <=== RabbitMQ消息队列(三):任务分发机制            上篇文章中,我们把每个Message都是deliver到某个Consumer.在这篇文章中,我们将会将同一个Message deliver到多个Consumer中.这个模式也被成为 "publish / subscribe".     这篇文章中,我们将创建一个日志系统,它包含两个部分:第一个部分是发出log(Producer),第二个部分接收到并打印(Consumer). 我们将构建两个Consum

RabbitMQ消息队列（六）：使用主题进行消息分发

         在上篇文章RabbitMQ消息队列(五):Routing 消息路由 中,我们实现了一个简单的日志系统.Consumer可以监听不同severity的log.但是,这也是它之所以叫做简单日志系统的原因,因为是仅仅能够通过severity设定.不支持更多的标准.         比如syslog unix的日志工具,它可以通过severity (info/warn/crit...) 和模块(auth/cron/kern...).这可能更是我们想要的:我们可以仅仅需要cron模块的l

RabbitMQ消息队列（一）: Detailed Introduction 详细介绍

1. 历史     RabbitMQ是一个由erlang开发的AMQP(Advanced Message Queue )的开源实现.AMQP 的出现其实也是应了广大人民群众的需求,虽然在同步消息通讯的世界里有很多公开标准(如 COBAR的 IIOP ,或者是 SOAP 等),但是在异步消息处理中却不是这样,只有大企业有一些商业实现(如微软的 MSMQ ,IBM 的 Websphere MQ 等),因此,在 2006 年的 6 月,Cisco .Redhat.iMatix 等联合制定了 AMQP

RabbitMQ消息队列（九）：Publisher的消息确认机制

       在前面的文章中提到了queue和consumer之间的消息确认机制:通过设置ack.那么Publisher能不到知道他post的Message有没有到达queue,甚至更近一步,是否被某个Consumer处理呢?毕竟对于一些非常重要的数据,可能Publisher需要确认某个消息已经被正确处理.       在我们的系统中,我们没有是实现这种确认,也就是说,不管Message是否被Consume了,Publisher不会去care.他只是将自己的状态publish给上层,由上层的逻辑

RabbitMQ消息队列(1):RabbitMQ入门

oldriver老司机技术手册 分享 RabbitMQ消息队列(1):RabbitMQ入门

RabbitMQ消息队列(2):工作队列之消息分发机制

oldriver老司机技术手册 分享 RabbitMQ消息队列(2):工作队列之消息分发机制