【转载】消息队列RabbitMQ入门介绍

(一)基本概念

      RabbitMQ 是流行的开源消息队列系统,用 erlang 语言开发。我曾经对这门语言挺有兴趣,学过一段时间,后来没坚持。RabbitMQ 是 AMQP(高级消息队列协议)的标准实现。如果不熟悉 AMQP,直接看 RabbitMQ 的文档会比较困难。不过它也只有几个关键概念,这里简单介绍。

RabbitMQ 的结构图如下:

几个概念说明:

Broker:简单来说就是消息队列服务器实体。
Exchange:消息交换机,它指定消息按什么规则,路由到哪个队列。
Queue:消息队列载体,每个消息都会被投入到一个或多个队列。
Binding:绑定,它的作用就是把 exchange 和 queue 按照路由规则绑定起来。
Routing Key:路由关键字,exchange 根据这个关键字进行消息投递。
vhost:虚拟主机,一个 broker 里可以开设多个 vhost,用作不同用户的权限分离。
producer:消息生产者,就是投递消息的程序。
consumer:消息消费者,就是接受消息的程序。
channel:消息通道,在客户端的每个连接里,可建立多个 channel,每个 channel 代表一个会话任务。

消息队列的使用过程大概如下:

(1)客户端连接到消息队列服务器,打开一个 channel 。
(2)客户端声明一个 exchange,并设置相关属性。
(3)客户端声明一个 queue,并设置相关属性。
(4)客户端使用 routing key(本质上是 binding key,后文已做相应纠正),在 exchange 和 queue 之间建立好绑定关系。
(5)客户端投递消息到 exchange 。

      exchange 接收到消息后,就根据消息的 routing key 和已经设置的 binding 关系,进行消息路由,将消息投递到一个或多个队列里。

      exchange 也有几个类型:

  • 完全根据 routing key 进行投递的叫做 direct 交换机。例如,绑定时设置了 binding key 为 "abc",那么客户端提交的消息,只有设置了routing key 为 "abc" 的才会被投递到该队列。
  • 对 routing key 进行模式匹配后进行投递的叫做 topic 交换机。符号 "#" 匹配一个或多个词,符号 "*" 匹配正好一个词。例如 "abc.#" 可以匹配 "abc.def.ghi" ,"abc.*" 只能匹配 "abc.def" 。
  • 还有一种不需要 routing key 的,叫做 fanout 交换机。它采取广播模式,一个消息进来时,投递到与该交换机绑定的所有队列。

      RabbitMQ 支持消息的持久化,也就是数据写在磁盘上,为了数据安全考虑,我想大多数用户都会选择持久化。消息队列持久化包括 3 个部分:
(1)exchange 持久化,在声明时指定 durable => 1
(2)queue 持久化,在声明时指定 durable => 1
(3)消息持久化,在投递时指定 delivery_mode => 2(1 是非持久化)

      如果 exchange 和 queue 都是持久化的,那么它们之间的 binding 也是持久化的。

(二)应用实际

使用 Linux 服务器(ubuntu 9.10 64位),安装 RabbitMQ 非常方便。

先运行如下命令安装 erlang:

?


1

# apt-get install erlang-nox

再到rabbitmq.com上下载RabbitMQ的安装包,如下安装:

?


1

# dpkg -i rabbitmq-server_2.6.1-1_all.deb

安装完后,使用

?


1

# /etc/init.d/rabbitmq-server start|stop|restart

来启动、停止、重启 rabbitmq。

在正式应用之前,我们先在 RabbitMQ 里创建一个 vhost ,加一个用户,并设置该用户的权限。

使用 rabbitmqctl 客户端工具,在根目录下创建 "/pyhtest" 这个 vhost :

?


1

# rabbitmqctl add_vhost /pyhtest

创建一个用户名 "pyh" ,设置密码 "pyh1234" :

?


1

# rabbitmqctl add_user pyh pyh1234

设置pyh用户对/pyhtest这个vhost拥有全部权限:

?


1

# rabbitmqctl set_permissions -p /pyhtest pyh “.*” “.*” “.*”

后面三个”*”代表pyh用户拥有对/pyhtest的配置、写、读全部权限

设置好后,开始编程,我用 Perl 写一个消息投递程序(producer):

?


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

#!/usr/bin/perl

use strict;

use Net::RabbitMQ;

use UUID::Tiny;

 

my $channel = 1000; # channel ID,可以随意指定,只要不冲突

my $queuename = “pyh_queue”; # 队列名

my $exchange = “pyh_exchange”; # 交换机名

my $routing_key = “test”; # routing key

 

my $mq = Net::RabbitMQ->new(); # 创建一个RabbitMQ对象

 

$mq->connect(“localhost”, { vhost => “/pyhtest”, user => “pyh”, password => “pyh1234″ }); # 建立连接

$mq->channel_open($channel); # 打开一个channel

$mq->exchange_declare($channel, $exchange, {durable => 1}); # 声明一个持久化的交换机

$mq->queue_declare($channel, $queuename, {durable => 1}); # 声明一个持久化的队列

$mq->queue_bind($channel, $queuename, $exchange, $routing_key); # 使用routing key在交换机和队列间建立绑定

 

for (my $i=0;$i<10000000;$i++) { # 循环1000万次

my $string = create_UUID_as_string(UUID_V1); # 产生一条UUID作为消息主体

$mq->publish($channel, $routing_key, $string, { exchange => $exchange }, { delivery_mode => 2 }); # 将消息结合key以持久化模式投递到交换机

}

 

$mq->disconnect(); # 断开连接

消息接受程序(consumer)大概如下:

?


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

#!/usr/bin/perl

use strict;

use Net::RabbitMQ;

 

my $channel = 1001;

my $queuename = “pyh_queue”;

my $mq = Net::RabbitMQ->new();

 

$mq->connect(“localhost”, { vhost=>”/pyhtest”, user => “pyh”, password => “pyh1234″ });

$mq->channel_open($channel);

 

while (1) {

my $hashref = $mq->get($channel, $queuename);

last unless defined $hashref;

print $hashref->{message_count}, “: “, $hashref->{body},”\n”;

}

 

$mq->disconnect();

consumer 连接后只要指定队列就可获取到消息。

      上述程序共投递 1000 万条消息,每条消息 36 字节(UUID),打开持久化,共耗时 17 分多钟(包括产生 UUID 的时间),每秒投递消息约 9500 条。测试机器是 8G 内存、8 核志强 CPU 。

     投递完后,在 /var/lib/rabbitmq/mnesia/rabbit@${hostname}/msg_store_persistent 目录,产生 2G 多的持久化消息数据。在运行 consumer 程序后,这些数据都会消失,因为消息已经被消费了。

原文地址:http://www.nsbeta.info/archives/200

时间: 2024-08-07 11:05:24

【转载】消息队列RabbitMQ入门介绍的相关文章

Spring学习笔记3之消息队列(rabbitmq)发送邮件功能_java

rabbitmq简介: MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法.应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们.消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如远程过程调用的技术.排队指的是应用程序通过 队列来通信.队列的使用除去了接收和发送应用程序同时执行的要求.其中较为成熟的MQ产品有IBM WEBSPHERE MQ. 本节的内容是用户注册时,将邮

消息队列rabbitmq可以实现这个功能吗

问题描述 自己系统暴露一个接口,供别人访问发送数据,自己再处理数据.如何控制自己系统一条一条的处理别人发送的数据,这样也可以防止恶意攻击.可以用消息队列rabbitmq吗. 解决方案 解决方案二:做成单用户系统?

EQueue - 一个C#写的开源分布式消息队列的总体介绍

前言 本文想介绍一下前段时间在写enode时,顺便实现的一个分布式消息队列equeue.这个消息队列的思想不是我想出来的,而是通过学习阿里的rocketmq后,自己用c#实现了一个轻量级的简单版本.一方面可以通过写这个队列让自己更深入的掌握消息队列的一些常见问题:另一方面也可以用来和enode集成,为enode中的command和domain event的消息传递提供支持.目前在.net平台,比较好用的消息队列,最常见的是微软的MSMQ了吧,还有像rabbitmq也有.net的client端.这

【转载】关于RabbitMQ的消息持久性

      在消息队列 RabbitMQ 入门介绍里,描述了 RabbitMQ 的持久性设置.在设置持久化后,消息保存在磁盘上,即使 RabbitMQ 重启或服务器重启,消息都不会丢失. RabbitMQ 支持消息的持久化,也就是数据写在磁盘上,为了数据安全考虑,我想大多数用户都会选择持久化.消息队列持久化包括3个部分:(1)exchange 持久化,在声明时指定 durable => 1(2)queue 持久化,在声明时指定 durable => 1(3)消息持久化,在投递时指定 deliv

一分钟了解阿里云产品:消息队列

一.             概述   阿里云发布的产品种类繁多,今天让我们一起来了解下消息队列(Message Queue,简称MQ)吧.     什么是消息队列呢?   消息队列是企业级互联网架构的核心服务,基于高可用分布式集群技术,搭建了包括发布订阅.接入.管理.定时(延时).监控报警等一套完整的高性能.高性价比消息云服务.MQ是阿里云正式商用的互联网消息中间件,帮您实现分布式计算场景中所有异步解耦功能.MQ由阿里巴巴集团中间件技术部自主研发,是原汁原味的阿里集团中间件技术精华之沉淀,是可

消息队列中点对点与发布订阅区别(good)

背景知识 JMS一个在 Java标准化组织(JCP)内开发的标准(代号JSR 914).2001年6月25日,Java消息服务发布JMS 1.0.2b,2002年3月18日Java消息服务发布 1.1. Java消息服务(Java Message Service,JMS)应用程序接口是一个Java平台中关于面向消息中间件(MOM)的API,用于在两个应用程序之间,或分布式系统中发送消息,进行异步通信. 点对点与发布订阅最初是由JMS定义的.这两种模式主要区别或解决的问题就是发送到队列的消息能否重

RabbitMQ消息队列入门篇(环境配置+Java实例+基础概念)

版权声明:本文为博主原创文章,转载注明出处http://blog.csdn.net/u013142781 目录(?)[+] 一.消息队列使用场景或者其好处 消息队列一般是在项目中,将一些无需即时返回且耗时的操作提取出来,进行了异步处理,而这种异步处理的方式大大的节省了服务器的请求响应时间,从而提高了系统的吞吐量. 在项目启动之初来预测将来项目会碰到什么需求,是极其困难的.消息队列在处理过程中间插入了一个隐含的.基于数据的接口层,两边的处理过程都要实现这一接口.这允许你独立的扩展或修改两边的处理过

RabbitMQ消息队列(一): Detailed Introduction 详细介绍

1. 历史     RabbitMQ是一个由erlang开发的AMQP(Advanced Message Queue )的开源实现.AMQP 的出现其实也是应了广大人民群众的需求,虽然在同步消息通讯的世界里有很多公开标准(如 COBAR的 IIOP ,或者是 SOAP 等),但是在异步消息处理中却不是这样,只有大企业有一些商业实现(如微软的 MSMQ ,IBM 的 Websphere MQ 等),因此,在 2006 年的 6 月,Cisco .Redhat.iMatix 等联合制定了 AMQP

RabbitMQ消息队列(1):RabbitMQ入门

oldriver老司机技术手册 分享 RabbitMQ消息队列(1):RabbitMQ入门