MQ
MQ(消息队列)是一种应用间的通信方式,消息发送后可以立即返回,由消息系统来确保消息的可靠传递。消息发布者只管把消息发布到MQ中而无需要谁来获取,消息使用者只管从MQ中获取消息而不管是谁发布的。
从以上的描述中可以看出消息队列是异步协作机制,而消息中间件真正的作用:
- 解耦:在项目启动之初来预测将来会碰到什么需求是极其困难的。消息中间件在处理过程中间插入了一个隐含的、基于数据的接口层,两边的处理过程都要实现这一借口,这允许独立扩展或修改两边的处理过程,只要确保遵守同样的接口约束即可。
- 冗余(存储):有些情况下,处理数据的过程会失败。消息中间件可以把数据进行持久化直到它们被完全处理,通过者一方式规避了丢失风险。在把一个消息从消息中间件删除之前,需要你的处理系统明确地指出该消息已经处理完成。
- 扩张性:因为消息中间件解耦了应用的处理过程,所以提高消息入队和处理的效率是很容易的,只是另外增加处理过程即可,不需要改变代码,也不需要调节参数。
- 削峰:在访问量剧增的情况下,应用仍然需要继续发挥作用,如果以处理峰值为标准而投入资源,无疑是巨大的浪费。使用消息中间件能够使关键组件支撑突发压力,不会因为突发的超负荷请求而完全崩溃。
- 可恢复性:当系统一组件失效时,不会影响到整个系统。消息中间件降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入消息中间件的消息仍可以在系统恢复后进行处理。
- 顺序保证:在大多数使用场景下,数据处理的顺序很重要,大部分消息中间件支持一定程度的顺序性。
- 缓冲:在任何重要的系统中,都会存在需要不同处理时间的元素。消息中间件通过一个缓冲层来帮助任务最高效率地执行,写入消息中间件的处理会尽快处理。
- 异步通信:在很多时候应用不想也不需要立即处理消息,消息中间件提供了异步处理机制。
RabbitMQ中的概念模型
消息模型
所有MQ产品从模型抽象上来说都是一样的过程:
消费者(consumer)订阅某个队列。生产者(producer)创建消息,然后发布到队列(queue)中,最后将消息发送到监听的消费者。
Rabbitmq基本概念
Message
消息,消息是不具名的,它由消息头和消息体组成。消息体是不透明的,而消息头则是一系列的可选属性组成,这些属性包括routing-key(路由键)、priority(优先级)、delivery-mode(是否持久化)等。Publisher
消息的生产者,也是一个向交换器发布消息的客户端应用程序。Exchange
交换机,用来接收生产者发送的消息并将这些消息路由给服务器中队列。Binding
绑定,用于消息队列和交换机之间的关联,一个绑定就是基于路由键将交换机和消息队列连接起来的路由规则,所以可以将交换器理解成一个由绑定构成的路由表。Queue
消息队列,用于保存消息直到发送给消费者。它是消息的容器,也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面,等待消费者连接到这个队列将其取走。Connection
网络连接,比如一个TCP连接Channel
信道,多路复用连接中一条独立的双向数据流通道。信道是建立在真正的TCP连接内地虚拟连接,AMQP命令都是通过信道发出去的,不管是发布消息、订阅队列还是接受消息,这些动作都是通过信道完成。Consumer
消息的消费者,表示一个从消息队列中获得消息的客户端应用程序。Virtual Host
虚拟主机,表示一批交换机、消息队列和相关对象、虚拟主机是共享相同的身份认证和加密环境的独立服务器域。每个 vhost 本质上就是一个 mini 版的 RabbitMQ 服务器,拥有自己的队列、交换器、绑定和权限机制。vhost 是 AMQP 概念的基础,必须在连接时指定,RabbitMQ 默认的 vhost 是 / 。Broker
表示消息队列服务器实体。
Exchange类型
RabbitMQ常用的交换机类型有fanout、direct、topic、headers这四种,headers 匹配 AMQP 消息的 header 而不是路由键,此外 headers 交换器和 direct 交换器完全一致,但性能差很多,目前几乎用不到了。
direct
消息中的路由键(routing key)如果和Binding中的binding key一致,交换机就将消息发到对应的队列中。路由键与队列名完全匹配,如果一个队列绑定到交换机要求为‘dog’,则只转发routing key标记为‘dog’的消息,不会转发‘dog.dog’等,必须完全匹配、单播模式。
fanout
每个发到 fanout 类型交换器的消息都会分到所有绑定的队列上去。fanout 交换器不处理路由键,只是简单的将队列绑定到交换器上,每个发送到交换器的消息都会被转发到与该交换器绑定的所有队列上。很像子网广播,每台子网内的主机都获得了一份复制的消息。fanout 类型转发消息是最快的。
topic
topic交换机通过模式匹配分配消息的路由键属性,将路由键和某个键进行匹配,此时队列需要绑定一个模式上。他将路由键和绑定键的字符串切分成单词,这些单词之间用点隔开。它同样也会识别两个通配符:符号“#”和符号“*”。#匹配0个或多个单词,匹配不多不少一个单词。
RabbitMQ运转流程
生产者发送消息
- 生产者连接RabbitMQ Broker,建立一个连接(Connection),开启一个信道(Channel)
- 生产者声明一个交换机,并设置相关属性,比如交换机类型、是否持久化等
- 生产者声明一个队列并设置相关属性,比如是否排他,是否持久化,是否指定删除等
- 生产者通过路由键将交换机和队列绑定起来
- 生产者发送消息至RabbitMQ Broker,其中包括路由键、交换机等信息
- 相应的交换机根据接收到的路由键查找相匹配的队列
- 如果找到,则将生产者发过来的消息存入相应的队列
- 如果没找到,则根据生产者配置的属性选择丢弃还是回给生产者
- 关闭信道
- 关闭连接
消费者接受消息
- 消费者连接RabbitMQ Broker,建立一个连接(Connection),开启一个信道(Channel)
- 消费者向RabbitMQ Broker请求消费相应队列中的消息,可能会设置相应的回调函数
- 等待RabbitMQ Broker回应并投递相应的队列消息,消费者接受消息
- 消费者确认(ack)接受到的消息
- RabbitMQ从队列中删除相应已经被确认的消息
- 关闭信道
- 关闭连接