消息的按序执行

1. 为什么要保证顺序

消息队列中的若干消息如果是对同一个数据进行操作，这些操作具有前后的关系，必须要按前后的顺序执行，否则就会造成数据异常。举例：

比如通过 mysql binlog 进行两个数据库的数据同步，由于对数据库的数据操作是具有顺序性的，如果操作顺序搞反，就会造成不可估量的错误。比如数据库对一条数据依次进行了插入 → 更新 → 删除操作，这个顺序必须是这样，如果在同步过程中，消息的顺序变成了删除 → 插入 → 更新，那么原本应该被删除的数据，就没有被删除，造成数据的不一致问题。

2. 出现顺序错乱的场景

2.1. RabbitMQ

1. 一个 queue，有多个 consumer 去消费，这样就会造成顺序的错误，consumer 从 MQ 里面读取数据是有序的，但是每个 consumer 的执行时间是不固定的，无法保证先读到消息的 consumer 一定先完成操作，这样就会出现消息并没有按照顺序执行，造成数据顺序错误。

   RabbitMQ 消息顺序错乱第一种情况示意图：

   

2. 一个 queue 对应一个 consumer，但是 consumer 里面进行了多线程消费，这样也会造成消息消费顺序错误。

   RabbitMQ 消息顺序错乱第二种情况示意图：

   

2.2. Kafka

1. Kafka 一个 topic，一个 partition，一个 consumer，但是 consumer 内部进行多线程消费，这样数据也会出现顺序错乱问题。

   Kafka 消息顺序错乱第一种情况示意图：

   

2. 具有顺序的数据写入到了不同的 partition 里面，不同的消费者去消费，但是每个 consumer 的执行时间是不固定的，无法保证先读到消息的 consumer 一定先完成操作，这样就会出现消息并没有按照顺序执行，造成数据顺序错误。

   Kafka 消息顺序错乱第二种情况示意图：

   

3. 保证消息的消费顺序

3.1. RabbitMQ

1. 拆分多个 queue，每个 queue 一个 consumer，就是多一些 queue 而已，确实是麻烦点；这样也会造成吞吐量下降，可以在消费者内部采用多线程的方式取消费。

   一个 queue 对应一个 consumer：

   

2. 或者就一个 queue 但是对应一个 consumer，然后这个 consumer 内部用内存队列做排队，然后分发给底层不同的 worker 来处理。

   一个 queue 对应一个 consumer，采用多线程：

   

3.2. Kafka

1. 确保同一个消息发送到同一个 partition，一个 topic，一个 partition，一个 consumer，内部单线程消费。

   单线程保证顺序：

   

2. 写 N 个内存 queue，然后 N 个线程分别消费一个内存 queue 即可。

   多线程保证顺序：

   

---

原文链接

关于 MQ 的几件小事（五）如何保证消息按顺序执行