消息队列常见问题之消息发生大量堆积应该怎么处理

  • 线上故障了,怎么处理

    • 消息堆积了10小时,有几千万条消息待处理,现在怎么办?
    • 修复consumer, 然后慢慢消费?也需要几小时才可以消费完成,新的消息怎么办
    • 核心思想:紧急临时扩容,更快的速度去消费数据

      - 修复Consumer不消费问题,使其恢复正常消费,根据业务需要看是否要暂停

      - 临时topic队列扩容,并提高消费者能力,但是如果增加Consumer数量,但是堆积的topic里面的message queue数量固定,过多的consumer不能分配到message queue


      - 编写临时处理分发程序,从旧topic快速读取到临时新topic中,新topic的queue数量扩容多倍,然后再启动更多consumer进行在临时新的topic里消费

      - 直到堆积的消息处理完成,再还原到正常的机器数量
       
    • 消息队列常见问题之消息发生大量堆积应该怎么处理_第1张图片
  • 消息队列常见问题之消息发生大量堆积应该怎么处理_第2张图片

消息队列常见问题之消息发生大量堆积应该怎么处理_第3张图片

你可能感兴趣的:(消息队列常见问题之消息发生大量堆积应该怎么处理)