daiyuenlong110
daiyuenlong110

RocketMQ学习笔记（二）

第六章 RocketMQ生产者核心配置和核心知识讲解

第1集 消息队列RocketMQ4.X生产者核心配置讲解

简介：消息队列RocketMQ4.X核心配置讲解

  • 生产者常见核心配置

    • compressMsgBodyOverHowmuch ：消息超过默认字节4096后进行压缩

    • retryTimesWhenSendFailed : 失败重发次数

    • maxMessageSize : 最大消息配置，默认128k

    • topicQueueNums : 主题下面的队列数量，默认是4

    • autoCreateTopicEnable : 是否自动创建主题Topic, 开发建议为true，生产要为false

    • defaultTopicQueueNums : 自动创建服务器不存在的topic，默认创建的队列数

    • autoCreateSubscriptionGroup: 是否允许 Broker 自动创建订阅组，建议线下开发开启，线上关闭

    • brokerClusterName : 集群名称

    • brokerId : 0表示Master主节点 大于0表示从节点

    • brokerIP1 : Broker服务地址

    • brokerRole : broker角色 ASYNC_MASTER/ SYNC_MASTER/ SLAVE

    • deleteWhen : 每天执行删除过期文件的时间，默认每天凌晨4点

    • flushDiskType ：刷盘策略, 默认为 ASYNC_FLUSH(异步刷盘), 另外是SYNC_FLUSH(同步刷盘)

    • listenPort ： Broker监听的端口号

    • mapedFileSizeCommitLog ： 单个conmmitlog文件大小，默认是1GB

    • mapedFileSizeConsumeQueue：ConsumeQueue每个文件默认存30W条，可以根据项目调整

    • storePathRootDir : 存储消息以及一些配置信息的根目录 默认为用户的 ${HOME}/store

    • storePathCommitLog：commitlog存储目录默认为${storePathRootDir}/commitlog

    • storePathIndex： 消息索引存储路径

    • syncFlushTimeout : 同步刷盘超时时间

    • diskMaxUsedSpaceRatio ： 检测可用的磁盘空间大小，超过后会写入报错

       

 

 

第2集 核心知识之RocketMQ4.X消息发送状态

简介：讲解RocketMQ消息常见发送状态

  • 消息发送有同步和异步

  • Broker消息投递状态讲解

    • FLUSH_DISK_TIMEOUT

      • 没有在规定时间内完成刷盘 (刷盘策略需要为SYNC_FLUSH 才会出这个错误)

    • FLUSH_SLAVE_TIMEOUT

      • 主从模式下，broker是SYNC_MASTER, 没有在规定时间内完成主从同步

    • SLAVE_NOT_AVAILABLE

      • 从模式下，broker是SYNC_MASTER, 但是没有找到被配置成Slave的Broker

    • SEND_OK

      • 发送成功，没有发生上面的三种问题

     

 

 

第3集 核心知识之RocketMQ4.X生产和消费消息重试及处理

简介：讲解RocketMQ消息生产和消费异常重试和阈值设定

  • 生产者Producer重试（异步和SendOneWay下配置无效）

    • 消息重投(保证数据的高可靠性),本身内部支持重试，默认次数是2，
    • 如果网络情况比较差，或者跨集群则建改多几次

  • 消费端重试

    • 原因：消息处理异常、broker端到consumer端各种问题，如网络原因闪断，消费处理失败，ACK返回失败等等问题。

    • 注意：

      • 重试间隔时间配置 ,默认每条消息最多重试 16 次

      • messageDelayLevel=1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h

      • 超过重试次数人工补偿

      • 消费端去重

      • 一条消息无论重试多少次，这些重试消息的 Message ID，key 不会改变。

      • 消费重试只针对集群消费方式生效；广播方式不提供失败重试特性，即消费失败后，失败消息不再重试，继续消费新的消息，

 

 

第4集 RocketMQ4.X异步发送消息和回调实战

简介: 讲解使用RocketMQ异步发送消息

  • 官方文档：https://rocketmq.apache.org/docs/simple-example/
  • 核心 ：
producer.send(message, new SendCallback(){
	onSuccess(){}
	onException(){}
})

 

注意：官方例子：如果异步发送消息，调用producer.shutdown()后会失败

异步发送：不会重试，发送总次数等于1

 

 

 

 

第5集 RocketMQ OneWay发送消息及多种场景对比

简介：讲解使用RocketMQ发送oneway消息和使用场景，多种发送模式对比

  • SYNC ：

    • 应用场景：重要通知邮件、报名短信通知、营销短信系统等

  • ASYNC ：异步

    • 应用场景：对RT时间敏感,可以支持更高的并发，回调成功触发相对应的业务，比如注册成功后通知积分系统发放优惠券

  • ONEWAY : 无需要等待响应

    • 官方文档：https://rocketmq.apache.org/docs/simple-example/
    • 使用场景：主要是日志收集，适用于某些耗时非常短，但对可靠性要求并不高的场景, 也就是LogServer, 只负责发送消息，不等待服务器回应且没有回调函数触发，即只发送请求不等待应答

 

汇总对比

第一章深入剖析高性能RocketMQ4.X实战课程概要
第1集 互联网架构之深入剖析高性能RocketMQ4.X实战课程介绍

简介：深入剖析高性能RocketMQ4.X实战简介、适用人群和学习基础

 

 

 

 

 

 

 

 

"让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 
第二章 JMS介绍和消息中间件核心知识    

 
第1集 JMS消息服务介绍和使用场景    

简介：讲解什么是JMS，消息队列的使用场景

    什么是JMS: Java消息服务（Java Message Service),Java平台中关于面向消息中间件的接口

    JMS是一种与厂商无关的 API，用来访问消息收发系统消息，它类似于JDBC(Java Database Connectivity)。这里，JDBC 是可以用来访问许多不同关系数据库的 API

    使用场景：

        核心应用
            解耦：订单系统-》物流系统
            异步：用户注册-》发送邮件，初始化信息
            削峰：秒杀、日志处理

        跨平台 、多语言

        分布式事务、最终一致性

        RPC调用上下游对接，数据源变动->通知下属

 

 

 
第2集 消息中间件常见概念和编程模型    

简介：讲解消息中间件的常见概念和基础编程模型

    常见概念
        JMS提供者：连接面向消息中间件的，JMS接口的一个实现，RocketMQ,ActiveMQ,Kafka等等
        JMS生产者(Message Producer)：生产消息的服务
        JMS消费者(Message Consumer)：消费消息的服务
        JMS消息：数据对象
        JMS队列：存储待消费消息的区域
        JMS主题：一种支持发送消息给多个订阅者的机制
        JMS消息通常有两种类型：点对点（Point-to-Point)、发布/订阅（Publish/Subscribe）

    基础编程模型
        MQ中需要用的一些类
        ConnectionFactory ：连接工厂，JMS 用它创建连接
        Connection ：JMS 客户端到JMS Provider 的连接
        Session： 一个发送或接收消息的线程
        Destination ：消息的目的地;消息发送给谁.
        MessageConsumer / MessageProducer： 消息消费者，消息生产者

 

 

 
第3集 主流消息队列和技术选型讲解    

简介：对比当下主流的消息队列和选择问题    

    Apache ActiveMQ、Kafka、RabbitMQ、RocketMQ

        ActiveMQ：http://activemq.apache.org/
            Apache出品，历史悠久，支持多种语言的客户端和协议，支持多种语言Java, .NET, C++ 等，基于JMS Provider的实现

        缺点：吞吐量不高，多队列的时候性能下降，存在消息丢失的情况，比较少大规模使用

        Kafka：http://kafka.apache.org/
            是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理大规模的网站中的所有动作流数据(网页浏览，搜索和其他用户的行动)，副本集机制，实现数据冗余，保障数据尽量不丢失；支持多个生产者和消费者

        缺点：不支持批量和广播消息，运维难度大，文档比较少, 需要掌握Scala

        RabbitMQ：http://www.rabbitmq.com/
            是一个开源的AMQP实现，服务器端用Erlang语言编写，支持多种客户端，如：Python、Ruby、.NET、Java、JMS、C、用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不错

        缺点：使用Erlang开发，阅读和修改源码难度大

        RocketMQ：http://rocketmq.apache.org/
            阿里开源的一款的消息中间件, 纯Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点, 性能强劲(零拷贝技术)，支持海量堆积, 支持指定次数和时间间隔的失败消息重发,支持consumer端tag过滤、延迟消息等，在阿里内部进行大规模使用，适合在电商，互联网金融等领域使用

     

 

 

 

 

"让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 
第三章 RocketMQ4.X基础介绍和阿里云Linux服务器快速部署
第1集 阿里巴巴开源RocketMQ4.x消息队列介绍    

简介：阿里开源消息队列 RocketMQ4.x介绍和新概念讲解

    Apache RocketMQ作为阿里开源的一款高性能、高吞吐量的分布式消息中间件

    特点

        支持Broker和Consumer端消息过滤

        支持发布订阅模型，和点对点，

        支持拉pull和推push两种消息模式

        单一队列百万消息、亿级消息堆积

        支持单master节点，多master节点，多master多slave节点

        任意一点都是高可用，水平拓展，Producer、Consumer、队列都可以分布式

        消息失败重试机制、支持特定level的定时消息

        新版本底层采用Netty

        4.3.x支持分布式事务

        适合金融类业务，高可用性跟踪和审计功能。

         

    概念

        Producer:消息生产者

        Producer Group:消息生产者组，发送同类消息的一个消息生产组

        Consumer:消费者

        Consumer Group:消费同类消息的多个实例

        Tag:标签，子主题（二级分类）对topic的进一步细化,用于区分同一个主题下的不同业务的消息

        Topic:主题, 如订单类消息，queue是消息的物理管理单位，而topic是逻辑管理单位。一个topic下可以有多个queue，

        默认自动创建是4个，手动创建是8个

        Message：消息,每个message必须指定一个topic

        Broker：MQ程序，接收生产的消息，提供给消费者消费的程序

        Name Server：给生产和消费者提供路由信息，提供轻量级的服务发现、路由、元数据信息，可以多个部署，互相独立（比zookeeper更轻量）

        Offset: 偏移量，可以理解为消息进度

        commit log: 消息存储会写在Commit log文件里面

    走读官网地址，学会如何学习新技术 http://rocketmq.apache.org/

    学习资源
        http://jm.taobao.org/2017/01/12/rocketmq-quick-start-in-10-minutes/
        https://www.jianshu.com/p/453c6e7ff81c

 

 

 
第2集 RocketMQ4.x本地源码部署(苹果系统底层是Unix系统)

简介:RocketMQ4.x本地快速部署

    安装前提条件(推荐) 64bit OS, Linux/Unix/Mac (Windows不兼容) 64bit JDK 1.8+;

    快速开始 http://rocketmq.apache.org/docs/quick-start/ 下载安装包：http://mirror.bit.edu.cn/apache/rocketmq/4.4.0/rocketmq-all-4.4.0-source-release.zip

    unzip rocketmq-all-4.4.0-source-release.zip

    cd rocketmq-all-4.4.0/

    mvn -Prelease-all -DskipTests clean install -U

    cd distribution/target/apache-rocketmq

    最终路径 rocketmq-all-4.4.0/distribution/target/apache-rocketmq

     

    最新版本部署存在问题：

        Please set the JAVA_HOME variable in your environment, We need java(x64)

        解决：本地需要配置 JAVA_HOME 使用命令 vim ~/.bash_profile

            JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_171.jdk/Contents/Home"

            export JAVA_HOME

            CLASS_PATH="$JAVA_HOME/lib"

            PATH=".$PATH:$JAVA_HOME/bin"

    解压压缩包

        启动nameServer

         nohup sh bin/mqnamesrv &

        查看日志 tail -f nohup.out (结尾：The Name Server boot success. serializeType=JSON 表示启动成功)

        启动broker (-n指定nameserver地址，nameserver服务端口为9876, broker默认端口 10911)

        nohup sh bin/mqbroker -n localhost:9876 &

        关闭nameserver broker执行的命令

        sh bin/mqshutdown broker

        sh bin/mqshutdown namesrv

        使用 jps查看进程

     

 

    验证是否成功

    #设置名称服务地址

    export NAMESRV_ADDR=localhost:9876

    #投递消息

    sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

    ​

    SendResult [sendStatus=SEND_OK, msgId= ...

    ​

    #消费消息

    sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

    ​

    ConsumeMessageThread_%d Receive New Messages: [MessageExt...

     

 

 
第3集 源码安装RocketMQ4.x可视化控制台    

简介：源码安装RocketMQ4.x可视化控制台

    下载 https://github.com/apache/rocketmq-externals

    编译打包 mvn clean package -Dmaven.test.skip=true
        存在问题，因为roccketmq-console 里面 pom.xml 版本问题

    [ERROR] Failed to execute goal on project rocketmq-console-ng: Could not resolve dependencies for project org.apache:rocketmq-console-ng:jar:1.0.0: The following artifacts could not be resolved: org.apache.rocketmq:rocketmq-tools:jar:4.4.0-SNAPSHOT, org.apache.rocketmq:rocketmq-namesrv:jar:4.4.0-SNAPSHOT, org.apache.rocketmq:rocketmq-broker:jar:4.4.0-SNAPSHOT: Could not find artifact org.apache.rocketmq:rocketmq-tools:jar:4.4.0-SNAPSHOT -> [Help 1]

    [ERROR]

    [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.

    [ERROR] Re-run Maven using the -X switch to enable full debug logging.

        解决 4.4.0-SNAPSHOT

        改为 4.4.0

    target目录 通过java -jar的方式运行, 启动后是 8080端口

    其他常见问题：

    1）无法连接获取broker信息

        修改配置文件,名称路由地址为 namesrvAddr，例如我本机地址为

        src/main/resources/application.properties

        rocketmq.config.namesrvAddr=127.0.0.1:9876

    2）连接不成功

        在阿里云，腾讯云或者虚拟机，记得检查端口号和防火墙是否启动

        阿里云控制台有安全组，需要开放对应的端口

 

 

 

 
第4集 RocketMQ4.x可视化控制台讲解    

简介：讲解新版的RocketMQ可视化管理后台

    管理控制台地址 127.0.0.1:8080

测试中遇到的问题
maybe your broker machine memory too small
原因：磁盘空间不够

 

 

 
第5集 阿里云Linux服务器介绍和使用讲解    

简介：阿里云服务器介绍和使用讲解

 

 

 
第6集 阿里云Linux服务器部署JDK8实战

简介：在阿里云服务器上安装JDK8和配置环境变量

    地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

    linux下使用wget下载jdk8:

    进到目录/usr/local/software 配置环境变量

    解压：tar -zxvf jdk-8u201-linux-x64.tar.gz
    重命名：mv jdk1.8.0_201 jdk8
    vim /etc/profile
    加入
    export JAVA_HOME=/usr/local/software/jdk8
    export PATH=$JAVA_HOME/bin:$PATH
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export JAVA_HOME PATH CLASSPATH
    使用 source /etc/profile   让配置立刻生效

    windows 命令行工具 ：putty
    windows 远程上传工具: wscp
    Mac 命令行工具: Item2
    Mac 远程上传工具 ： Filezilla

 

 

 

 
第7集阿里云Linux服务器安装Maven实战

简介: Linux服务器下安装Maven

解压：tar -zxvf apache-maven-3.6.0-bin.tar.gz
重命名： mv apache-maven-3.6.0 maven
vim /etc/profile
export PATH=/usr/local/software/maven/bin:$PATH

立刻生效：source /etc/profile

 

 

 

 
第8集 阿里云服务器源码部署RocketMQ4.X（Linux系统）

简介：官方下载最新源码包，阿里云Linux服务器部署，解决内存不够问题

    文档地址：http://rocketmq.apache.org/docs/quick-start/

    Liunx 解压安装 yum install unzip

    常见问题

        NameServer内存不够怎么处理

            找到 runserver.sh 修改 JAVA_OPT

            报错问题如下
            [root@iZwz94sw188z3yfl7lpmmsZ apache-rocketmq]# sh bin/mqnamesrv
            Java HotSpot(TM) 64-Bit Server VM warning: Using the DefNew young collector with the CMS collector is deprecated and will likely be removed in a future release
            Java HotSpot(TM) 64-Bit Server VM warning: UseCMSCompactAtFullCollection is deprecated and will likely be removed in a future release.
            Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000006ec800000, 2147483648, 0) failed; error='Cannot allocate memory' (errno=12)
            #
            # There is insufficient memory for the Java Runtime Environment to continue.
            # Native memory allocation (mmap) failed to map 2147483648 bytes for committing reserved memory.
            # An error report file with more information is saved as:
            # /usr/local/software/rocketmq-all-4.4.0/distribution/target/apache-rocketmq/hs_err_pid8993.log

            解决如下 编辑 bin/runserver.sh：
            JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn256m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

        Broker内存不足

            找到 runbroker.sh 修改 JAVA_OPT

            JAVA_OPT="${JAVA_OPT} -server -Xms528m -Xmx528m -Xmn256m"

             

 

 
第9集 阿里云源码安装RocketMQ4.X控制台（Linux系统）

简介：阿里云服务器安装RocketMQ控制台

    上传源码包-》解压-》进入rocketmq-console目录-》 编译打包 mvn clean package -Dmaven.test.skip=true

    务必修改下面两个，再进行编译打包
        修改 pom.xml 版本号 (官方bug)
        修改application.xml里面的nameserver地址

    进入target目录 ，启动 java -jar rocketmq-console-ng-1.0.0.jar

    守护进程方式启动 nohup java -jar rocketmq-console-ng-1.0.0.jar &

 

 

 

 
第10集 RocketMQ4.4.X源码导入IDEA

简介：将RocketMQ源码导入IDEA,为后续阅读源码做准备

    下载源码，解压，导入即可

 

 

 

 

 

"让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 
第四章 Springboot2.X整合RocketMQ4.X实战

 
第1集 Springboot2.x整合RocketMQ4.x实战发送消息

简介：Springboot2.x整合RocketMQ4.x实战，加入相关依赖，开发生产者代码

注意 ：记得启动nameser和broker

    快速创建springboot项目 https://start.spring.io/

    加入相关依赖

   
            org.apache.rocketmq
            rocketmq-client
            4.3.0
   

     

    Message对象
        topic: 主题名称
        tag: 标签，用于过滤
        key: 消息唯一标示，可以是业务字段组合
        body: 消息体,字节数组

    注意 发送消息到Broker，需要判断是否有此topic启动broker的时候，

    本地环境建议开启自动创建topic，生产环境建议关闭自动化创建topic

    建议先手工创建Topic，如果靠程序自动创建，然后再投递消息，会出现延迟情况

    概念模型: 一个topic下面对应多个queue,可以在创建Topic时指定，如订单类topic

    通过可视化管理后台查看消息

 

常见错误一

org.apache.rocketmq.remoting.exception.RemotingTooMuchRequestException:
sendDefaultImpl call timeout

原因：阿里云存在多网卡，rocketmq都会根据当前网卡选择一个IP使用，当你的机器有多块网卡时，很有可能会有问题。比如，我遇到的问题是我机器上有两个IP，一个公网IP，一个私网IP, 因此需要配置broker.conf 指定当前的公网ip, 然后重新启动broker
新增配置：conf/broker.conf  (属性名称brokerIP1=broker所在的公网ip地址 )
新增这个配置：brokerIP1=120.76.62.13  

启动命令：nohup sh bin/mqbroker -n localhost:9876  -c ./conf/broker.conf &

常见错误二

MQClientException: No route info of this topic, TopicTest1
原因：Broker 禁止自动创建 Topic，且用户没有通过手工方式创建 此Topic, 或者broker和Nameserver网络不通
解决：
通过 sh bin/mqbroker -m  查看配置
autoCreateTopicEnable=true 则自动创建topic

Centos7关闭防火墙  systemctl stop firewalld

 

常见错误三

控制台查看不了数据，提示连接 10909错误

原因：Rocket默认开启了VIP通道，VIP通道端口为10911-2=10909

解决：阿里云安全组需要增加一个端口 10909

其他错误:

https://blog.csdn.net/qq_14853889/article/details/81053145
https://blog.csdn.net/wangmx1993328/article/details/81588217#%E5%BC%82%E5%B8%B8%E8%AF%B4%E6%98%8E
https://www.jianshu.com/p/bfd6d849f156
https://blog.csdn.net/wangmx1993328/article/details/81588217

 

 

 

 
第2集 Springboot2整合RocketMQ4.x实战消费消息

简介：Springboot2.x整合RocketMQ4.x实战，开发消费者代码，常见问题处理

    自动创建topic： autoCreateTopicEnable=true 无效原因：客户端版本要和服务端版本保持一致

    创建消费者

     consumer = new DefaultMQPushConsumer(consumerGroup);
            consumer.setNamesrvAddr(nameServerAddr);
            consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET);
            consumer.subscribe(topic, "*");
            consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
                try {
                Message msg = msgs.get(0);
                System.out.printf("%s Receive New Messages: %s %n", Thread.currentThread().getName(), new String(msgs.get(0).getBody()));
                String topic = msg.getTopic();
                String body = new String(msg.getBody(), "utf-8");
                String tags = msg.getTags();
                String keys = msg.getKeys();
                System.out.println("topic=" + topic + ", tags=" + tags + ", keys=" + keys + ", msg=" + body);
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
                } catch (UnsupportedEncodingException e) {
                    e.printStackTrace();
                    return ConsumeConcurrentlyStatus.RECONSUME_LATER;
                }
            });

            consumer.start();

     

    常见问题

    1、Caused by: org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to <172.17.42.1:10911> failed

    2、com.alibaba.rocketmq.client.exception.MQClientException: Send [1] times, still failed, cost [1647]ms, Topic: TopicTest1, BrokersSent: [broker-a, null, null]

    3、org.apache.rocketmq.client.exception.MQClientException: Send [3] times, still failed, cost [497]ms, Topic: TopicTest, BrokersSent: [Book-Air.local,     MacBook-Air.local, MacBook-Air.local]
    解决：多网卡问题处理
        1、设置producer:  producer.setVipChannelEnabled(false);
        2、编辑ROCKETMQ 配置文件：broker.conf（下列ip为自己的ip）
            namesrvAddr = 192.168.0.101:9876
            brokerIP1 = 192.168.0.101

    4、DESC: service not available now, maybe disk full, CL:
        解决：修改启动脚本runbroker.sh，在里面增加一句话即可：        
        JAVA_OPT="${JAVA_OPT} -Drocketmq.broker.diskSpaceWarningLevelRatio=0.98"
        （磁盘保护的百分比设置成98%，只有磁盘空间使用率达到98%时才拒绝接收producer消息）
        
    常见问题处理
        https://blog.csdn.net/sqzhao/article/details/54834761
        https://blog.csdn.net/mayifan0/article/details/67633729
        https://blog.csdn.net/a906423355/article/details/78192828

 

 

 

"让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 
第五章 高级篇幅之RocketMQ4.X集群架构讲解
第1集 RocketMQ4.X集群模式架构分析

简介：讲解RocketMQ4.X多种集群模式讲解

    单节点 :

    优点：本地开发测试，配置简单，同步刷盘消息一条都不会丢

    缺点：不可靠，如果宕机，会导致服务不可用

    主从(异步、同步双写) :

    优点：同步双写消息不丢失, 异步复制存在少量丢失 ，主节点宕机，从节点可以对外提供消息的消费，但是不支持写入

    缺点：主备有短暂消息延迟，毫秒级，目前不支持自动切换，需要脚本或者其他程序进行检测然后进行停止broker,重启让从节点成为主节点

    双主：

    优点：配置简单, 可以靠配置RAID磁盘阵列保证消息可靠，异步刷盘丢失少量消息

    缺点: master机器宕机期间，未被消费的消息在机器恢复之前不可消费，实时性会受到影响

    双主双从，多主多从模式（异步复制）

    优点：磁盘损坏，消息丢失的非常少，消息实时性不会受影响，Master 宕机后，消费者仍然可以从Slave消费

    缺点：主备有短暂消息延迟，毫秒级，如果Master宕机，磁盘损坏情况，会丢失少量消息

    双主双从，多主多从模式（同步双写）

    优点：同步双写方式，主备都写成功，向应用才返回成功，服务可用性与数据可用性都非常高

    缺点：性能比异步复制模式略低，主宕机后，备机不能自动切换为主机

 

推荐方案2、4、5

 

 

 
第2集 消息可靠性之同步、异步刷盘

简介：讲解什么是同步刷盘和异步刷盘，主从模式如何保障消息可靠性

    内存+磁盘
    什么是异步刷盘(数据可能丢失,性能高)：
    什么是同步刷盘：数据安全性高
    选择：各有优缺点，看业务需要

 

 
第3集 消息可靠性之同步、异步复制

简介：讲解消息的同步和异步复制

    Master - Slave节点里面
    异步复制 : 数据可能丢失，性能高
    同步复制: 数据安全性高，性能低一点
    最终推荐这种方式：同步双写(即M-S同步复制)，异步刷盘

 

 

 

 
第4集 RocketMQ4.X集群高可用之主从模式搭建上集

简介：使用RocketMQ4.X搭建主从节点上集

 

机器列表

server1 ssh [email protected]
server2 ssh [email protected]
server3 ssh [email protected]
server4 ssh [email protected]

软件：RocketMQ4.X + JDK8 + Maven +CentOS7

 

 

 
第5集 RocketMQ4.X集群高可用之主从模式搭建下集

简介：使用RocketMQ4.X搭建主从节点下集

 

机器列表

server1 ssh [email protected]
server2 ssh [email protected]
server3 ssh [email protected]
server4 ssh [email protected]

 

1、修改RocketMQ(启动内存配置, 两个机器都要修改)

vim runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms528m -Xmx528m -Xmn256m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

vim runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms528m -Xmx528m -Xmn256m"


启动两个机器的 nameserver
nohup sh bin/mqnamesrv &


全路径
/usr/local/software/rocketmq/distribution/target/apache-rocketmq

2、编辑并启动rocketmq命令

主节点
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a.properties &

namesrvAddr=192.168.159.129:9876;192.168.159.130:9876
brokerClusterName=XdclassCluster
brokerName=broker-a
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH

从节点
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a-s.properties &

namesrvAddr=192.168.159.129:9876;192.168.159.130:9876
brokerClusterName=XdclassCluster
brokerName=broker-a
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH

 

3、使用管控台

修改事项
pom.xml  里面的rocketmq版本号
application.properties里面的nameserver

增加 rocketmq.config.namesrvAddr=192.168.159.129:9876;192.168.159.130:9876

mvn install -Dmaven.test.skip=true

java -jar rocketmq-console-ng-1.0.0.jar

 

参考命令

centos7关闭防火墙
systemctl stop firewalld

远程拷贝到本地
scp [email protected]:/Users/xdclass/Desktop/xdclass/消息队列/data/第3章/第7集/apache-maven-3.6.0-bin.tar.gz /usr/local/software

scp [email protected]:/Users/xdclass/Desktop/xdclass/消息队列/data/第3章/第7集/apache-maven-3.6.0-bin.tar.gz /usr/local/software  


 

 

 

 

 

 
第6集 故障演练之主节点Broker退出保证消息可用

简介：讲解主节点Broker退出后，从节点可继续被消费者消费

步骤

    发送一条消息，关闭主节点，关闭主节点之后不能写入
    从节点提供数据供外面消费，但不能接受新消息
    主节点上线后同步从节点已经被消费的数据(offset同步)

 

 
第7集 RocketMQ4.X主从同步必备知识点

简介：讲解RocketMQ主从同步必备知识点

 

    Broker分为master与slave，一个master可以对应多个Slave，但一个slave只能对应一个master，master与slave通过相同的Broker Name来匹配，不同的broker Id来定义是master还是slave

        Broker向所有的NameServer结点建立长连接，定时注册Topic和发送元数据信息

        NameServer定时扫描(默认2分钟)所有存活broker的连接, 如果超过时间没响应则断开连接(心跳检测)，但是consumer客户端不能感知，consumer定时(30s)从NameServer获取topic的最新信息，所以broker不可用时，consumer最多最需要30s才能发现

        （Producer的机制一样，在未发现broker宕机前发送的消息会失败）

     

    只有master才能进行写入操作，slave不允许写入只能同步，同步策略取决于master的配置。

 

    客户端消费可以从master和slave消费，默认消费者都从master消费，如果在master挂后，客户端从NameServer中感知到Broker宕机，就会从slave消费, 感知非实时，存在一定的滞后性，slave不能保证master的消息100%都同步过来了，会有少量的消息丢失。但一旦master恢复，未同步过去的消息会被最终消费掉

 

    如果consumer实例的数量比message queue的总数量还多的话，多出来的consumer实例将无法分到queue，也就无法消费到消息，也就无法起到分摊负载的作用，所以需要控制让queue的总数量大于等于consumer的数量

 

 

 

 

 

 

"让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 
第六章 RocketMQ生产者核心配置和核心知识讲解
第1集 消息队列RocketMQ4.X生产者核心配置讲解

简介：消息队列RocketMQ4.X核心配置讲解

    生产者常见核心配置

        compressMsgBodyOverHowmuch ：消息超过默认字节4096后进行压缩

        retryTimesWhenSendFailed : 失败重发次数

        maxMessageSize : 最大消息配置，默认128k

        topicQueueNums : 主题下面的队列数量，默认是4

        autoCreateTopicEnable : 是否自动创建主题Topic, 开发建议为true，生产要为false

        defaultTopicQueueNums : 自动创建服务器不存在的topic，默认创建的队列数

        autoCreateSubscriptionGroup: 是否允许 Broker 自动创建订阅组，建议线下开发开启，线上关闭

        brokerClusterName : 集群名称

        brokerId : 0表示Master主节点 大于0表示从节点

        brokerIP1 : Broker服务地址

        brokerRole : broker角色 ASYNC_MASTER/ SYNC_MASTER/ SLAVE

        deleteWhen : 每天执行删除过期文件的时间，默认每天凌晨4点

        flushDiskType ：刷盘策略, 默认为 ASYNC_FLUSH(异步刷盘), 另外是SYNC_FLUSH(同步刷盘)

        listenPort ： Broker监听的端口号

        mapedFileSizeCommitLog ： 单个conmmitlog文件大小，默认是1GB

        mapedFileSizeConsumeQueue：ConsumeQueue每个文件默认存30W条，可以根据项目调整

        storePathRootDir : 存储消息以及一些配置信息的根目录 默认为用户的 ${HOME}/store

        storePathCommitLog：commitlog存储目录默认为${storePathRootDir}/commitlog

        storePathIndex： 消息索引存储路径

        syncFlushTimeout : 同步刷盘超时时间

        diskMaxUsedSpaceRatio ： 检测可用的磁盘空间大小，超过后会写入报错

         

 

 
第2集 核心知识之RocketMQ4.X消息发送状态

简介：讲解RocketMQ消息常见发送状态

    消息发送有同步和异步

    Broker消息投递状态讲解

        FLUSH_DISK_TIMEOUT
            没有在规定时间内完成刷盘 (刷盘策略需要为SYNC_FLUSH 才会出这个错误)

        FLUSH_SLAVE_TIMEOUT
            主从模式下，broker是SYNC_MASTER, 没有在规定时间内完成主从同步

        SLAVE_NOT_AVAILABLE
            从模式下，broker是SYNC_MASTER, 但是没有找到被配置成Slave的Broker

        SEND_OK
            发送成功，没有发生上面的三种问题

     

 

 
第3集 核心知识之RocketMQ4.X生产和消费消息重试及处理

简介：讲解RocketMQ消息生产和消费异常重试和阈值设定

    生产者Producer重试（异步和SendOneWay下配置无效）
        消息重投(保证数据的高可靠性),本身内部支持重试，默认次数是2，
        如果网络情况比较差，或者跨集群则建改多几次

    消费端重试

        原因：消息处理异常、broker端到consumer端各种问题，如网络原因闪断，消费处理失败，ACK返回失败等等问题。

        注意：

            重试间隔时间配置 ,默认每条消息最多重试 16 次

            messageDelayLevel=1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h

            超过重试次数人工补偿

            消费端去重

            一条消息无论重试多少次，这些重试消息的 Message ID，key 不会改变。

            消费重试只针对集群消费方式生效；广播方式不提供失败重试特性，即消费失败后，失败消息不再重试，继续消费新的消息，

 

 
第4集 RocketMQ4.X异步发送消息和回调实战    å°D课å

简介: 讲解使用RocketMQ异步发送消息

    官方文档：https://rocketmq.apache.org/docs/simple-example/
    核心 ：

producer.send(message, new SendCallback(){
    onSuccess(){}
    onException(){}
})

 

注意：官方例子：如果异步发送消息，调用producer.shutdown()后会失败

异步发送：不会重试，发送总次数等于1

 

 

 

 
第5集 RocketMQ OneWay发送消息及多种场景对比    å°D课å

简介：讲解使用RocketMQ发送oneway消息和使用场景，多种发送模式对比

    SYNC ：
        应用场景：重要通知邮件、报名短信通知、营销短信系统等

    ASYNC ：异步
        应用场景：对RT时间敏感,可以支持更高的并发，回调成功触发相对应的业务，比如注册成功后通知积分系统发放优惠券

    ONEWAY : 无需要等待响应
        官方文档：https://rocketmq.apache.org/docs/simple-example/
        使用场景：主要是日志收集，适用于某些耗时非常短，但对可靠性要求并不高的场景, 也就是LogServer, 只负责发送消息，不等待服务器回应且没有回调函数触发，即只发送请求不等待应答

 

汇总对比
发送方式    发送 TPS    发送结果反馈    可靠性
同步发送    快    有    不丢失
异步发送    快    有    不丢失
单向发送    最快    无    可能丢失

 

 

 

 
第6集 RocketMQ延迟消息实战和电商系统中应用    å°D课å

简介：讲解消息队列的延迟消息的使用，和在电商系统中应用场景

    什么是延迟消息：

        Producer 将消息发送到消息队列 RocketMQ 服务端，但并不期望这条消息立马投递，而是推迟到在当前时间点之后的某一个时间投递到 Consumer 进行消费，该消息即定时消息，目前支持固定精度的消息

        代码：rocketmq-store > MessageStoreConfig.java 属性 messageDelayLevel

            "1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h";

        使用message.setDelayTimeLevel(xxx) //xxx是级别，1表示配置里面的第一个级别，2表示第二个级别

        定时消息：目前rocketmq开源版本还不支持，商业版本则有，两者使用场景类似

    使用场景
        通过消息触发一些定时任务，比如在某一固定时间点向用户发送提醒消息
        消息生产和消费有时间窗口要求：比如在天猫电商交易中超时未支付关闭订单的场景，在订单创建时会发送一条 延时消息。这条消息将会在 30 分钟以后投递给消费者，消费者收到此消息后需要判断对应的订单是否已完成支付。 如支付未完成，则关闭订单。如已完成支付则忽略

 

 

 
第7集 RocketMQ生产者之MessageQueueSelector实战    å°D课å

简介：生产消息使用MessageQueueSelector投递到Topic下指定的queue，

    应用场景：顺序消息，分摊负载
    默认topic下的queue数量是4，可以配置

//可以使用Jdk8的lambda表达式，只有一个方法需要被实现
producer.send(message, new MessageQueueSelector(){
            select(List mqs, Message msg, Object arg){
                Integer queueNum = (Integer)arg;
                return mqs.get(queueNum);
            }
    },0)

    支持同步，异步发送指定的MessageQueue
    选择的queue数量必须小于配置的，否则会出错

 

 

 

 

 
第8集 讲解顺序消息在电商和证券系统中应用场景    å°D课å

简介：基础介绍顺序消息和对应可以使用的场景，订单系统，

    什么是顺序消息：消息的生产和消费顺序一致

        全局顺序：topic下面全部消息都要有序(少用)
            性能要求不高，所有的消息严格按照 FIFO 原则进行消息发布和消费的场景，并行度成为消息系统的瓶颈, 吞吐量不够.
            在证券处理中，以人民币兑换美元为例子，在价格相同的情况下，先出价者优先处理，则可以通过全局顺序的方式按照 FIFO 的方式进行发布和消费

        局部顺序：只要保证一组消息被顺序消费即可（RocketMQ使用）

            性能要求高

            电商的订单创建，同一个订单相关的创建订单消息、订单支付消息、订单退款消息、订单物流消息、订单交易成功消息 都会按照先后顺序来发布和消费

            （阿里巴巴集团内部电商系统均使用局部顺序消息，既保证业务的顺序，同时又能保证业务的高性能）

    顺序发布：对于指定的一个 Topic，客户端将按照一定的先后顺序发送消息

    顺序消费：对于指定的一个 Topic，按照一定的先后顺序接收消息，即先发送的消息一定会先被客户端接收到。

    注意：
        顺序消息暂不支持广播模式
        顺序消息不支持异步发送方式，否则将无法严格保证顺序

 

 

 

 

 
第9集 核心知识之RocketMQ顺序消息讲解    å°D课å

简介：讲解RocketMQ顺序消息的使用和讲解

    生产端保证发送消息有序，且发送到同一个Topic的同个queue里面，RocketMQ的确是能保证FIFO的

        例子：订单的顺序流程是：创建、付款、物流、完成，订单号相同的消息会被先后发送到同一个队列中，

        根据MessageQueueSelector里面自定义策略，根据同个业务id放置到同个queue里面，如订单号取模运算再放到selector中，同一个模的值都会投递到同一条queue

        public MessageQueue select(List mqs, Message msg, Object arg) {
                //如果是订单号是字符串，则进行hash,得到一个hash值
              Long id = (Long) arg;
              long index = id % mqs.size();
              return mqs.get((int)index);
            }

    消费端要在保证消费同个topic里的同个队列，不应该用MessageListenerConcurrently，

    应该使用MessageListenerOrderly，自带单线程消费消息，不能再Consumer端再使用多线程去消费，消费端分配到的queue数量是固定的，集群消会锁住当前正在消费的队列集合的消息，所以会保证顺序消费。

    官方例子 https://rocketmq.apache.org/docs/order-example/

 

 

 
第10集 案例实战之RocketMQ顺序消息生产者投递    å°D课å

简介：讲解使用代码编写案例，进行RocketMQ顺序消息生产者投递

 

 

 

 

 

 
第11集 案例实战之RocketMQ顺序消息消息者消费实战

简介：讲解使用代码编写案例，进行RocketMQ顺序消息消费实战

    MessageListenerConcurrently

    MessageListenerOrderly

        Consumer会平均分配queue的数量

        并不是简单禁止并发处理，而是为每个Consumer Quene加个锁，消费每个

        消息前，需要获得这个消息所在的Queue的锁，这样同个时间，同个Queue的

        消息不被并发消费，但是不同Queue的消息可以并发处理

         

        扩展思维：为什么高并发情况下ConcurrentHashMap比HashTable和HashMap更高效且线程安全？

        提示：分段锁Segment

 

 

 

 

 

 

"让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 
第七章 RocketMQ消费者核心配置和核心知识讲解
第1集 消息队列RocketMQ4.X消费者核心配置讲解    å°D课å

简介：消息队列RocketMQ4.X消费者核心配置讲解

    consumeFromWhere配置(某些情况失效：参考https://blog.csdn.net/a417930422/article/details/83585397)
        CONSUME_FROM_FIRST_OFFSET： 初次从消息队列头部开始消费，即历史消息（还储存在broker的）全部消费一遍，后续再启动接着上次消费的进度开始消费
        CONSUME_FROM_LAST_OFFSET： 默认策略，初次从该队列最尾开始消费，即跳过历史消息，后续再启动接着上次消费的进度开始消费
        CONSUME_FROM_TIMESTAMP : 从某个时间点开始消费，默认是半个小时以前，后续再启动接着上次消费的进度开始消费

     

    allocateMessageQueueStrategy:
        负载均衡策略算法，即消费者分配到queue的算法，默认值是AllocateMessageQueueAveragely即取模平均分配

    offsetStore：消息消费进度存储器 offsetStore 有两个策略：
        LocalFileOffsetStore 和 RemoteBrokerOffsetStor 广播模式默认使用LocalFileOffsetStore 集群模式默认使用RemoteBrokerOffsetStore

    consumeThreadMin 最小消费线程池数量

    consumeThreadMax 最大消费线程池数量

    pullBatchSize: 消费者去broker拉取消息时，一次拉取多少条。可选配置

    consumeMessageBatchMaxSize: 单次消费时一次性消费多少条消息，批量消费接口才有用，可选配置

    messageModel : 消费者消费模式， CLUSTERING——默认是集群模式CLUSTERING BROADCASTING——广播模式

 

 

 
第2集 集群和广播模式下RocketMQ消费端处理    å°D课å

简介：讲解集群模式下消费端消费消息流程

    Topic下队列的奇偶数会影响Customer个数里面的消费数量
        如果是4个队列，8个消息，4个节点则会各消费2条，如果不对等，则负载均衡会分配不均，
        如果consumer实例的数量比message queue的总数量还多的话，多出来的consumer实例将无法分到queue，也就无法消费到消息，也就无法起到分摊负载的作用，所以需要控制让queue的总数量大于等于consumer的数量

    集群模式(默认)：
        Consumer实例平均分摊消费生产者发送的消息
        例子：订单消息，一般是只被消费一次

    广播模式：
        广播模式下消费消息：投递到Broker的消息会被每个Consumer进行消费，一条消息被多个Consumer消费，广播消费中ConsumerGroup暂时无用
        例子：群公告，每个人都需要消费这个消息

    怎么切换模式：通过setMessageModel()

 

 
第3集 RocketMQ4.X里面的标签Tag实战和消息过滤原理

简介：讲解RocketMQ里面的Tag作用和消息过滤原理

    一个Message只有一个Tag，tag是二级分类
        订单：数码类订单、食品类订单

    过滤分为Broker端和Consumer端过滤
        Broker端过滤，减少了无用的消息的进行网络传输，增加了broker的负担
        Consumer端过滤，完全可以根据业务需求进行实习，但是增加了很多无用的消息传输

 

    一般是监听 * ,或者指定 tag，|| 运算 , SLQ92 , FilterServer等；

        tag性能高，逻辑简单

        SQL92 性能差点，支持复杂逻辑（只支持PushConsumer中使用） MessageSelector.bySql
            语法：> , < = ，IS NULL, AND, OR, NOT 等，sql where后续的语法即可(大部分)

     

    注意：消费者订阅关系要一致，不然会消费混乱，甚至消息丢失
        订阅关系一致：订阅关系由 Topic和 Tag 组成，同一个 group name，订阅的 topic和tag 必须是一样的

     

    在Broker 端进行MessageTag过滤，遍历message queue存储的 message tag和 订阅传递的tag 的hashcode不一样则跳过，符合的则传输给Consumer，在consumer queue存储的是对应的hashcode, 对比也是通过hashcode对比； Consumer收到过滤消息后也会进行匹配操作，但是是对比真实的message tag而不是hashcode
        consume queue存储使用hashcode定长，节约空间
        过滤中不访问commit log，可以高效过滤
        如果存在hash冲突，Consumer端可以进行再次确认

    如果想使用多个Tag，可以使用sql表达式，但是不建议，单一职责，多个队列

 

常见错误：

The broker does not support consumer to filter message by SQL92

解决：broker.conf 里面配置如下
enablePropertyFilter=true

备注，修改之后要重启Broker
master节点配置：vim conf/2m-2s-async/broker-a.properties
slave节点配置：vim conf/2m-2s-async/broker-a-s.properties

 

 

 
第4集 PushConsumer、PullConsumer消费模式分析    å°D课å

简介：讲解PushConsumer/PullConsumer消费消息模式分析

    Push和Pull优缺点分析

        Push
            实时性高；但增加服务端负载，消费端能力不同，如果Push推送过快，消费端会出现很多问题

        Pull
            消费者从Server端拉取消息，主动权在消费者端，可控性好；但 间隔时间不好设置，间隔太短，则空请求，浪费资源；间隔时间太长，则消息不能及时处理

        长轮询： Client请求Server端也就是Broker的时候， Broker会保持当前连接一段时间 默认是15s，如果这段时间内有消息到达，则立刻返回给Consumer.没消息的话 超过15s，则返回空，再进行重新请求；主动权在Consumer中，Broker即使有大量的消息 也不会主动提送Consumer， 缺点：服务端需要保持Consumer的请求，会占用资源，需要客户端连接数可控 否则会一堆连接

    PushConsumer本质是长轮训
        系统收到消息后自动处理消息和offset，如果有新的Consumer加入会自动做负载均衡,
        在broker端可以通过longPollingEnable=true来开启长轮询
        消费端代码：DefaultMQPushConsumerImpl->pullMessage->PullCallback
        服务端代码：broker.longpolling
        虽然是push，但是代码里面大量使用了pull，是因为使用长轮训方式达到Push效果，既有pull有的，又有Push的实时性
        优雅关闭：主要是释放资源和保存Offset, 调用shutdown()即可 ，参考 @PostConstruct、@PreDestroy

    PullConsumer需要自己维护Offset(参考官方例子)
        官方例子路径：org.apache.rocketmq.example.simple.PullConsumer
        获取MessageQueue遍历
        客户维护Offset,需用用户本地存储Offset，存储内存、磁盘、数据库等
        处理不同状态的消息 FOUND、NO_NEW_MSG、OFFSET_ILLRGL、NO_MATCHED_MSG、4种状态
        灵活性高可控性强，但是编码复杂度会高
        优雅关闭：主要是释放资源和保存Offset，需用程序自己保存好Offset，特别是异常处理的时候

 

 

 

 

"让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 
第八章 高级篇幅之消息队列Offset和CommitLog讲解

 
第1集 源码解读RocketMQ消息偏移量Offset讲解

简介：讲解消息偏移量Offset

    什么是offset

        message queue是无限长的数组，一条消息进来下标就会涨1，下标就是offset，消息在某个MessageQueue里的位置，通过offset的值可以定位到这条消息，或者指示Consumer从这条消息开始向后处理

        message queue中的maxOffset表示消息的最大offset, maxOffset并不是最新的那条消息的offset，而是最新消息的offset+1，minOffset则是现存在的最小offset。

        fileReserveTime=48 默认消息存储48小时后，消费会被物理地从磁盘删除，message queue的min offset也就对应增长。所以比minOffset还要小的那些消息已经不在broker上了，就无法被消费

    类型(父类是OffsetStore)：

        本地文件类型
            DefaultMQPushConsumer的BROADCASTING模式，各个Consumer没有互相干扰，使用LoclaFileOffsetStore，把Offset存储在本地

        Broker代存储类型
            DefaultMQPushConsumer的CLUSTERING模式，由Broker端存储和控制Offset的值，使用RemoteBrokerOffsetStore

        阅读源码的正确姿势：
            先有思路，明白大体流程
            再看接口
            再看实现类

    有什么用
        主要是记录消息的偏移量，有多个消费者进行消费
        集群模式下采用RemoteBrokerOffsetStore, broker控制offset的值
        广播模式下采用LocalFileOffsetStore, 消费端存储

    建议采用pushConsumer，RocketMQ自动维护OffsetStore，如果用另外一种pullConsumer需要自己进行维护OffsetStore

     

 

 

 

 
第2集 RocketMQ消息存储CommitLog讲解    

简介：讲解消息队列CommitLog分析

    消息存储是由ConsumeQueue和CommitLog配合完成

        ConsumeQueue: 是逻辑队列, CommitLog是真正存储消息文件的，存储的是指向物理存储的地址

        Topic下的每个message queue都有对应的ConsumeQueue文件，内容也会被持久化到磁盘

        默认地址：store/consumequeue/{topicName}/{queueid}/fileName

        什么是CommitLog:

            消息文件的存储地址

            生成规则：
                每个文件的默认1G =1024 * 1024 * 1024，commitlog的文件名fileName，名字长度为20位，左边补零，剩余为起始偏移量；比如00000000000000000000代表了第一个文件，起始偏移量为0，文件大小为1G=1 073 741 824Byte；当这个文件满了，第二个文件名字为00000000001073741824，起始偏移量为1073741824, 消息存储的时候会顺序写入文件，当文件满了则写入下一个文件

            判断消息存储在哪个CommitLog上
                例如 1073742827 为物理偏移量，则其对应的相对偏移量为 1003 = 1073742827 - 1073741824，并且该偏移量位于第二个 CommitLog。

         

    Broker里面一个Topic

        里面有多个MesssageQueue

            每个MessageQueue对应一个ConsumeQueue
                ConsumeQueue里面记录的是消息在CommitLog里面的物理存储地址

 

 

 
第3集 高性能分析之ZeroCopy零拷贝技术讲解

简介：讲解ZeroCopy零拷贝技术讲解和分析

    高效原因

        CommitLog顺序写, 存储了MessagBody、message key、tag等信息

        ConsumeQueue随机读 + 操作系统的PageCache + 零拷贝技术ZeroCopy

            零拷贝技术

            read(file, tmp_buf, len);
            write(socket, tmp_buf, len);

            例子：将一个File读取并发送出去（Linux有两个上下文，内核态，用户态）

                File文件的经历了4次copy
                    调用read,将文件拷贝到了kernel内核态
                    CPU控制 kernel态的数据copy到用户态
                    调用write时，user态下的内容会copy到内核态的socket的buffer中
                    最后将内核态socket buffer的数据copy到网卡设备中传送

                缺点：增加了上下文切换、浪费了2次无效拷贝(即步骤2和3)

            ZeroCopy：

                请求kernel直接把disk的data传输给socket，而不是通过应用程序传输。Zero copy大大提高了应用程序的性能，减少不必要的内核缓冲区跟用户缓冲区间的拷贝，从而减少CPU的开销和减少了kernel和user模式的上下文切换，达到性能的提升

                对应零拷贝技术有mmap及sendfile

                    mmap:小文件传输快
                        RocketMQ 选择这种方式，mmap+write 方式，小块数据传输，效果会比 sendfile 更好

                    sendfile:大文件传输比mmap快

                Java中的TransferTo()实现了Zero-Copy

                应用：Kafka、Netty、RocketMQ等都采用了零拷贝技术

                 

     

 

 

 

 

"让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 
第九章 高级篇幅之RocketMQ4.x分布式事务消息

 

 
第1集 分布式事务消息介绍

简介：讲解什么是分布式事务消息

    什么是分布式事务
        来源：单体应用—>拆分为分布式应用
        一个接口需要调用多个服务，且操作不同的数据库，数据一致性难保障，

    常见解决方案

        2PC : 两阶段提交, 基于XA协议

        TCC : Try、Confirm、Cancel
            下单：

        事务消息最终一致性：

        更多...

    框架

        GTS -> 开源 Fescar
            地址：https://github.com/alibaba/fescar

        LCN
            地址：https://github.com/codingapi/tx-lcn

 

 

 

 

 
第2集 新特性RocketMQ4.X分布式事务消息架构讲解    å°D课å

简介：讲解RokcetMQ分布式事务消息的总体架构

    RocketMQ事务消息：
        RocketMQ 提供分布事务功能，通过 RocketMQ 事务消息能达到分布式事务的最终一致

    半消息Half Message:
        暂不能投递的消息(暂不能消费)，Producer已经将消息成功发送到了Broker端，但是服务端未收到生产者对该消息的二次确认，此时该消息被标记成“暂不能投递”状态，处于该种状态下的消息即半消息

    消息回查:
        由于网络闪断、生产者应用重启等原因，导致某条事务消息的二次确认丢失，消息队列 RocketMQ 服务端通过扫描发现某条消息长期处于“半消息”时，需要主动向消息生产者询问该消息的最终状态（Commit 或是 Rollback），该过程即消息回查。

    整体交互流程

    交互流程_图片来源阿里云
        Producer向broker端发送消息。
        服务端将消息持久化成功之后，向发送方 ACK 确认消息已经发送成功，此时消息为半消息。
        发送方开始执行本地事务逻辑。
        发送方根据本地事务执行结果向服务端提交二次确认（Commit 或是 Rollback），服务端收到 Commit 状态则将半消息标记为可投递，订阅方最终将收到该消息；服务端收到 Rollback 状态则删除半消息，订阅方将不会接受该消息
        在断网或者是应用重启的特殊情况下，上述步骤 4 提交的二次确认最终未到达服务端，经过固定时间后服务端将对该消息发起消息回查
        发送方收到消息回查后，需要检查对应消息的本地事务执行的最终结果
        发送方根据检查得到的本地事务的最终状态再次提交二次确认，服务端仍按照步骤 4 对半消息进行操作

    RocketMQ事务消息的状态
        COMMIT_MESSAGE: 提交事务消息，消费者可以消费此消息
        ROLLBACK_MESSAGE：回滚事务消息，消息会在broker中删除，消费者不能消费
        UNKNOW：Broker需要回查确认消息的状态

    关于事务消息的消费
        事务消息consumer端的消费方式和普通消息是一样的，RocketMQ能保证消息能被consumer收到（消息重试等机制，最后也存在consumer消费失败的情况，这种情况出现的概率极低）。

 

 
第3集 RocketMQ分布式事务消息实战上集    å°D课å

简介：讲解RocketMQ分布式事务消息实战上集

    TransactionMQProducer基础介绍和使用
    自定义线程池和消息生产者结合

//监听器 ,执行本地事务
TransactionListener transactionListener = new TransactionListenerImpl();

//创建事务消息发送者
TransactionMQProducer producer = new TransactionMQProducer("unique_group_name");

//创建自定义线程池
//@param corePoolSize    池中所保存的核心线程数
//@param maximumPoolSize    池中允许的最大线程数
//@param keepActiveTime    非核心线程空闲等待新任务的最长时间
//@param timeunit    keepActiveTime参数的时间单位
//@param blockingqueue    任务队列
ExecutorService executorService = new ThreadPoolExecutor(2, 5, 100, TimeUnit.SECONDS, new ArrayBlockingQueue(2000), new ThreadFactory() {
            @Override
            public Thread newThread(Runnable r) {
                Thread thread = new Thread(r);
                thread.setName("client-transaction-msg-check-thread");
                return thread;
            }
        });
        
//设置producer基本属性        
producer.setNamesrvAddr(JmsConfig.NAME_SERVER);
producer.setExecutorService(executorService);
producer.setTransactionListener(transactionListener);
producer.start();

 

 

 
第4集 RocketMQ分布式事务消息实战下集    å°D课å

简介：讲解RocketMQ分布式事务消息实战下集

    TransactionListener使用
        executeLocalTransaction 执行本地事务
        checkLocalTransaction 回查消息，要么commit 要么rollback，reconsumeTimes不生效

 

    注意点：TransactionMQProducer 的groupName要唯一，不能和普通的producer一样

 

    本地访问路径：http://localhost:8081/api/v1/pay_cb?tag=xdclass222&otherParam=2

 

 

 
第5集 源码分析之分布式事务消息发送端拆解    å°D课å

简介：讲解RocketMQ分布式事务消息sendMessageInTransaction源码分析

 

 

 

 

 

 

"让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 
第十章 双主双从高性能RocketMQ服务搭建
第1集 双主双从高性能MQ服务架构讲解    å°D课å

简介：讲解怎样搭建高可用集群，避免单点故障问题

    主从架构：Broker角色，Master提供读写，Slave只支持读
        Consumer不用配置，当Master不可用或者繁忙的时候，Consumer会自动切换到Slave节点进行能读取

    架构讲解，4台机器
        两个部署Broker-Master 和 NameServer
        两个部署Broker-Slave 和 NameServer

 

 

 

 

 

 
第2集 RocketMQ双主双从搭建相关软件准备    å°D课å

简介：讲解RocketMQ搭建双主双从集群环境相关准备

    4台机器, 2台部署NameServer, 4台都部署Broker, 双主双从 同步复制，异步刷盘

    jdk、maven、rocketmq上传和安装

    机器列表

    server1 ssh [email protected]   部署nameServer  Broker-a
    server2 ssh [email protected]   部署nameServer     Broker-a-s
    server3 ssh [email protected]                  Broker-b
    server4 ssh [email protected]                  Broker-b-s

     

    1、修改RocketMQ(启动内存配置, 4个机器都要修改, 其中runbroker.sh修改4个，runserver.sh修改2个)

    vim runserver.sh
    JAVA_OPT="${JAVA_OPT} -server -Xms528m -Xmx528m -Xmn256m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

    vim runbroker.sh
    JAVA_OPT="${JAVA_OPT} -server -Xms528m -Xmx528m -Xmn256m"


    启动两个机器的 nameserver
    nohup sh bin/mqnamesrv &


    全路径
    /usr/local/software/rocketmq/distribution/target/apache-rocketmq

    2、编辑并启动rocketmq命令

    broker-a主节点
    nohup sh bin/mqbroker -c conf/2m-2s-sync/broker-a.properties &

    namesrvAddr=192.168.159.133:9876;192.168.159.130:9876
    brokerClusterName=XdclassCluster
    brokerName=broker-a
    brokerId=0
    deleteWhen=04
    fileReservedTime=48
    brokerRole=SYNC_MASTER
    flushDiskType=ASYNC_FLUSH

    defaultTopicQueueNums=4
    #是否允许自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=false

    #存储路径，根据需求进行配置绝对路径，默认是家目录下面
    #storePathRootDir=
    #storePathCommitLog

    broker-a从节点
    nohup sh bin/mqbroker -c conf/2m-2s-sync/broker-a-s.properties &

    namesrvAddr=192.168.159.133:9876;192.168.159.130:9876
    brokerClusterName=XdclassCluster
    brokerName=broker-a
    brokerId=1
    deleteWhen=04
    fileReservedTime=48
    brokerRole=SLAVE
    flushDiskType=ASYNC_FLUSH

    defaultTopicQueueNums=4
    #是否允许自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=false

    #存储路径，根据需求进行配置绝对路径，默认是家目录下面
    #storePathRootDir=
    #storePathCommitLog

     

    broker-b主节点
    nohup sh bin/mqbroker -c conf/2m-2s-sync/broker-b.properties &

    namesrvAddr=192.168.159.133:9876;192.168.159.130:9876
    brokerClusterName=XdclassCluster
    brokerName=broker-b
    brokerId=0
    deleteWhen=04
    fileReservedTime=48
    brokerRole=SYNC_MASTER
    flushDiskType=ASYNC_FLUSH

    defaultTopicQueueNums=4
    #是否允许自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=false

    #存储路径，根据需求进行配置绝对路径，默认是家目录下面
    #storePathRootDir=
    #storePathCommitLog

     

    broker-b从节点
    nohup sh bin/mqbroker -c conf/2m-2s-sync/broker-b-s.properties &

    namesrvAddr=192.168.159.133:9876;192.168.159.130:9876
    brokerClusterName=XdclassCluster
    brokerName=broker-b
    brokerId=1
    deleteWhen=04
    fileReservedTime=48
    brokerRole=SLAVE
    flushDiskType=ASYNC_FLUSH

    defaultTopicQueueNums=4
    #是否允许自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=false

    #存储路径，根据需求进行配置绝对路径，默认是家目录下面
    #storePathRootDir=
    #storePathCommitLog

     

     

    参考命令

    CentOS 6.5关闭防火墙
    servcie iptables stop

    centos7关闭防火墙
    systemctl stop firewalld
    systemctl stop firewalld.service

     

     

 

 
第3集 双主双从集群搭建和控制台配置讲解    å°D课å

简介：讲解双主双从搭建和控制台配置

注意：如果连接不了broker，日志提示连接的端口少2位，记得检查防火墙是否关闭

修正上节课的错误 brokername名称

    使用管控台 安装在server1机器里面

修改事项
pom.xml  里面的rocketmq版本号

路径 /usr/local/software/rocketmq-externals-master/rocketmq-console/src/main/resources

application.properties里面的nameserver

增加 rocketmq.config.namesrvAddr=192.168.159.133:9876;192.168.159.130:9876

mvn install -Dmaven.test.skip=true

java -jar rocketmq-console-ng-1.0.0.jar

本地测试记得关闭防火墙(4个机器都要)

CentOS 6.5关闭防火墙
servcie iptables stop

centos7关闭防火墙
systemctl stop firewalld
systemctl stop firewalld.service

 

 

 

 

 

 
第4集 RocketMQ生产环境操作和推荐配置    å°D课å

简介：讲解生产环境RocketMQ的使用流程和推荐配置

    Topic创建线上禁止开启自动创建
    一般是有专门的后台进行队列的CRUD，应用上线需要申请队列名称

    生产环境推荐配置

        NameServer配置多个不同机器多个节点

        多Master, 每个Master带有Slave

        主从设置为SYNC_MASTER同步双写

        Producer用同步方式投递Broker

        刷盘策略为SYNC_FLUSH(性能好点则可以为ASYNC_FLUSH)

         

    性能分析思路
        CPU: top
        网卡: sar -n DEV 2 10、netstat -t、 iperf3
        磁盘: iostat -xdm 1
        JVM: jstack、jinfo、MAT

 

 

 

 

 

 

 

"让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 
第十一章 消息队列面试专题

 
第1集 为什么使用消息队列，怎么选择技术    å°D课å

简介：讲解为什么消息队列，消息队列选型问题

    异步
        例子：

    解耦：
        例子：

    削峰:
        例子:

    缺点：
        系统可用性越低：外部依赖越多，依赖越多，出问题风险越大
        系统复杂性提高：需要考虑多种场景，比如消息重复消费，消息丢失
        需要更多的机器和人力: 消息队列一般集群部署，而且需要运维和监控，例如topic申请等

消息队列选择问题：Apache ActiveMQ、Kafka、RabbitMQ、RocketMQ

    ActiveMQ：http://activemq.apache.org/
        Apache出品，历史悠久，支持多种语言的客户端和协议，支持多种语言Java, .NET, C++ 等，基于JMS Provider的实现

    缺点：吞吐量不高，多队列的时候性能下降，存在消息丢失的情况，比较少大规模使用

    Kafka：http://kafka.apache.org/
        是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理大规模的网站中的所有动作流数据(网页浏览，搜索和其他用户的行动)，副本集机制，实现数据冗余，保障数据尽量不丢失；支持多个生产者和消费者

    缺点：不支持批量和广播消息，运维难度大，文档比较少, 需要掌握Scala，二次开发难度大

    RabbitMQ：http://www.rabbitmq.com/
        是一个开源的AMQP实现，服务器端用Erlang语言编写，支持多种客户端，如：Python、Ruby、.NET、Java、JMS、C、用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不错

    缺点：使用Erlang开发，阅读和修改源码难度大

    RocketMQ：http://rocketmq.apache.org/

        阿里开源的一款的消息中间件, 纯Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点, 性能强劲(零拷贝技术)，支持海量堆积, 支持指定次数和时间间隔的失败消息重发,支持consumer端tag过滤、延迟消息等，在阿里内部进行大规模使用，适合在电商，互联网金融等领域使用

        缺点：部分实现不是按照标准JMS规范，有些系统要迁移或者引入队列需要修改代码

 

 

 
第2集 消息队列怎么避免重复消费    å°D课å

简介：讲解怎么样可以避免重复消费

    RocketMQ不保证消息不重复，如果你的业务需要保证严格的不重复消息，需要你自己在业务端去重

        接口幂等性保障 ，消费端处理业务消息要保持幂等性

            Redis

                setNX() , 做消息id去重 java版本目前不支持设置过期时间

                                //Redis中操作，判断是否已经操作过 TODO
                                  boolean flag =  jedis.setNX(key);
                                  if(flag){
                                        //消费
                                  }else{
                                       //忽略，重复消费
                                  }

                 

                拓展（如果再用expire则不是原子操作，可以用下面方式实现分布式锁）

                加锁
                String result = jedis.set(key, value, "NX", "PX", expireTime)

                解锁(Lua脚本，先检查key，匹配再释放锁，lua可以保证原子性)
                String script = "if redis.call('get', KEYS[1]) == ARGV[1] then return redis.call('del', KEYS[1]) else return 0 end";
                Object result = jedis.eval(script, Collections.singletonList(lockKey), Collections.singletonList(requestId));

                备注：lockKey可以是商品id,requestId用于标示是同个客户端

                Incr 原子操作：key自增，大于0 返回值大于0则说明消费过

                                int num =  jedis.incr(key);
                                  if(num == 1){
                                        //消费
                                  }else{
                                       //忽略，重复消费
                                  }

                 

                上述两个方式都可以，但是不能用于分布式锁，考虑原子问题，但是排重可以不考虑原子问题，数据量多需要设置过期时间

            数据库去重表
                某个字段使用Message的key做唯一索引

 

 

 

 

 
第3集 RocketMQ如何保证消息的可靠性传输    å°D课å

简介：讲解如何保证消息的可靠性，处理消息丢失的问题

    producer端
        不采用oneway发送，使用同步或者异步方式发送，做好重试，但是重试的Message key必须唯一
        投递的日志需要保存，关键字段，投递时间、投递状态、重试次数、请求体、响应体

    broker端
        双主双从架构，NameServer需要多节点
        同步双写、异步刷盘 (同步刷盘则可靠性更高，但是性能差点，根据业务选择)

    consumer端
        消息消费务必保留日志，即消息的元数据和消息体
        消费端务必做好幂等性处理

    投递到broker端后

        机器断电重启：异步刷盘，消息丢失；同步刷盘消息不丢失

        硬件故障：可能存在丢失，看队列架构

         

 
第4集 消息发生大量堆积应该怎么处理    å°D课å

简介：如果消息大量堆积在broker里面，应该怎么处理

 

线上故障了，怎么处理

    消息堆积了10小时，有几千万条消息待处理，现在怎么办?
    修复consumer, 然后慢慢消费？也需要几小时才可以消费完成，新的消息怎么办？

 

正确的姿势

    临时topic队列扩容，并提高消费者能力，但是如果增加Consumer数量，但是堆积的topic里面的message queue数量固定，过多的consumer不能分配到message queue
    编写临时处理分发程序，从旧topic快速读取到临时新topic中，新topic的queue数量扩容多倍，然后再启动更多consumer进行在临时新的topic里消费

 
第5集 RocketMQ高性能的原因分析    å°D课å

简介:讲解RocketMQ高性能的原因分析，高可用架构

    MQ架构配置
        顺序写，随机读，零拷贝
        同步刷盘SYNC_FLUSH和异步刷盘ASYNC_FLUSH, 通过flushDiskType配置
        同步复制和异步复制，通过brokerRole配置，ASYNC_MASTER, SYNC_MASTER, SLAVE
        推荐同步复制(双写)，异步刷盘

    发送端高可用

        双主双从架构：创建Topic对应的时候，MessageQueue创建在多个Broker上

        即相同的Broker名称，不同的brokerid(即主从模式)；当一个Master不可用时，组内其他的Master仍然可用。

        但是机器资源不足的时候，需要手工把slave转成master，目前不支持自动转换，可用shell处理

    消费高可用
        主从架构：Broker角色，Master提供读写，Slave只支持读
        Consumer不用配置，当Master不可用或者繁忙的时候，Consumer会自动切换到Slave节点进行能读取

    提高消息的消费能力

        并行消费
            增加多个节点
            增加单个Consumer的并行度，修改consumerThreadMin和consumerThreadMax
            批量消费，设置Consumer的consumerMessageBatchMaxSize, 默认是1，如果为N，则消息多的时候，每次收到的消息为N条

        择 Linux Ext4 文件系统，Ext4 文件系统删除 1G 大小的文件通常耗时小于 50ms，而 Ext3文件系统耗时需要 1s，删除文件时磁盘IO 压力极大，会导致 IO 操作超时

 

 

 

 
第6集 消息队列常见面试题回答总结

简介:讲解RocketMQ常见面试题汇总

    为什么使用消息队列

    消息队列技术选择

    如果保证消息队列高可用

    如何保证消息传输的可靠性

    如何消息的重复消费

    如何保证消息的顺序消费

    消息堆积怎么处理

     

 

 

 

 

 

"让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 
第十二章 RocketMQ高并发抗压实战课程总结

 
第1集 RocketMQ消息队列课程总结和后续规划    

简介：总结RocketMQ课程和后续新的安排

    掌握消息队列核心知识

    可以在公司中实际使用RocketMQ，搭建高可用架构

    掌握RocketMQ分布式事务知识

    掌握RocketMQ高性能原因分析

     

综合项目实战，秒杀 或 拼团 或 聚合支付网关

技术选择：

    框架：SpringBoot2.x + SpringCloud或者Dubbo + RocketMQ4.x + Redis5.x
    部署：Nginx 负载均衡 +Docker 应用集群部署 + 阿里云CentOS7

    基础环境 ： JDK8 + IDEA
    数据库：Mysql 主从
    性能测试：Jmeter5.x压测
    监控报警：钉钉机器人 或者 Zabbix

 

      
       
       
       

 

 

 

 

第6集 RocketMQ延迟消息实战和电商系统中应用

简介：讲解消息队列的延迟消息的使用，和在电商系统中应用场景

  • 什么是延迟消息：

    • Producer 将消息发送到消息队列 RocketMQ 服务端，但并不期望这条消息立马投递，而是推迟到在当前时间点之后的某一个时间投递到 Consumer 进行消费，该消息即定时消息，目前支持固定精度的消息

    • 代码：rocketmq-store > MessageStoreConfig.java 属性 messageDelayLevel

      • "1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h";

    • 使用message.setDelayTimeLevel(xxx) //xxx是级别，1表示配置里面的第一个级别，2表示第二个级别

    • 定时消息：目前rocketmq开源版本还不支持，商业版本则有，两者使用场景类似

  • 使用场景

    • 通过消息触发一些定时任务，比如在某一固定时间点向用户发送提醒消息
    • 消息生产和消费有时间窗口要求：比如在天猫电商交易中超时未支付关闭订单的场景，在订单创建时会发送一条 延时消息。这条消息将会在 30 分钟以后投递给消费者，消费者收到此消息后需要判断对应的订单是否已完成支付。 如支付未完成，则关闭订单。如已完成支付则忽略

 

 

 

第7集 RocketMQ生产者之MessageQueueSelector实战

简介：生产消息使用MessageQueueSelector投递到Topic下指定的queue，

  • 应用场景：顺序消息，分摊负载
  • 默认topic下的queue数量是4，可以配置
//可以使用Jdk8的lambda表达式，只有一个方法需要被实现
producer.send(message, new MessageQueueSelector(){
			select(List mqs, Message msg, Object arg){
				Integer queueNum = (Integer)arg;
				return mqs.get(queueNum);
			}
	},0)
  • 支持同步，异步发送指定的MessageQueue
  • 选择的queue数量必须小于配置的，否则会出错

 

 

 

 

 

第8集 讲解顺序消息在电商和证券系统中应用场景

简介：基础介绍顺序消息和对应可以使用的场景，订单系统，

  • 什么是顺序消息：消息的生产和消费顺序一致

    • 全局顺序：topic下面全部消息都要有序(少用)

      • 性能要求不高，所有的消息严格按照 FIFO 原则进行消息发布和消费的场景，并行度成为消息系统的瓶颈, 吞吐量不够.
      • 在证券处理中，以人民币兑换美元为例子，在价格相同的情况下，先出价者优先处理，则可以通过全局顺序的方式按照 FIFO 的方式进行发布和消费

    • 局部顺序：只要保证一组消息被顺序消费即可（RocketMQ使用）

      • 性能要求高

      • 电商的订单创建，同一个订单相关的创建订单消息、订单支付消息、订单退款消息、订单物流消息、订单交易成功消息 都会按照先后顺序来发布和消费

        （阿里巴巴集团内部电商系统均使用局部顺序消息，既保证业务的顺序，同时又能保证业务的高性能）

  • 顺序发布：对于指定的一个 Topic，客户端将按照一定的先后顺序发送消息

  • 顺序消费：对于指定的一个 Topic，按照一定的先后顺序接收消息，即先发送的消息一定会先被客户端接收到。

  • 注意：

    • 顺序消息暂不支持广播模式
    • 顺序消息不支持异步发送方式，否则将无法严格保证顺序

 

 

 

 

 

第9集 核心知识之RocketMQ顺序消息讲解

简介：讲解RocketMQ顺序消息的使用和讲解

  • 生产端保证发送消息有序，且发送到同一个Topic的同个queue里面，RocketMQ的确是能保证FIFO的

    • 例子：订单的顺序流程是：创建、付款、物流、完成，订单号相同的消息会被先后发送到同一个队列中，

      根据MessageQueueSelector里面自定义策略，根据同个业务id放置到同个queue里面，如订单号取模运算再放到selector中，同一个模的值都会投递到同一条queue

      public MessageQueue select(List mqs, Message msg, Object arg) {
		//如果是订单号是字符串，则进行hash,得到一个hash值
	  Long id = (Long) arg;
      long index = id % mqs.size();
      return mqs.get((int)index);
    }

  • 消费端要在保证消费同个topic里的同个队列，不应该用MessageListenerConcurrently，

    应该使用MessageListenerOrderly，自带单线程消费消息，不能再Consumer端再使用多线程去消费，消费端分配到的queue数量是固定的，集群消会锁住当前正在消费的队列集合的消息，所以会保证顺序消费。

  • 官方例子 https://rocketmq.apache.org/docs/order-example/

 

 

 

第10集 案例实战之RocketMQ顺序消息生产者投递

简介：讲解使用代码编写案例，进行RocketMQ顺序消息生产者投递

 

 

 

 

 

 

第11集 案例实战之RocketMQ顺序消息消息者消费实战

简介：讲解使用代码编写案例，进行RocketMQ顺序消息消费实战

  • MessageListenerConcurrently

  • MessageListenerOrderly

    • Consumer会平均分配queue的数量

    • 并不是简单禁止并发处理，而是为每个Consumer Quene加个锁，消费每个

      消息前，需要获得这个消息所在的Queue的锁，这样同个时间，同个Queue的

      消息不被并发消费，但是不同Queue的消息可以并发处理

       

      扩展思维：为什么高并发情况下ConcurrentHashMap比HashTable和HashMap更高效且线程安全？

      提示：分段锁Segment

 

 

 

 

 

愿景："让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 

 

第七章 RocketMQ消费者核心配置和核心知识讲解

第1集 消息队列RocketMQ4.X消费者核心配置讲解

简介：消息队列RocketMQ4.X消费者核心配置讲解

  • consumeFromWhere配置(某些情况失效：参考https://blog.csdn.net/a417930422/article/details/83585397)

    • CONSUME_FROM_FIRST_OFFSET： 初次从消息队列头部开始消费，即历史消息（还储存在broker的）全部消费一遍，后续再启动接着上次消费的进度开始消费
    • CONSUME_FROM_LAST_OFFSET： 默认策略，初次从该队列最尾开始消费，即跳过历史消息，后续再启动接着上次消费的进度开始消费
    • CONSUME_FROM_TIMESTAMP : 从某个时间点开始消费，默认是半个小时以前，后续再启动接着上次消费的进度开始消费

     

  • allocateMessageQueueStrategy:

    • 负载均衡策略算法，即消费者分配到queue的算法，默认值是AllocateMessageQueueAveragely即取模平均分配

  • offsetStore：消息消费进度存储器 offsetStore 有两个策略：

    • LocalFileOffsetStore 和 RemoteBrokerOffsetStor 广播模式默认使用LocalFileOffsetStore 集群模式默认使用RemoteBrokerOffsetStore

  • consumeThreadMin 最小消费线程池数量

  • consumeThreadMax 最大消费线程池数量

  • pullBatchSize: 消费者去broker拉取消息时，一次拉取多少条。可选配置

  • consumeMessageBatchMaxSize: 单次消费时一次性消费多少条消息，批量消费接口才有用，可选配置

  • messageModel : 消费者消费模式， CLUSTERING——默认是集群模式CLUSTERING BROADCASTING——广播模式

 

 

 

第2集 集群和广播模式下RocketMQ消费端处理

简介：讲解集群模式下消费端消费消息流程

  • Topic下队列的奇偶数会影响Customer个数里面的消费数量

    • 如果是4个队列，8个消息，4个节点则会各消费2条，如果不对等，则负载均衡会分配不均，
    • 如果consumer实例的数量比message queue的总数量还多的话，多出来的consumer实例将无法分到queue，也就无法消费到消息，也就无法起到分摊负载的作用，所以需要控制让queue的总数量大于等于consumer的数量

  • 集群模式(默认)：

    • Consumer实例平均分摊消费生产者发送的消息
    • 例子：订单消息，一般是只被消费一次

  • 广播模式：

    • 广播模式下消费消息：投递到Broker的消息会被每个Consumer进行消费，一条消息被多个Consumer消费，广播消费中ConsumerGroup暂时无用
    • 例子：群公告，每个人都需要消费这个消息

  • 怎么切换模式：通过setMessageModel()

 

 

第3集 RocketMQ4.X里面的标签Tag实战和消息过滤原理

简介：讲解RocketMQ里面的Tag作用和消息过滤原理

  • 一个Message只有一个Tag，tag是二级分类

    • 订单：数码类订单、食品类订单

  • 过滤分为Broker端和Consumer端过滤

    • Broker端过滤，减少了无用的消息的进行网络传输，增加了broker的负担
    • Consumer端过滤，完全可以根据业务需求进行实习，但是增加了很多无用的消息传输

 

  • 一般是监听 * ,或者指定 tag，|| 运算 , SLQ92 , FilterServer等；

    • tag性能高，逻辑简单

    • SQL92 性能差点，支持复杂逻辑（只支持PushConsumer中使用） MessageSelector.bySql

      • 语法：> , < = ，IS NULL, AND, OR, NOT 等，sql where后续的语法即可(大部分)

     

  • 注意：消费者订阅关系要一致，不然会消费混乱，甚至消息丢失

    • 订阅关系一致：订阅关系由 Topic和 Tag 组成，同一个 group name，订阅的 topic和tag 必须是一样的

     

  • 在Broker 端进行MessageTag过滤，遍历message queue存储的 message tag和 订阅传递的tag 的hashcode不一样则跳过，符合的则传输给Consumer，在consumer queue存储的是对应的hashcode, 对比也是通过hashcode对比； Consumer收到过滤消息后也会进行匹配操作，但是是对比真实的message tag而不是hashcode

    • consume queue存储使用hashcode定长，节约空间
    • 过滤中不访问commit log，可以高效过滤
    • 如果存在hash冲突，Consumer端可以进行再次确认

  • 如果想使用多个Tag，可以使用sql表达式，但是不建议，单一职责，多个队列

 

常见错误：

The broker does not support consumer to filter message by SQL92

解决：broker.conf 里面配置如下
enablePropertyFilter=true

备注，修改之后要重启Broker
master节点配置：vim conf/2m-2s-async/broker-a.properties
slave节点配置：vim conf/2m-2s-async/broker-a-s.properties

 

 

 

第4集 PushConsumer、PullConsumer消费模式分析

简介：讲解PushConsumer/PullConsumer消费消息模式分析

  • Push和Pull优缺点分析

    • Push

      • 实时性高；但增加服务端负载，消费端能力不同，如果Push推送过快，消费端会出现很多问题

    • Pull

      • 消费者从Server端拉取消息，主动权在消费者端，可控性好；但 间隔时间不好设置，间隔太短，则空请求，浪费资源；间隔时间太长，则消息不能及时处理

    • 长轮询： Client请求Server端也就是Broker的时候， Broker会保持当前连接一段时间 默认是15s，如果这段时间内有消息到达，则立刻返回给Consumer.没消息的话 超过15s，则返回空，再进行重新请求；主动权在Consumer中，Broker即使有大量的消息 也不会主动提送Consumer， 缺点：服务端需要保持Consumer的请求，会占用资源，需要客户端连接数可控 否则会一堆连接

  • PushConsumer本质是长轮训

    • 系统收到消息后自动处理消息和offset，如果有新的Consumer加入会自动做负载均衡,
    • 在broker端可以通过longPollingEnable=true来开启长轮询
    • 消费端代码：DefaultMQPushConsumerImpl->pullMessage->PullCallback
    • 服务端代码：broker.longpolling
    • 虽然是push，但是代码里面大量使用了pull，是因为使用长轮训方式达到Push效果，既有pull有的，又有Push的实时性
    • 优雅关闭：主要是释放资源和保存Offset, 调用shutdown()即可 ，参考 @PostConstruct、@PreDestroy

  • PullConsumer需要自己维护Offset(参考官方例子)

    • 官方例子路径：org.apache.rocketmq.example.simple.PullConsumer
    • 获取MessageQueue遍历
    • 客户维护Offset,需用用户本地存储Offset，存储内存、磁盘、数据库等
    • 处理不同状态的消息 FOUND、NO_NEW_MSG、OFFSET_ILLRGL、NO_MATCHED_MSG、4种状态
    • 灵活性高可控性强，但是编码复杂度会高
    • 优雅关闭：主要是释放资源和保存Offset，需用程序自己保存好Offset，特别是异常处理的时候

 

 

 

 

愿景："让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 

第八章 高级篇幅之消息队列Offset和CommitLog讲解

 

第1集 源码解读RocketMQ消息偏移量Offset讲解

简介：讲解消息偏移量Offset

  • 什么是offset

    • message queue是无限长的数组，一条消息进来下标就会涨1，下标就是offset，消息在某个MessageQueue里的位置，通过offset的值可以定位到这条消息，或者指示Consumer从这条消息开始向后处理

    • message queue中的maxOffset表示消息的最大offset, maxOffset并不是最新的那条消息的offset，而是最新消息的offset+1，minOffset则是现存在的最小offset。

      fileReserveTime=48 默认消息存储48小时后，消费会被物理地从磁盘删除，message queue的min offset也就对应增长。所以比minOffset还要小的那些消息已经不在broker上了，就无法被消费

  • 类型(父类是OffsetStore)：

    • 本地文件类型

      • DefaultMQPushConsumer的BROADCASTING模式，各个Consumer没有互相干扰，使用LoclaFileOffsetStore，把Offset存储在本地

    • Broker代存储类型

      • DefaultMQPushConsumer的CLUSTERING模式，由Broker端存储和控制Offset的值，使用RemoteBrokerOffsetStore

    • 阅读源码的正确姿势：

      • 先有思路，明白大体流程
      • 再看接口
      • 再看实现类

  • 有什么用

    • 主要是记录消息的偏移量，有多个消费者进行消费
    • 集群模式下采用RemoteBrokerOffsetStore, broker控制offset的值
    • 广播模式下采用LocalFileOffsetStore, 消费端存储

  • 建议采用pushConsumer，RocketMQ自动维护OffsetStore，如果用另外一种pullConsumer需要自己进行维护OffsetStore

     

 

 

 

 

第2集 RocketMQ消息存储CommitLog讲解

简介：讲解消息队列CommitLog分析

  • 消息存储是由ConsumeQueue和CommitLog配合完成

    • ConsumeQueue: 是逻辑队列, CommitLog是真正存储消息文件的，存储的是指向物理存储的地址

      Topic下的每个message queue都有对应的ConsumeQueue文件，内容也会被持久化到磁盘

      默认地址：store/consumequeue/{topicName}/{queueid}/fileName

    • 什么是CommitLog:

      • 消息文件的存储地址

      • 生成规则：

        • 每个文件的默认1G =1024 * 1024 * 1024，commitlog的文件名fileName，名字长度为20位，左边补零，剩余为起始偏移量；比如00000000000000000000代表了第一个文件，起始偏移量为0，文件大小为1G=1 073 741 824Byte；当这个文件满了，第二个文件名字为00000000001073741824，起始偏移量为1073741824, 消息存储的时候会顺序写入文件，当文件满了则写入下一个文件

      • 判断消息存储在哪个CommitLog上

        • 例如 1073742827 为物理偏移量，则其对应的相对偏移量为 1003 = 1073742827 - 1073741824，并且该偏移量位于第二个 CommitLog。

       

  • Broker里面一个Topic

    • 里面有多个MesssageQueue

      • 每个MessageQueue对应一个ConsumeQueue

        • ConsumeQueue里面记录的是消息在CommitLog里面的物理存储地址

 

 

 

第3集 高性能分析之ZeroCopy零拷贝技术讲解

简介：讲解ZeroCopy零拷贝技术讲解和分析

  • 高效原因

    • CommitLog顺序写, 存储了MessagBody、message key、tag等信息

    • ConsumeQueue随机读 + 操作系统的PageCache + 零拷贝技术ZeroCopy

      • 零拷贝技术

        read(file, tmp_buf, len);
write(socket, tmp_buf, len);

      • 例子：将一个File读取并发送出去（Linux有两个上下文，内核态，用户态）

        • File文件的经历了4次copy

          • 调用read,将文件拷贝到了kernel内核态
          • CPU控制 kernel态的数据copy到用户态
          • 调用write时，user态下的内容会copy到内核态的socket的buffer中
          • 最后将内核态socket buffer的数据copy到网卡设备中传送

        • 缺点：增加了上下文切换、浪费了2次无效拷贝(即步骤2和3)

      • ZeroCopy：

        • 请求kernel直接把disk的data传输给socket，而不是通过应用程序传输。Zero copy大大提高了应用程序的性能，减少不必要的内核缓冲区跟用户缓冲区间的拷贝，从而减少CPU的开销和减少了kernel和user模式的上下文切换，达到性能的提升

        • 对应零拷贝技术有mmap及sendfile

          • mmap:小文件传输快

            • RocketMQ 选择这种方式，mmap+write 方式，小块数据传输，效果会比 sendfile 更好

          • sendfile:大文件传输比mmap快

        • Java中的TransferTo()实现了Zero-Copy

        • 应用：Kafka、Netty、RocketMQ等都采用了零拷贝技术

           

     

     

 

 

 

愿景："让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 

第九章 高级篇幅之RocketMQ4.x分布式事务消息

 

 

第1集 分布式事务消息介绍

简介：讲解什么是分布式事务消息

  • 什么是分布式事务

    • 来源：单体应用—>拆分为分布式应用
    • 一个接口需要调用多个服务，且操作不同的数据库，数据一致性难保障，

  • 常见解决方案

    • 2PC : 两阶段提交, 基于XA协议

    • TCC : Try、Confirm、Cancel

      • 下单：

    • 事务消息最终一致性：

    • 更多...

  • 框架

    • GTS -> 开源 Fescar

      • 地址：https://github.com/alibaba/fescar

    • LCN

      • 地址：https://github.com/codingapi/tx-lcn

 

第2集 新特性RocketMQ4.X分布式事务消息架构讲解

简介：讲解RokcetMQ分布式事务消息的总体架构

  • RocketMQ事务消息：

    • RocketMQ 提供分布事务功能，通过 RocketMQ 事务消息能达到分布式事务的最终一致

  • 半消息Half Message:

    • 暂不能投递的消息(暂不能消费)，Producer已经将消息成功发送到了Broker端，但是服务端未收到生产者对该消息的二次确认，此时该消息被标记成“暂不能投递”状态，处于该种状态下的消息即半消息

  • 消息回查:

    • 由于网络闪断、生产者应用重启等原因，导致某条事务消息的二次确认丢失，消息队列 RocketMQ 服务端通过扫描发现某条消息长期处于“半消息”时，需要主动向消息生产者询问该消息的最终状态（Commit 或是 Rollback），该过程即消息回查。

  • 整体交互流程

     

    • Producer向broker端发送消息。
    • 服务端将消息持久化成功之后，向发送方 ACK 确认消息已经发送成功，此时消息为半消息。
    • 发送方开始执行本地事务逻辑。
    • 发送方根据本地事务执行结果向服务端提交二次确认（Commit 或是 Rollback），服务端收到 Commit 状态则将半消息标记为可投递，订阅方最终将收到该消息；服务端收到 Rollback 状态则删除半消息，订阅方将不会接受该消息
    • 在断网或者是应用重启的特殊情况下，上述步骤 4 提交的二次确认最终未到达服务端，经过固定时间后服务端将对该消息发起消息回查
    • 发送方收到消息回查后，需要检查对应消息的本地事务执行的最终结果
    • 发送方根据检查得到的本地事务的最终状态再次提交二次确认，服务端仍按照步骤 4 对半消息进行操作

  • RocketMQ事务消息的状态

    • COMMIT_MESSAGE: 提交事务消息，消费者可以消费此消息
    • ROLLBACK_MESSAGE：回滚事务消息，消息会在broker中删除，消费者不能消费
    • UNKNOW：Broker需要回查确认消息的状态

  • 关于事务消息的消费

    • 事务消息consumer端的消费方式和普通消息是一样的，RocketMQ能保证消息能被consumer收到（消息重试等机制，最后也存在consumer消费失败的情况，这种情况出现的概率极低）。

第3集 RocketMQ分布式事务消息实战上集

简介：讲解RocketMQ分布式事务消息实战上集

  • TransactionMQProducer基础介绍和使用
  • 自定义线程池和消息生产者结合
//监听器 ,执行本地事务
TransactionListener transactionListener = new TransactionListenerImpl();

//创建事务消息发送者
TransactionMQProducer producer = new TransactionMQProducer("unique_group_name");

//创建自定义线程池
//@param corePoolSize    池中所保存的核心线程数
//@param maximumPoolSize    池中允许的最大线程数
//@param keepActiveTime    非核心线程空闲等待新任务的最长时间
//@param timeunit    keepActiveTime参数的时间单位
//@param blockingqueue    任务队列
ExecutorService executorService = new ThreadPoolExecutor(2, 5, 100, TimeUnit.SECONDS, new ArrayBlockingQueue(2000), new ThreadFactory() {
            @Override
            public Thread newThread(Runnable r) {
                Thread thread = new Thread(r);
                thread.setName("client-transaction-msg-check-thread");
                return thread;
            }
        });
        
//设置producer基本属性        
producer.setNamesrvAddr(JmsConfig.NAME_SERVER);
producer.setExecutorService(executorService);
producer.setTransactionListener(transactionListener);
producer.start();

 

 

 

第4集 RocketMQ分布式事务消息实战下集

简介：讲解RocketMQ分布式事务消息实战下集

  • TransactionListener使用

    • executeLocalTransaction 执行本地事务
    • checkLocalTransaction 回查消息，要么commit 要么rollback，reconsumeTimes不生效

 

  • 注意点：TransactionMQProducer 的groupName要唯一，不能和普通的producer一样

 

  • 本地访问路径：http://localhost:8081/api/v1/pay_cb?tag=xdclass222&otherParam=2

 

 

 

第5集 源码分析之分布式事务消息发送端拆解

简介：讲解RocketMQ分布式事务消息sendMessageInTransaction源码分析

 

 

 

 

 

愿景："让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 

第十章 双主双从高性能RocketMQ服务搭建

第1集 双主双从高性能MQ服务架构讲解

简介：讲解怎样搭建高可用集群，避免单点故障问题

  • 主从架构：Broker角色，Master提供读写，Slave只支持读

    • Consumer不用配置，当Master不可用或者繁忙的时候，Consumer会自动切换到Slave节点进行能读取

  • 架构讲解，4台机器

    • 两个部署Broker-Master 和 NameServer
    • 两个部署Broker-Slave 和 NameServer

 

 

 

 

 

 

第2集 RocketMQ双主双从搭建相关软件准备

简介：讲解RocketMQ搭建双主双从集群环境相关准备

  • 4台机器, 2台部署NameServer, 4台都部署Broker, 双主双从 同步复制，异步刷盘

  • jdk、maven、rocketmq上传和安装

  • 机器列表

    server1 ssh [email protected]   部署nameServer  Broker-a
server2 ssh [email protected]   部署nameServer	 Broker-a-s
server3 ssh [email protected]				  Broker-b
server4 ssh [email protected]				  Broker-b-s

     

    1、修改RocketMQ(启动内存配置, 4个机器都要修改, 其中runbroker.sh修改4个，runserver.sh修改2个)

    vim runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms528m -Xmx528m -Xmn256m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

vim runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms528m -Xmx528m -Xmn256m"


启动两个机器的 nameserver
nohup sh bin/mqnamesrv &


全路径 
/usr/local/software/rocketmq/distribution/target/apache-rocketmq

    2、编辑并启动rocketmq命令

    broker-a主节点
nohup sh bin/mqbroker -c conf/2m-2s-sync/broker-a.properties &

namesrvAddr=192.168.159.133:9876;192.168.159.130:9876
brokerClusterName=XdclassCluster
brokerName=broker-a
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH

defaultTopicQueueNums=4
#是否允许自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false

#存储路径，根据需求进行配置绝对路径，默认是家目录下面
#storePathRootDir= 
#storePathCommitLog

    broker-a从节点
nohup sh bin/mqbroker -c conf/2m-2s-sync/broker-a-s.properties &

namesrvAddr=192.168.159.133:9876;192.168.159.130:9876
brokerClusterName=XdclassCluster
brokerName=broker-a
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH

defaultTopicQueueNums=4
#是否允许自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false

#存储路径，根据需求进行配置绝对路径，默认是家目录下面
#storePathRootDir= 
#storePathCommitLog

     

    broker-b主节点
nohup sh bin/mqbroker -c conf/2m-2s-sync/broker-b.properties &

namesrvAddr=192.168.159.133:9876;192.168.159.130:9876
brokerClusterName=XdclassCluster
brokerName=broker-b
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH

defaultTopicQueueNums=4
#是否允许自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false

#存储路径，根据需求进行配置绝对路径，默认是家目录下面
#storePathRootDir= 
#storePathCommitLog

     

    broker-b从节点
nohup sh bin/mqbroker -c conf/2m-2s-sync/broker-b-s.properties &

namesrvAddr=192.168.159.133:9876;192.168.159.130:9876
brokerClusterName=XdclassCluster
brokerName=broker-b
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH

defaultTopicQueueNums=4
#是否允许自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false

#存储路径，根据需求进行配置绝对路径，默认是家目录下面
#storePathRootDir= 
#storePathCommitLog

     

     

    参考命令

    CentOS 6.5关闭防火墙
servcie iptables stop 

centos7关闭防火墙 
systemctl stop firewalld
systemctl stop firewalld.service

     

     

 

 

第3集 双主双从集群搭建和控制台配置讲解

简介：讲解双主双从搭建和控制台配置

注意：如果连接不了broker，日志提示连接的端口少2位，记得检查防火墙是否关闭

修正上节课的错误 brokername名称

  • 使用管控台 安装在server1机器里面
修改事项
pom.xml  里面的rocketmq版本号

路径 /usr/local/software/rocketmq-externals-master/rocketmq-console/src/main/resources

application.properties里面的nameserver

增加 rocketmq.config.namesrvAddr=192.168.159.133:9876;192.168.159.130:9876

mvn install -Dmaven.test.skip=true

java -jar rocketmq-console-ng-1.0.0.jar

本地测试记得关闭防火墙(4个机器都要)

CentOS 6.5关闭防火墙
servcie iptables stop 

centos7关闭防火墙 
systemctl stop firewalld
systemctl stop firewalld.service

 

 

 

 

 

 

第4集 RocketMQ生产环境操作和推荐配置

简介：讲解生产环境RocketMQ的使用流程和推荐配置

  • Topic创建线上禁止开启自动创建
  • 一般是有专门的后台进行队列的CRUD，应用上线需要申请队列名称

  • 生产环境推荐配置

    • NameServer配置多个不同机器多个节点

    • 多Master, 每个Master带有Slave

    • 主从设置为SYNC_MASTER同步双写

    • Producer用同步方式投递Broker

    • 刷盘策略为SYNC_FLUSH(性能好点则可以为ASYNC_FLUSH)

       

  • 性能分析思路

    • CPU: top
    • 网卡: sar -n DEV 2 10、netstat -t、 iperf3
    • 磁盘: iostat -xdm 1
    • JVM: jstack、jinfo、MAT

 

 

 

 

 

 

愿景："让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 

第十一章 消息队列面试专题

 

第1集 为什么使用消息队列，怎么选择技术

简介：讲解为什么消息队列，消息队列选型问题

  • 异步

    • 例子：

  • 解耦：

    • 例子：

  • 削峰:

    • 例子:

  • 缺点：

    • 系统可用性越低：外部依赖越多，依赖越多，出问题风险越大
    • 系统复杂性提高：需要考虑多种场景，比如消息重复消费，消息丢失
    • 需要更多的机器和人力: 消息队列一般集群部署，而且需要运维和监控，例如topic申请等

消息队列选择问题：Apache ActiveMQ、Kafka、RabbitMQ、RocketMQ

  • ActiveMQ：http://activemq.apache.org/

    • Apache出品，历史悠久，支持多种语言的客户端和协议，支持多种语言Java, .NET, C++ 等，基于JMS Provider的实现

    缺点：吞吐量不高，多队列的时候性能下降，存在消息丢失的情况，比较少大规模使用

  • Kafka：http://kafka.apache.org/

    • 是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理大规模的网站中的所有动作流数据(网页浏览，搜索和其他用户的行动)，副本集机制，实现数据冗余，保障数据尽量不丢失；支持多个生产者和消费者

    缺点：不支持批量和广播消息，运维难度大，文档比较少, 需要掌握Scala，二次开发难度大

  • RabbitMQ：http://www.rabbitmq.com/

    • 是一个开源的AMQP实现，服务器端用Erlang语言编写，支持多种客户端，如：Python、Ruby、.NET、Java、JMS、C、用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不错

    缺点：使用Erlang开发，阅读和修改源码难度大

  • RocketMQ：http://rocketmq.apache.org/

    • 阿里开源的一款的消息中间件, 纯Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点, 性能强劲(零拷贝技术)，支持海量堆积, 支持指定次数和时间间隔的失败消息重发,支持consumer端tag过滤、延迟消息等，在阿里内部进行大规模使用，适合在电商，互联网金融等领域使用

      缺点：部分实现不是按照标准JMS规范，有些系统要迁移或者引入队列需要修改代码

 

 

 

第2集 消息队列怎么避免重复消费

简介：讲解怎么样可以避免重复消费

  • RocketMQ不保证消息不重复，如果你的业务需要保证严格的不重复消息，需要你自己在业务端去重

    • 接口幂等性保障 ，消费端处理业务消息要保持幂等性

      • Redis

        • setNX() , 做消息id去重 java版本目前不支持设置过期时间

          				//Redis中操作，判断是否已经操作过 TODO
                  boolean flag =  jedis.setNX(key);
                  if(flag){
                        //消费
                  }else{
                       //忽略，重复消费
                  }

           

          拓展（如果再用expire则不是原子操作，可以用下面方式实现分布式锁）

          加锁
String result = jedis.set(key, value, "NX", "PX", expireTime)

解锁(Lua脚本，先检查key，匹配再释放锁，lua可以保证原子性)
String script = "if redis.call('get', KEYS[1]) == ARGV[1] then return redis.call('del', KEYS[1]) else return 0 end";
Object result = jedis.eval(script, Collections.singletonList(lockKey), Collections.singletonList(requestId));

备注：lockKey可以是商品id,requestId用于标示是同个客户端

        • Incr 原子操作：key自增，大于0 返回值大于0则说明消费过

          				int num =  jedis.incr(key);
                  if(num == 1){
                        //消费
                  }else{
                       //忽略，重复消费
                  }

           

        • 上述两个方式都可以，但是不能用于分布式锁，考虑原子问题，但是排重可以不考虑原子问题，数据量多需要设置过期时间

      • 数据库去重表

        • 某个字段使用Message的key做唯一索引

 

 

 

 

 

第3集 RocketMQ如何保证消息的可靠性传输

简介：讲解如何保证消息的可靠性，处理消息丢失的问题

  • producer端

    • 不采用oneway发送，使用同步或者异步方式发送，做好重试，但是重试的Message key必须唯一
    • 投递的日志需要保存，关键字段，投递时间、投递状态、重试次数、请求体、响应体

  • broker端

    • 双主双从架构，NameServer需要多节点
    • 同步双写、异步刷盘 (同步刷盘则可靠性更高，但是性能差点，根据业务选择)

  • consumer端

    • 消息消费务必保留日志，即消息的元数据和消息体
    • 消费端务必做好幂等性处理

  • 投递到broker端后

    • 机器断电重启：异步刷盘，消息丢失；同步刷盘消息不丢失

    • 硬件故障：可能存在丢失，看队列架构

       

 

第4集 消息发生大量堆积应该怎么处理

简介：如果消息大量堆积在broker里面，应该怎么处理

 

线上故障了，怎么处理

  • 消息堆积了10小时，有几千万条消息待处理，现在怎么办?
  • 修复consumer, 然后慢慢消费？也需要几小时才可以消费完成，新的消息怎么办？

 

正确的姿势

  • 临时topic队列扩容，并提高消费者能力，但是如果增加Consumer数量，但是堆积的topic里面的message queue数量固定，过多的consumer不能分配到message queue
  • 编写临时处理分发程序，从旧topic快速读取到临时新topic中，新topic的queue数量扩容多倍，然后再启动更多consumer进行在临时新的topic里消费

 

第5集 RocketMQ高性能的原因分析

简介:讲解RocketMQ高性能的原因分析，高可用架构

  • MQ架构配置

    • 顺序写，随机读，零拷贝
    • 同步刷盘SYNC_FLUSH和异步刷盘ASYNC_FLUSH, 通过flushDiskType配置
    • 同步复制和异步复制，通过brokerRole配置，ASYNC_MASTER, SYNC_MASTER, SLAVE
    • 推荐同步复制(双写)，异步刷盘

  • 发送端高可用

    • 双主双从架构：创建Topic对应的时候，MessageQueue创建在多个Broker上

      即相同的Broker名称，不同的brokerid(即主从模式)；当一个Master不可用时，组内其他的Master仍然可用。

      但是机器资源不足的时候，需要手工把slave转成master，目前不支持自动转换，可用shell处理

  • 消费高可用

    • 主从架构：Broker角色，Master提供读写，Slave只支持读
    • Consumer不用配置，当Master不可用或者繁忙的时候，Consumer会自动切换到Slave节点进行能读取

  • 提高消息的消费能力

    • 并行消费

      • 增加多个节点
      • 增加单个Consumer的并行度，修改consumerThreadMin和consumerThreadMax
      • 批量消费，设置Consumer的consumerMessageBatchMaxSize, 默认是1，如果为N，则消息多的时候，每次收到的消息为N条

    • 择 Linux Ext4 文件系统，Ext4 文件系统删除 1G 大小的文件通常耗时小于 50ms，而 Ext3文件系统耗时需要 1s，删除文件时磁盘IO 压力极大，会导致 IO 操作超时

 

 

 

 

第6集 消息队列常见面试题回答总结

简介:讲解RocketMQ常见面试题汇总

  • 为什么使用消息队列

  • 消息队列技术选择

  • 如果保证消息队列高可用

  • 如何保证消息传输的可靠性

  • 如何消息的重复消费

  • 如何保证消息的顺序消费

  • 消息堆积怎么处理

     

 

 

 

愿景："让编程不在难学，让技术与生活更加有趣" 更多教程请访问 xdclass.net

 

第十二章 RocketMQ高并发抗压实战课程总结

 

第1集 RocketMQ消息队列课程总结和后续规划

简介：总结RocketMQ课程和后续新的安排

  • 掌握消息队列核心知识

  • 可以在公司中实际使用RocketMQ，搭建高可用架构

  • 掌握RocketMQ分布式事务知识

  • 掌握RocketMQ高性能原因分析

     

综合项目实战，秒杀 或 拼团 或 聚合支付网关

技术选择：

  • 框架：SpringBoot2.x + SpringCloud或者Dubbo + RocketMQ4.x + Redis5.x
  • 部署：Nginx 负载均衡 +Docker 应用集群部署 + 阿里云CentOS7
  • 基础环境 ： JDK8 + IDEA
  • 数据库：Mysql 主从
  • 性能测试：Jmeter5.x压测
  • 监控报警：钉钉机器人 或者 Zabbix

你可能感兴趣的:(RocketMQ学习笔记（二）)

  • 情绪觉察日记第37天 露露_e800
    今天是家庭关系规划师的第二阶最后一天，慧萍老师帮我做了个案，帮我处理了埋在心底好多年的一份恐惧，并给了我深深的力量！这几天出来学习，爸妈过来婆家帮我带小孩，妈妈出于爱帮我收拾东西，并跟我先生和婆婆产生矛盾，妈妈觉得他们没有照顾好我…。今晚回家见到妈妈，我很欣赏她并赞扬她，妈妈说今晚要跟我睡我说好，当我们俩躺在床上准备睡觉的时候，我握着妈妈的手对她说:妈妈这几天辛苦你了，你看你多利害把我们的家收拾得
  • 一百九十四章. 自相矛盾 巨木擎天
    唉！就这么一夜，林子感觉就像过了很多天似的，先是回了阳间家里，遇到了那么多不可思议的事情儿。特别是小伙伴们，第二次与自己见面时，僵硬的表情和恐怖的气氛，让自己如坐针毡，打从心眼里难受！还有东子，他现在还好吗？有没有被人欺负？护城河里的小鱼小虾们，还都在吗？水不会真的干枯了吧？那对相亲相爱漂亮的太平鸟儿，还好吧！春天了，到了做窝、下蛋、喂养小鸟宝宝的时候了，希望它们都能够平安啊！虽然没有看见家人，也
  • 10月|愿你的青春不负梦想-读书笔记-01 Tracy的小书斋
    本书的作者是俞敏洪，大家都很熟悉他了吧。俞敏洪老师是我行业的领头羊吧，也是我事业上的偶像。本日摘录他书中第一章中的金句：『一个人如果什么目标都没有，就会浑浑噩噩，感觉生命中缺少能量。能给我们能量的，是对未来的期待。第一件事，我始终为了进步而努力。与其追寻全世界的骏马，不如种植丰美的草原，到时骏马自然会来。第二件事，我始终有阶段性的目标。什么东西能给我能量？答案是对未来的期待。』读到这里的时候，我便
  • C语言宏函数 南林yan C语言c语言
    一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
  • 谢谢你们，爱你们！ 鹿游儿
    昨天家人去泡温泉，二个孩子也带着去，出发前一晚，匆匆下班，赶回家和孩子一起收拾。饭后，我拿出笔和本子（上次去澳门时做手帐的本子）写下了1\2\3\4\5\6\7\8\9,让后让小壹去思考，带什么出发去旅游呢？她在对应的数字旁边画上了，泳衣、泳圈、肖恩、内衣内裤、tapuy、拖鞋……画完后，就让她自己对着这个本子，将要带的，一一带上，没想到这次带的书还是这本《便便工厂》(晚上姑婆发照片过来，妹妹累得
  • 爬山后遗症 璃绛
    爬山，攀登，一步一步走向制高点，是一种挑战。成功抵达是一种无法言语的快乐，在山顶吹吹风，看看风景，这是从未有过的体验。然而，爬山一时爽，下山腿打颤，颠簸的路，一路向下走，腿部力量不够，走起来抖到不行，停不下来了！第二天必定腿疼，浑身酸痛，坐立难安！
  • 《策划经理回忆录之二》 路基雅虎
    话说三年变六年，飘了，飘了……眨眼，2013年5月，老吴回到了他的家乡——油城从新开启他的工作幻想症生涯。很庆幸，这是一家很有追求，同时敢于尝试的，且实力不容低调的新星房企——金源置业(前身泰源置业)更值得庆幸的是第一个盘就是油城十路的标杆之一:金源盛世。2013年5月，到2015年11月，两年的陪伴，迎来了一场大爆发。2000个筹，5万/筹，直接回笼1个亿！！！这……让我开始认真审视这座看似五线
  • 《大清方方案》| 第二话 谁佐清欢
    和珅究竟说了些什么？竟能令堂堂九五之尊龙颜失色！此处暂且按下不表；单说这位乾隆皇帝，果真不愧是康熙从小带过的，一旦决定了要做的事，便杀伐决断毫不含糊。他当即亲自拟旨，着令和珅为钦差大臣，全权负责处理方方事件，并钦赐尚方宝剑，遇急则三品以下官员可先斩后奏。和珅身负皇上重托，岂敢有半点怠慢，当夜即率领相关人等，马不停蹄杀奔江汉。这一路上，和珅的几位幕僚一直在商讨方方事件的处置方案。有位年轻幕僚建议快刀
  • 【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数 广龙宇 一起学Rust#Rust设计模式rust设计模式开发语言
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
  • 本周第二次约练 2cfbdfe28a51
    中原焦点团队中24初26刘霞2021.12.3约练161次，分享第368天当事人虽然是带着问题来的，但是咨询过程中发现，她是经过自己不断地调整和努力才走到现在的，看到当事人的不容易，找到例外，发现资源，力量感也就随之而来。增强画面感，或者说重温，会给当事人带来更深刻的感受。
  • 2022-07-08 保利学府里李楚怡1307022
    ——保利碧桂园学府里——童梦奇趣【科学实验室】「7.9-7.10」✏玩出大智慧约99-144㎡二期全新升级力作
  • 直抒《紫罗兰永恒花园外传》 雷姆的黑色童话
    没看过《紫罗兰永恒花园》的我莫名的看完了《紫罗兰永恒花园外传》，又莫名的被故事中的姐妹之情狠狠地感动了的一把。感动何在：困苦中相依为命的姐妹二人被迫分离，用一个人的自由换取另一个人的幸福。之后，虽相隔不知几许依旧心心念念彼此牵挂。这种深深的姐妹情谊就是令我为之动容的所在。贝拉和泰勒分别影片开始，海天之间一个孩童凭栏眺望，手中拿着折旧的信纸。镜头一转，挑灯伏案的薇尔莉特正在打字机前奋笔疾书。这些片段
  • 基于社交网络算法优化的二维最大熵图像分割 智能算法研学社（Jack旭） 智能优化算法应用图像分割算法php开发语言
    智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
  • 如果做到轻松在股市赚钱？只要坚持这三个原则。 履霜之人
    大A股里向来就有七亏二平一赚的说法，能赚钱的都是少数人。否则股市就成了慈善机构，人人都有钱赚，谁还要上班？所以说亏钱是正常的，或者说是应该的。那么那些赚钱的人又是如何做到的呢？普通人能不能找到捷径去分一杯羹呢？方法是有的，但要做到需要你有极高的自律。第一，控制仓位，散户最大的问题是追涨杀跌，只要涨起来，就把钱往股票上砸，然后被套，隔天跌的受不了，又一刀切，全部割肉。来来回回间，遍体鳞伤。所以散户首
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理 STU学生网页设计 网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
  • 特殊的拜年 飘雪的天堂
    文/雪儿大年初一，家家户户没有了轰响的鞭炮声，大街上没有了人流涌动的喧闹，几乎看不到人影，变得冷冷清清。天刚亮不大会儿，村里的大喇叭响了起来：由于当前正值疾病高发期，流感流行的高峰期。同时，新型冠状病毒感染的肺炎进入第二波流行的上升期。为了自己和他人的健康安全着想，请大家尽量不要串门拜年，不要在街里走动。可以通过手机微信，视频，电话，信息拜年……今年的春节真是特别。禁止燃放鞭炮，烟花爆竹，禁止出村
  • 398顺境，逆境 戴骁勇
    2018.11.27周二雾霾最近儿子进入了一段顺境期，今天表现尤其不错。今天的数学测试成绩喜人，没有出现以往的计算错误，整个卷面书写工整，附加题也在规定时间内完成且做对。为迎接体育测试的锻炼有了质的飞跃。坐位体前屈成绩突飞猛进，估测成绩能达到12cm，这和上次测试的零分来比，简直是逆袭。儿子还在不断锻炼和提升，唯恐到时候掉链子。跑步姿势在我的调教下，逐渐正规起来，速度随之也有了提升。今晚测试的50
  • 想明白这个问题，你才能写下去 文自拾
    春节放假的时候，又有一天梦见她，第二天她冒着漫天大雪，傻傻地跑来见我。她说，见见傻傻的我，天很冷，心很暖。她回去后，我写了一篇文章，题目叫——从此梦中只有你。我们没在一起的很长一段时间里，她都在我的心底，一次次出现在我的梦里。我对她说，在一起之前，是胆小且闷骚，在一起之后，我变得不要脸了。不要脸的——去爱你。那文章没写完，火车上，给她看了。我有点小失望，花了好几个小时写，她分分钟就看完，很希望她逐
  • 【JS】执行时长(100分) |思路参考+代码解析（C++） l939035548 JS算法数据结构c++
    题目为了充分发挥GPU算力，需要尽可能多的将任务交给GPU执行，现在有一个任务数组，数组元素表示在这1秒内新增的任务个数且每秒都有新增任务。假设GPU最多一次执行n个任务，一次执行耗时1秒，在保证GPU不空闲情况下，最少需要多长时间执行完成。题目输入第一个参数为GPU一次最多执行的任务个数，取值范围[1,10000]第二个参数为任务数组长度，取值范围[1,10000]第三个参数为任务数组，数字范围
  • 人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
    随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
  • 其二 十八尾喵
    你知道吗？图片发自App我今天知道了你有喜欢的人，不是我。心空空的，整个人都不是我的了。可，怎么办？还是要好好的活着，毕竟你喜欢的人，我不能杀，可是我可以杀其他喜欢你的人呀！也罢，此生无缘，来世再见。鱼干
  • libyuv之linux编译 jaronho Linuxlinux运维服务器
    文章目录一、下载源码二、编译源码三、注意事项1、银河麒麟系统（aarch64）（1）解决armv8-a+dotprod+i8mm指令集支持问题（2）解决armv9-a+sve2指令集支持问题一、下载源码到GitHub网站下载https://github.com/lemenkov/libyuv源码，或者用直接用git克隆到本地，如：gitclonehttps://github.com/lemenko
  • webpack图片等资源的处理 dmengmeng
    需要的loaderfile-loader（让我们可以引入这些资源文件）url-loader（其实是file-loader的二次封装）img-loader（处理图片所需要的）在没有使用任何处理图片的loader之前，比如说css中用到了背景图片，那么最后打包会报错的，因为他没办法处理图片。其实你只想能够使用图片的话。只加一个file-loader就可以，打开网页能准确看到图片。{test:/\.(p
  • ARM中断处理过程 落汤老狗 嵌入式linux
    一、前言本文主要以ARM体系结构下的中断处理为例，讲述整个中断处理过程中的硬件行为和软件动作。具体整个处理过程分成三个步骤来描述：1、第二章描述了中断处理的准备过程2、第三章描述了当发生中的时候，ARM硬件的行为3、第四章描述了ARM的中断进入过程4、第五章描述了ARM的中断退出过程本文涉及的代码来自3.14内核。另外，本文注意描述ARM指令集的内容，有些sourcecode为了简短一些，删除了T
  • 如何成为段子手 欣雅阅读
    我是一个尬聊大师，与朋友聊天经常把话题聊死，留我一个人在群里，望着自己打下的最后一句话无语凝噎。看到风趣幽默的朋友与人聊天，很是艳羡，觉得自己何时才能成为这样的段子手呢？一、段子是什么？“段子”一词在百度百科上的解释：本是相声中的一个艺术术语，指的是相声作品中一节或一段艺术内容。我的理解：段子就是一些搞笑的故事或者笑话。二、为什么要会说段子？不知道大家有没有这样的朋友，本来很无趣的聚会，只要有他参
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • 主题升华随机抽总结 木棉咕噜
    昨天晚上在火山灿教练那里抽了主题升华最后一关。一共抽了两个故事，现总结如下。第一个故事是《并不是你想象的那样》。主题一：有时候，面对别人一些貌似不合常情的行为，不要轻易的指责他，也许背后有我们所不知道的原因。在这一个主题里面，刚开始的时候，我没有加上貌似二字。所以就没有改动之后这么精准。主题二：有时候我们对他人善意的行为，可能会给我们带来一些意外的回报。主题三：面对同样一件事，因为不同的人看待问题
  • C++菜鸟教程 - 从入门到精通 第二节 DreamByte c++
    一.上节课的补充(数据类型)1.前言继上节课,我们主要讲解了输入,输出和运算符,我们现在来补充一下数据类型的知识上节课遗漏了这个知识点,非常的抱歉顺便说一下,博主要上高中了,更新会慢,2-4周更新一次对了,正好赶上中秋节,小编跟大家说一句:中秋节快乐!2.int类型上节课,我们其实只用了int类型int类型,是整数类型,它们存贮的是整数,不能存小数(浮点数)定义变量的方式很简单inta;//定义一
  • 这个世界为何对女性这么苛刻 遇见知见
    图片发自App当今社会的女性，简直用金刚侠来形容都不为过。虽然早已过了男尊女卑的时代，但是这个世界并没有平等的对待女性。新时代的女性标准：上得了厅堂，下得了厨房，杀得了木马，翻得了围墙，开得起好车，买得起新房，斗得过二奶，打得过流氓，生得了孩子，养得了家庭。这个社会对女性有太多的不公平，既要求女性经济独立，又要求女性贤良淑德。所有的女性的在成长过程中没有任何一项是因为你是女性而给你开绿灯的。图片发
  • 日常演播练习0822 开阳春天
    日常演播练习0822一、绕口令练习司小四和史小世，四月十四日十四时四十上集市，司小四买了四十四斤四两西红柿，史小世买了十四斤四两细蚕丝。司小四要拿四十四斤四两西红柿换史小世十四斤四两细蚕丝。史小世十四斤四两细蚕丝不换司小四四十四斤四两西红柿。司小四说我四十四斤四两西红柿可以增加营养防近视，史小世说我十四斤四两细蚕丝可以织绸织缎又抽丝。二、文本练习狗熊是动物街有名的美食家，它吃得多所以长得胖，它能吃
  • 怎么样才能成为专业的程序员？ cocos2d-x小菜 编程PHP
      如何要想成为一名专业的程序员？仅仅会写代码是不够的。从团队合作去解决问题到版本控制，你还得具备其他关键技能的工具包。当我们询问相关的专业开发人员，那些必备的关键技能都是什么的时候，下面是我们了解到的情况。   关于如何学习代码，各种声音很多，然后很多人就被误导为成为专业开发人员懂得一门编程语言就够了？！呵呵，就像其他工作一样，光会一个技能那是远远不够的。如果你想要成为
  • java web开发 高并发处理 BreakingBad javaWeb并发开发处理高
    java处理高并发高负载类网站中数据库的设计方法（java教程,java处理大量数据，java高负载数据） 一：高并发高负载类网站关注点之数据库 没错,首先是数据库,这是大多数应用所面临的首个SPOF。尤其是Web2.0的应用，数据库的响应是首先要解决的。 一般来说MySQL是最常用的，可能最初是一个mysql主机，当数据增加到100万以上，那么，MySQL的效能急剧下降。常用的优化措施是M-S（
  • mysql批量更新 ekian mysql
    mysql更新优化： 一版的更新的话都是采用update set的方式，但是如果需要批量更新的话，只能for循环的执行更新。或者采用executeBatch的方式，执行更新。无论哪种方式，性能都不见得多好。 三千多条的更新，需要3分多钟。 查询了批量更新的优化，有说replace into的方式，即： replace into tableName(id,status) values
  • 微软BI（3） 18289753290 微软BI SSIS
    1) Q：该列违反了完整性约束错误；已获得 OLE DB 记录。源:“Microsoft SQL Server Native Client 11.0” Hresult: 0x80004005 说明:“不能将值 NULL 插入列 'FZCHID'，表 'JRB_EnterpriseCredit.dbo.QYFZCH'；列不允许有 Null 值。INSERT 失败。”。 A：一般这类问题的存在是
  • Java中的List g21121 java
            List是一个有序的 collection（也称为序列）。此接口的用户可以对列表中每个元素的插入位置进行精确地控制。用户可以根据元素的整数索引（在列表中的位置）访问元素，并搜索列表中的元素。         与 set 不同，列表通常允许重复
  • 读书笔记 永夜-极光 读书笔记
       1.  K是一家加工厂,需要采购原材料,有A,B,C,D 4家供应商,其中A给出的价格最低,性价比最高,那么假如你是这家企业的采购经理,你会如何决策?          传统决策: A:100%订单  B,C,D:0%     &nbs
  • centos 安装 Codeblocks 随便小屋 codeblocks
    1.安装gcc,需要c和c++两部分,默认安装下,CentOS不安装编译器的,在终端输入以下命令即可yum install gccyum install gcc-c++   2.安装gtk2-devel,因为默认已经安装了正式产品需要的支持库,但是没有安装开发所需要的文档.yum install gtk2* 3. 安装wxGTK    yum search w
  • 23种设计模式的形象比喻 aijuans 设计模式
    1、ABSTRACT FACTORY—追MM少不了请吃饭了，麦当劳的鸡翅和肯德基的鸡翅都是MM爱吃的东西，虽然口味有所不同，但不管你带MM去麦当劳或肯德基，只管向服务员说“来四个鸡翅”就行了。麦当劳和肯德基就是生产鸡翅的Factory 　　工厂模式：客户类和工厂类分开。消费者任何时候需要某种产品，只需向工厂请求即可。消费者无须修改就可以接纳新产品。缺点是当产品修改时，工厂类也要做相应的修改。如：
  • 开发管理 CheckLists aoyouzi 开发管理 CheckLists
    开发管理 CheckLists(23) -使项目组度过完整的生命周期 开发管理 CheckLists(22) -组织项目资源 开发管理 CheckLists(21) -控制项目的范围开发管理 CheckLists(20) -项目利益相关者责任开发管理 CheckLists(19) -选择合适的团队成员开发管理 CheckLists(18) -敏捷开发 Scrum Master 工作开发管理 C
  • js实现切换 百合不是茶 JavaScript栏目切换
    js主要功能之一就是实现页面的特效,窗体的切换可以减少页面的大小,被门户网站大量应用思路: 1,先将要显示的设置为display:bisible 否则设为none 2,设置栏目的id ,js获取栏目的id,如果id为Null就设置为显示 3,判断js获取的id名字;再设置是否显示   代码实现:   html代码: <di
  • 周鸿祎在360新员工入职培训上的讲话 bijian1013 感悟项目管理人生职场
            这篇文章也是最近偶尔看到的，考虑到原博客发布者可能将其删除等原因，也更方便个人查找，特将原文拷贝再发布的。“学东西是为自己的，不要整天以混的姿态来跟公司博弈，就算是混，我觉得你要是能在混的时间里，收获一些别的有利于人生发展的东西，也是不错的，看你怎么把握了”，看了之后，对这句话记忆犹新。  &
  • 前端Web开发的页面效果 Bill_chen htmlWebMicrosoft
    1.IE6下png图片的透明显示： <img src="图片地址" border="0" style="Filter.Alpha(Opacity)=数值(100),style=数值(3)"/> 或在<head></head>间加一段JS代码让透明png图片正常显示。 2.<li>标
  • 【JVM五】老年代垃圾回收：并发标记清理GC(CMS GC) bit1129 垃圾回收
      CMS概述 并发标记清理垃圾回收(Concurrent Mark and Sweep GC）算法的主要目标是在GC过程中，减少暂停用户线程的次数以及在不得不暂停用户线程的请夸功能，尽可能短的暂停用户线程的时间。这对于交互式应用，比如web应用来说，是非常重要的。   CMS垃圾回收针对新生代和老年代采用不同的策略。相比同吞吐量垃圾回收，它要复杂的多。吞吐量垃圾回收在执
  • Struts2技术总结 白糖_ struts2
      必备jar文件 早在struts2.0.*的时候，struts2的必备jar包需要如下几个： commons-logging-*.jar   Apache旗下commons项目的log日志包 freemarker-*.jar          
  • Jquery easyui layout应用注意事项 bozch jquery浏览器easyuilayout
    在jquery easyui中提供了easyui-layout布局，他的布局比较局限，类似java中GUI的border布局。下面对其使用注意事项作简要介绍：      如果在现有的工程中前台界面均应用了jquery easyui，那么在布局的时候最好应用jquery eaysui的layout布局，否则在表单页面（编辑、查看、添加等等）在不同的浏览器会出
  • java-拷贝特殊链表：有一个特殊的链表，其中每个节点不但有指向下一个节点的指针pNext，还有一个指向链表中任意节点的指针pRand，如何拷贝这个特殊链表？ bylijinnan java
    public class CopySpecialLinkedList { /** * 题目：有一个特殊的链表，其中每个节点不但有指向下一个节点的指针pNext，还有一个指向链表中任意节点的指针pRand，如何拷贝这个特殊链表？ 拷贝pNext指针非常容易，所以题目的难点是如何拷贝pRand指针。 假设原来链表为A1 -> A2 ->... -> An，新拷贝
  • color Chen.H JavaScripthtmlcss
    <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"  "http://www.w3.org/TR/html4/loose.dtd">    <HTML>    <HEAD>&nbs
  • [信息与战争]移动通讯与网络 comsci 网络
          两个坚持:手机的电池必须可以取下来                光纤不能够入户,只能够到楼宇       建议大家找这本书看看:<&
  • oracle flashback query(闪回查询) daizj oracleflashback queryflashback table
    在Oracle 10g中，Flash back家族分为以下成员： Flashback Database Flashback Drop Flashback Table Flashback Query(分Flashback Query,Flashback Version Query，Flashback Transaction Query) 下面介绍一下Flashback Drop 和Flas
  • zeus持久层DAO单元测试 deng520159 单元测试
    zeus代码测试正紧张进行中,但由于工作比较忙,但速度比较慢.现在已经完成读写分离单元测试了,现在把几种情况单元测试的例子发出来,希望有人能进出意见,让它走下去. 本文是zeus的dao单元测试: 1.单元测试直接上代码   package com.dengliang.zeus.webdemo.test; import org.junit.Test; import o
  • C语言学习三printf函数和scanf函数学习 dcj3sjt126com cprintfscanflanguage
    printf函数 /* 2013年3月10日20:42:32 地点：北京潘家园 功能： 目的： 测试%x %X %#x %#X的用法 */ # include <stdio.h> int main(void) { printf("哈哈！\n"); // \n表示换行 int i = 10; printf
  • 那你为什么小时候不好好读书? dcj3sjt126com life
    dady, 我今天捡到了十块钱, 不过我还给那个人了 good girl! 那个人有没有和你讲thank you啊 没有啦....他拉我的耳朵我才把钱还给他的, 他哪里会和我讲thank you   爸爸, 如果地上有一张5块一张10块你拿哪一张呢.... 当然是拿十块的咯... 爸爸你很笨的, 你不会两张都拿   爸爸为什么上个月那个人来跟你讨钱, 你告诉他没
  • iptables开放端口 Fanyucai linuxiptables端口
    1，找到配置文件 vi /etc/sysconfig/iptables   2，添加端口开放，增加一行，开放18081端口 -A INPUT -m state --state NEW -m tcp -p tcp --dport 18081 -j ACCEPT   3，保存 ESC :wq!   4，重启服务 service iptables
  • Ehcache（05）——缓存的查询 234390216 排序ehcache统计query
    缓存的查询 目录 1.    使Cache可查询 1.1     基于Xml配置 1.2     基于代码的配置 2     指定可搜索的属性 2.1     可查询属性类型 2.2 &
  • 通过hashset找到数组中重复的元素 jackyrong hashset
      如何在hashset中快速找到重复的元素呢?方法很多，下面是其中一个办法： int[] array = {1,1,2,3,4,5,6,7,8,8}; Set<Integer> set = new HashSet<Integer>(); for(int i = 0
  • 使用ajax和window.history.pushState无刷新改变页面内容和地址栏URL lanrikey history
    后退时关闭当前页面 <script type="text/javascript"> jQuery(document).ready(function ($) {         if (window.history && window.history.pushState) {
  • 应用程序的通信成本 netkiller.github.com 虚拟机应用服务器陈景峰netkillerneo
    应用程序的通信成本 什么是通信 一个程序中两个以上功能相互传递信号或数据叫做通信。 什么是成本 这是是指时间成本与空间成本。 时间就是传递数据所花费的时间。空间是指传递过程耗费容量大小。 都有哪些通信方式 全局变量 线程间通信 共享内存 共享文件 管道 Socket 硬件（串口，USB） 等等 全局变量 全局变量是成本最低通信方法，通过设置
  • 一维数组与二维数组的声明与定义 恋洁e生 二维数组一维数组定义声明初始化
    /**  *  */ package test20111005; /**  * @author FlyingFire  * @date:2011-11-18 上午04:33:36  * @author ：代码整理  * @introduce :一维数组与二维数组的初始化  *summary：  */ public c
  • Spring Mybatis独立事务配置 toknowme mybatis
    在项目中有很多地方会使用到独立事务，下面以获取主键为例   （1）修改配置文件spring-mybatis.xml  <!-- 开启事务支持 -->  <tx:annotation-driven transaction-manager="transactionManager" />   &n
  • 更新Anadroid SDK Tooks之后，Eclipse提示No update were found xp9802 eclipse
    使用Android SDK Manager 更新了Anadroid SDK Tooks 之后， 打开eclipse提示 This Android SDK requires Android Developer Toolkit version 23.0.0 or above, 点击Check for Updates  检测一会后提示 No update were found 
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他