两台电脑搭建RocketMQ 2master2slave-异步复制集群

Saadiya ·

更新时间:2024-11-10

· 663 次阅读

两台电脑搭建RocketMQ 2master2slave-异步复制集群

每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：

优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样；
缺点：Master宕机，磁盘损坏情况下会丢失少量消息。

一、下载 RockerMQ安装包

下载二进制编译包：
https://archive.apache.org/dist/rocketmq/4.4.0/rocketmq-all-4.4.0-bin-release.zip

解压
yum install -y zip unzip
unzip rocketmq-all-4.4.0-bin-release.zip

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-E9f2vByq-1582203350768)(en-resource://database/17258:1)]

二、编辑启动文件

默认启动需要8G内寸机器，如果机器内存小，需要设置启动jvm参数

vim bin/runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=256m"
vim bin/runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g"

三、机器 IP 信息

NodeA:

192.168.56.101

NodeB:

192.168.56.109

四、编辑配置文件

cd /root/rocketmq-all-4.4.0-bin-release/conf/2m-2s-async

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c4116fV9-1582203350769)(en-resource://database/17260:1)]

broker-a.properties

    brokerClusterName=DefaultCluster
    brokerName=broker-a
    brokerId=0
    deleteWhen=04
    fileReservedTime=48
    brokerRole=ASYNC_MASTER
    flushDiskType=ASYNC_FLUSH
    listenPort=10911
    namesrvAddr=192.168.56.101:9876;192.168.56.109:9876
    brokerIP1=192.168.56.101
    brokerIP2=192.168.56.101
    autoCreateSubscriptionGroup=true
    autoCreateTopicEnable=true
    storePathRootDir=/home/rocketmq/rocketmq/data
    storePathCommitLog=/home/rocketmq/rocketmq/data/commitlog
    storePathConsumeQueue=/home/rocketmq/rocketmq/data/consumequeue
    storePathIndex=/home/rocketmq/rocketmq/data/index
    storeCheckpoint=/home/rocketmq/rocketmq/data/checkpoint
    abortFile=/home/rocketmq/rocketmq/data/abort

broker-a-s.properties

    brokerClusterName=DefaultCluster
    brokerName=broker-a
    brokerId=1
    deleteWhen=04
    fileReservedTime=48
    brokerRole=SLAVE
    flushDiskType=ASYNC_FLUSH
    listenPort=15911
    namesrvAddr=192.168.56.101:9876;192.168.56.109:9876
    brokerIP1=192.168.56.109
    autoCreateSubscriptionGroup=true
    autoCreateTopicEnable=true
    storePathRootDir=/home/rocketmq/slave/rocketmq/data
    storePathCommitLog=/home/rocketmq/slave/rocketmq/data/commitlog
    storePathConsumeQueue=/home/rocketmq/slave/rocketmq/data/consumequeue
    storePathIndex=/home/rocketmq/slave/rocketmq/data/index
    storeCheckpoint=/home/rocketmq/slave/rocketmq/data/checkpoint
    abortFile=/home/rocketmq/slave/rocketmq/data/abort

broker-b.properties


    brokerClusterName=DefaultCluster
    brokerName=broker-b
    brokerId=0
    deleteWhen=04
    fileReservedTime=48
    brokerRole=ASYNC_MASTER
    flushDiskType=ASYNC_FLUSH
    listenPort=10911
    namesrvAddr=192.168.56.101:9876;192.168.56.109:9876
    brokerIP1=192.168.56.109
    brokerIP2=192.168.56.109
    autoCreateSubscriptionGroup=true
    autoCreateTopicEnable=true
    storePathRootDir=/home/rocketmq/rocketmq/data
    storePathCommitLog=/home/rocketmq/rocketmq/data/commitlog
    storePathConsumeQueue=/home/rocketmq/rocketmq/data/consumequeue
    storePathIndex=/home/rocketmq/rocketmq/data/index
    storeCheckpoint=/home/rocketmq/rocketmq/data/checkpoint
    abortFile=/home/rocketmq/rocketmq/data/abort

broker-b-s.properties

    
    brokerClusterName=DefaultCluster
    brokerName=broker-b
    brokerId=1
    deleteWhen=04
    fileReservedTime=48
    brokerRole=SLAVE
    flushDiskType=ASYNC_FLUSH
    listenPort=15911
    namesrvAddr=192.168.56.101:9876;192.168.56.109:9876
    brokerIP1=192.168.56.101
    autoCreateSubscriptionGroup=true
    autoCreateTopicEnable=true
    storePathRootDir=/home/rocketmq/slave/rocketmq/data
    storePathCommitLog=/home/rocketmq/slave/rocketmq/data/commitlog
    storePathConsumeQueue=/home/rocketmq/slave/rocketmq/data/consumequeue
    storePathIndex=/home/rocketmq/slave/rocketmq/data/index
    storeCheckpoint=/home/rocketmq/slave/rocketmq/data/checkpoint
    abortFile=/home/rocketmq/slave/rocketmq/data/abort

五、启动

注意：一个节点放一主一从

A节点：A master   B slave 
B节点：B maset    A slave

nohup sh bin/mqnamesrv > boot.log 2>&1 &

nohup sh bin/mqbroker -c ./conf/2m-2s-async/broker-a.properties >> boot.log 2>&1 &
nohup sh bin/mqbroker -c ./conf/2m-2s-async/broker-b.properties >> boot.log 2>&1 &

nohup sh bin/mqbroker -c ./conf/2m-2s-async/broker-b-s.properties >> boot.log 2>&1 &
nohup sh bin/mqbroker -c ./conf/2m-2s-async/broker-a-s.properties >> boot.log 2>&1 &

六、停止

sh bin/mqshutdown broker
sh bin/mqshutdown namesrv

七、日志查看

tail -f ~/logs/rocketmqlogs/namesrv.log

八、集群状态查看

bin/mqadmin clusterList -n localhost:9876

九、测试消息发送

export NAMESRV_ADDR=localhost:9876

消息生产

sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

消息消费

sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

十、简单运维脚本

startNodeA.sh

nohup sh bin/mqnamesrv  > boot.log 2>&1 &   
sleep 30s
nohup sh bin/mqbroker  -c ./conf/2m-2s-async/broker-a.properties >> boot.log 2>&1 &
sleep 60s
nohup sh bin/mqbroker  -c ./conf/2m-2s-async/broker-b-s.properties >> boot.log 2>&1 &

startNodeB.sh

nohup sh bin/mqnamesrv  > boot.log 2>&1 &   
sleep 30s
nohup sh bin/mqbroker  -c ./conf/2m-2s-async/broker-b.properties >> boot.log 2>&1 &
sleep 60s
nohup sh bin/mqbroker  -c ./conf/2m-2s-async/broker-a-s.properties >> boot.log 2>&1 &

shutdownBroker.sh

sh bin/mqshutdown broker

shutdownNamesrv.sh

sh bin/mqshutdown namesrv

clusterInfo.sh

sh ./bin/mqadmin clusterList -n localhost:9876

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7NMXztux-1582203350771)(en-resource://database/17262:1)]

添加脚本可运行权限

chmod +x ./*.sh

注意：作者踩过的坑：

brokerIP1 当前broker监听的IP
brokerIP2 存在broker主从时，在broker主节点上配置了brokerIP2的话,broker从节点会连接主节点配置的brokerIP2来同步

主节点：
brokerIP1 配置当前节点所在节点ip地址
brokerIP2 配置当前节点所在节点ip地址，即从节点需要从该节点同步数据

从节点：
brokerIP1 配置当前节点所在节点ip地址，即从节点所在ip

多nameser 中间分号分隔
namesrvAddr=10.10.10.1:9876;10.10.10.2:9876

作者：书记高育良

rocketmq 集群异步电脑 master

1024 个赞

需要登录后方可回复, 如果你还没有账号请注册新账号

Bootstrap4 列表组

Agatha 2021-05-22

929

Bootstrap4 轮播

Cindy 2020-11-14

995

meta标签在移动平台开发中的应用详解

Shirley 2020-05-10

983

Ubuntu不进入休眠模式的方法

Delfina 2020-08-10

716

CSS中:before和:after伪元素使用的奇技淫巧

Linnea 2020-05-13

728

C#使用Task实现异步方法

Tricia 2023-04-08

881

本地电脑向远程windows服务器传输文件的三种方法汇总

Malina 2023-04-10

1044

深入浅出RocketMQ的事务消息

Fawn 2023-04-10

Qt开发之获取电脑磁盘容量

Serafina 2023-04-14

488

关于Dart中的异步编程

Elita 2023-04-14

RocketMQ事务消息保证消息的可靠性和一致性

Bunny 2023-04-24

1117

分布式消息队列RocketMQ概念详解

Rhea 2023-05-09

605

RocketMQ ConsumeQueue与IndexFile实时更新机制源码解析

Pandora 2023-05-09

1942

RocketMQ消息存储文件的加载与恢复机制源码分析

Karli 2023-05-09

255

RocketMQ源码分析之Broker过期消息清理机制

Elina 2023-05-09

969

RocketMQ之Consumer整体介绍启动源码分析

Kefira 2023-05-09

215

基于ChatGPT官方API的电脑桌面版应用体验分享

Kathy 2023-05-12

1181

C#异步编程之async/await详解

Maleah 2023-05-12

C#实现异步的常用方式总结

Maha 2023-05-13

175

Python分布式异步任务框架Celery使用教程

Gilana 2023-05-17

368

我要提问

致谢

帮助他人，成就自己。

人生最大成功就是伸出热情而温暖的双手，尽自己所能去帮助身边的每一个人，只要无私的奉献，就会收获到美好的生活。

1024问感谢每一位朋友的帮助和支持。

软件开发网提供编程的基础软件技术培训教程,软件开发编程实例讲解Go,Node,HTML,CSS,Javascript,Python,Java,Ruby,C,PHP,MySQL等软件开发编程语言以及数据开发的基础知识，也提供大量的软件开发在线实例、从入门到精通就在1024问。

育儿网微养生全球行美食街育儿菜谱大全海南旅游女性养狗百科星座

两台电脑搭建RocketMQ 2master2slave-异步复制 集群

致谢

两台电脑搭建RocketMQ 2master2slave-异步复制集群