由于一些原因,我需要RocketMQ消费的时候,一批拉400条,一批处理400条。设置如下:

RocketMQ消费批拉超过32不生效 随笔 第1张

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

为了简单验证是否正确,消费如下:

RocketMQ消费批拉超过32不生效 随笔 第2张

直接通过打印msgs.size()观察情况即可。

现象

实验的topic里面的消息数量很多很多,但是启动消费端,消费端的日志如下:

RocketMQ消费批拉超过32不生效 随笔 第3张

奇怪啦,明明已经进行了修改

RocketMQ消费批拉超过32不生效 随笔 第4张

为什么还是每次只能消费32条呢?

调试RocketMQ源码

通过跟踪consumer代码:

RocketMQ消费批拉超过32不生效 随笔 第5张

这里的确已经设置为400了,那么我们需要跟踪到broker服务端进行查看了。

RocketMQ消费批拉超过32不生效 随笔 第6张

broker接受到的也是400,我们只有继续跟踪

RocketMQ消费批拉超过32不生效 随笔 第7张

因为返回为true导致下面的if判断成立,for循环就break了,所有只取了32条数据返回到consumer了:

RocketMQ消费批拉超过32不生效 随笔 第8张

RocketMQ消费批拉超过32不生效 随笔 第9张

如果需要让可以一次拉取400条,需要修改broker这里的数据配置才可(其实关于一条消息大小也是类似的,虽然说最大设置16M,但是也是和这里同理需要设置broker相关的数据配置才可生效)。

修改broker的配置文件,添加:maxTransferCountOnMessageInMemory=400 重启broker即可,效果如下:

RocketMQ消费批拉超过32不生效 随笔 第10张

效果正常,其实如果消息过大,还需要考虑下面几个参数:

RocketMQ消费批拉超过32不生效 随笔 第11张

备注:也可以不用重启broker,通过命令实时修改:

sh mqadmin updateBrokerConfig -c 集群名称 -n namesrv  -k maxTransferCountOnMessageInMemory -v 400

总结

需要RocketMQ消费的时候,一批拉400条,一批处理400条。设置如下:

RocketMQ消费批拉超过32不生效 随笔 第12张

还是达不到效果的,还需要设置broker相关的参数,本次里面设置broker的maxTransferCountOnMessageInMemory=400即可,其他情况需要考虑如下等参数。

RocketMQ消费批拉超过32不生效 随笔 第13张

 

本文转载自http://www.jiangxinlingdu.com/rocketmq/2018/12/05/pullbatchsize.html

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄