Releases: sohutv/mqcloud
MQCloud RELEASE 5.3.0
一、新功能和优化：
-
RocketMQ升级至5.3.1：包含大量优化、重要bug及安全问题修复。
-
支持NameServer支持获取客户端链接及平滑上下线。
-
支持Proxy支持获取客户端链接及平滑上下线。
-
Broker集群支持自动化重启。
-
增加集群信息模块。
-
支持分集群暂停审核和监控。
-
优化耗时任务：按照集群维度并行，子任务并发。
-
Proxy转发消息采用客户端BornHost。
-
支持Trace数据获取自定义客户端IP。
-
consumer流量支持展示broker端统计和客户端统计：
-
支持客户端跳过序列化直接发送二进制数据。
-
安全退出优化。
-
支持Http协议设置客户端IP。
-
Producer代码收敛重构。
-
批量消息Trace数据支持查询。
-
Topic流量收集记录异常指标。
-
Proxy兼容原生NS地址方式通信。
-
重构RocketMQ客户端链接获取逻辑：适配Proxy。
-
增加Broker外部写入流量指标。
-
Proxy增加Topic路由变更日志。
-
消费者支持设置线程数。
-
优化配置刷新机制。
二、重要bug修复：
- 修复消费限速器速率不准确问题。
- 修复死消息（按key查询）无法重复问题。
- 修复Broker主从节点Topic不一致问题。
- 支持HTTP批量发送协议。
- 修复异步调用异常处理问题。
- 修复消息解码不兼容导致异常。
- 修复Proxy转发批量消息失败的Bug。
- 兼容Trace数据时间查询问题。
- 修复生产者路由不提前更新问题。
- 修复消费者统计重复导致过大问题。
- 修复消费不能及时暂停的问题。
所有的代码变更请参考：5.1.2.RELEASE...5.3.0.RELEASE
三、升级说明：
MQCloud RELEASE 5.1.2
一、新功能和优化：
-
Broker集群支持自动更新：
- 支持无人值守的一键更新
- 提前生成详细的更新步骤，一目了然
- 更新过程中，支持暂停，跳过，重试等操作
- 每个步骤增加结果检查，提升更新的安全性
- 执行失败的步骤会存储详细的日志，方便定位
- 针对大型集群的更新可以大幅节省人力
-
生产者支持自定义流量预警规则：
- 支持修改自定义的流量预警规则
- 支持后台管理流量预警的topic
-
Broker支持跨机器异步增量迁移，支持TB级别：
- 支持迁移时远程日志实时监控
-
Broker写入限流配置支持持久化：
- 限流配置支持同步到Slave
- 集群新增的Broker支持从集群内部同步限流配置
- 限流配置支持整个集群更新
-
Broker部署时支持中断，并记录中间状态，并支持重启或删除：
-
消息支持以文本或JSON格式查看：
-
消费者重启后支持保持之前的状态（暂停、限流等）。
-
Pull消费支持Trace。
-
RocketMQ各组件支持停止后启动。
-
消费者实时信息监控优化：支持消费失败、限流等提示：
-
消费客户端实例信息实时监控：
-
Broker关闭检测优化，防止误判。
-
Broker支持实时监控客户端链接。
-
运维时支持审核暂停，防止数据写入不完全。
-
异常预警完善异常信息。
-
新建Topic区分延迟消息和定时消息。
-
消费发送隔离机制由Hystrix升级至Sentinel。
-
Broker配置项兼容数值类型。
-
客户端增加判断运行中方法。
-
Broker存储预警支持按照集群配置。
-
从Broker拉取Topic状况优化。
-
Pull模式支持拉取Topic状况。
-
Broker状态检测标准增强：状态持续性成功。
-
支持查看消息id和单条消息。
-
Broker暴露除系统内置topic的生产消费统计量。
-
Broker配置模版默认值更新。
-
扩大重试消息默认的查询时间范围。
-
重发消息邮件增加消费者链接。
-
Python HTTP请求示例增加超时参数。
-
预警邮件中所有数据人性化。
-
Topic流量监控过滤低流量预警。
-
支持http协议消费者动态修改配置。
-
HTTP消费增加ACK机制说明。
-
Topic详情页增加用途。
-
管理端菜单分类组织。
-
消费详情&消息跳转参数优化。
-
HTTP消费超时阈值扩大。
-
HTTP消费支持展示锁定队列的客户端IP。
-
定时任务采用单独的线程池执行。
二、重要bug修复：
- 修复BaseDir为空导致页面空白。
- 修复修复堆积预警文案问题。
- 修复生产者或消费者有所属用户丢失问题。
- 修复用户端时间不准导致页面展示空白。
- 消费堆积预警邮件单位错误修复。
- 修复新建消费者Trace状态错误问题。
- 修复H2 SQL错误。
- 修复消息id解析错误导致的错误。
- 修复预警任务获取topic流量不全时抛异常。
- 修复流量预警规则跨天错误预警。
- 修复流量预警修改选项无效问题。
- 修复死消息请求未携带原topic信息时导致空指针异常。
- 修复消费者跳链无权限问题。
- 应用退出时资源释放顺序问题修复。
三、升级说明：
MQCloud RELEASE 5.1.1
一、新功能和优化：
-
演示模式新增构建好的docker镜像，直接运行：
docker run -p 18080:8080 -p 1022:22 -t -i registry.cn-hangzhou.aliyuncs.com/sohutv_mqcloud/mqcloud:5.1.1 /bin/bash -
支持Broker备代理主模式。
-
支持消费者在线按照实例级别暂停、恢复消费或者下线/恢复。
-
支持全局顺序Topic。
- 支持新建顺序Topic时写入NameServer 顺序Topic路由。
- 支持NameServer启动时，顺序Topic不存在，从MQCloud拉取。
- 支持新部署NameServer时配置顺序Topic。
-
启停Broker增加load和等待，保障成功。
-
支持接入Flink。
-
支持生产者启动时提前建连，防止消息首发失败。
-
支持Python以HTTP协议接入。
-
Broker部署：一个Master支持部署多个Slave，增加BrokerId作为后缀。
-
SpringBoot升级至2.6.15。
-
H2升级至2.2.220，DDL语句自动执行。
-
依赖cve升级修复，包括但不限于logback、jackson、guava、netty等。
-
消费者防止重复启动。
-
所有工单申请成功后跳转至
我的工单页面。 -
MQClient启动拉取配置信息不再无限重试，支持客户端配置。
-
支持忽略生产失败异常预警。
-
消费限速强制开启。
-
非MQCloud客户端禁止某些功能，包括但不限于线程诊断、异常诊断、精准消费等。
-
Slave展示延迟队列数据。
-
新集群初始化Topic&Consumer时，支持选择Broker。
-
支持集群容量日报。
-
支持服务器部署组件所在的挂载容量。
-
支持按照前1,2,3,5,7天生产大小查询Topic。
-
新建集群初始化消费者兼容消费者离线的情况。
-
消费在线暂停日志优化。
二、重要bug修复：
- 修复定时消息发送丢失问题。
- 修复定时消息发送时选择故障节点问题。
- 修复新建生产者重复问题。
- 修复死信消息查询异常问题。
- 修复freemarker BeansWrapper.incompatibleImprovements警告。
- 修复消费者非法数据无限重试保存问题。
- 修复logback.xml下载失败问题。
- 修复消息导出路径失效问题。
- 修复MQProxy无Server时NPE问题。
- 修复Broker关闭超时问题。
- 修复删除用户导致Topic拓扑页面空白问题。
- 修复Broker停写状态更新错误问题。
- 修复消费页面加载过慢导致空指针问题。
- 修复登录后未重定向到原链接的问题。
- 修复部署挂载容量获取为空的问题。
- 修复freemarker由于SpringBoot类加载器变更导致的偶发加载失败问题。
- 修复消息追踪无数据时空白页面问题。
三、升级说明：
MQCloud RELEASE 5.1.0
一、新功能和优化：
-
MQCloud依赖的RocketMQ升级至5.x。
-
Springboot升级至2.x。
-
SSH客户端升级，支持open-ssh-8.7协议。
-
支持ubuntu22及以下版本部署。
-
Nmon依赖升级，初始化优化。
-
通信协议支持proxy-remoting，proxy组件支持如下功能：
- 支持proxy-acl。
- 支持proxy负载均衡。
- 支持定时监控和消息轨迹
- 支持自动路由
- 支持消息重发
- 支持偏移量重置
- 支持精确消息消费
- 支持获取运行时消费信息
-
UI全新升级，全面支持移动端，更加个性化：
- PC主页
- 移动端主页
-
Broker配置增加时间轮阈值校验。
-
非MQCloud客户端禁用某些功能。
-
RocketMQ某些API兼容4.9.x和5.x。
-
RocketMQ日志使用方式修改。
-
MQCloud后台通用配置支持json格式。
-
服务器预警指标增加默认值。
-
RocketMQ各组件启停增加等待机制，保障启停成功。
-
消费者增加客户端状况指标。
-
RocketMQ多实例使用唯一ClientID。
-
Broker队列过多时，消息搜索过慢优化。
-
支持普通消息和死信消息导出：
- 支持异步导出
- 进度实时查看
- 支持重新导出
- 导出失败检测
-
客户端消费状况数据上报。
-
MQCloud后台增加任务管理模块，执行机器展示IP。
-
消费堆积增加消费完成预估计算。
-
获取消费者运行时信息兼容C++客户端。
-
Topic授权开放所有用户。
-
MQCloud后台管理页面所有topic和消费者统一增加跳链，行为统一。
-
支持时间轮消息查询，生命周期追踪，手动取消和API取消，详细参见。
-
监控任务支持动态执行，及时感知集群变化。
二、重要bug修复：
- 修复rocketmq指标未重置的bug。
- 修复死信消息在跳过重试无法重新消费bug。
- 修复服务器更新空指针异常。
- 修复图表提示框被遮挡的bug。
- 修复图表数据展示不完整的bug。
- 修复流量监控无数据错误提醒。
- 修复版本号解析异常。
- 修复空数据问题。
- 修复某些情况下shell执行失败的问题。
- 修复DeliverTimeMs反序列化空指针异常。
- 修复服务器配置项修改失败的问题。
- 修复延迟字段溢出问题。
- 修复slave的broker-id冲突的问题。
三、升级说明：
MQCloud RELEASE 4.9.4
一、新功能和优化：
-
支持RocketMQ 5.x部署和监控报警，包括Proxy、Controller、Broker内嵌Proxy模式，支持任意组件配置jvm内存等参数。
一、新建Proxy。
二、新建Controller。
三、Broker内嵌Proxy。
四、机器管理支持展示多种组件部署。
-
支持RocketMQ 5.x的定时消息（基于时间轮实现），客户端发送仍采用4.x客户端，不用升级即享受任意维度定时消息红利。
一、定时消息查询。
二、原始消息查询。
三、定时消息追踪。
四、定时消息追踪(开启追踪功能)。
四、定时消息指标。
-
主题管理支持多维度排序、筛选等。
-
请求码冲突兼容。
-
新建生产者及批量关联支持协议选择。
-
消息搜索模块增加消息大小展示。
-
消费监控数据分页展示，防止数据太多卡死页面。
-
消费客户端异常时优先打印offsetMsgId。
-
支持业务端自己设置消费类型。
-
支持topic路由动态修改，支持topic在线跨集群迁移。
-
消息查询时间范围采用broker存储数据时间。
-
broker支持添加多个slave。
-
漏洞CVE-2023-33246修复，增加UPDATE_BROKER_CONFIG鉴权。
-
消费者TPS、消费量格式化展示。
-
消费者删除时校验链接。
-
异常栈折叠显示优化。
-
Topic各种申请操作体验优化。
-
消费落后预警优化：消息量过少不预警。
-
停写后的broker支持在线恢复。
-
客户端生产消费支持多区域亲和。
-
暂停消费时支持下线实例，进行队列重新分配。
二、重要bug修复：
- 下线后的broker状态错误问题修复。
- 修复重启broker按钮id获取错误问题。
- 修复消费者删除后导致页面空白的问题。
- 修复版本比较bug。
- 主题管理修复topic查询不准问题。
- 主题管理修复空串问题。
- 主题管理修复人员查询不准问题。
- 修复因为nmon仓库失效导致docker image构建失败。
- 机器页面ip无法定位bug修复。
- 重发消息审核无法拒绝bug修复
三、升级说明：
MQCloud RELEASE 4.9.3
一、新功能和优化：
-
新项目发布MQ-Proxy，支持HTTP协议生产和消费，彻底解决非java语言客户端接入问题。
-
依赖的RocketMQ升级至4.9.3-sohu，支持如下特性：
-
broker支持topic级别限流，防止个别topic流量过大影响集群的整体稳定性。
-
客户端不再显式依赖fastjson，采用shade模式打包到内部使用。
-
部署时支持内存配置，便于一机部署多个broker或在docker部署。
-
netty支持socks代理配置。
-
-
MQCloud依赖的fastjson升级为jackson，并采用shade打包，内部使用，不污染业务端。
-
从节点宕机后不检测落后情况，防止误报。
-
增加客户端语言及版本管理功能：
-
顺序消息消费增加客户端统计。
-
jdbc连接串增加useSSL=false。
-
actuator默认开启安全机制。
-
部分依赖版本升级。
二、重要bug修复：
- topic详情页客户端连接信息修复。
- fix收集统计时间戳未更新的bug。
- 部分UI展示问题修复。
三、升级说明：
4.9.2.RELEASE
一、新功能和优化：
-
topic支持足迹和收藏
-
支持采用搜狐版本RocketMQ，默认支持死消息，同步落后，存储性能统计。
-
服务器指标过多优化，并增加部署展示。
-
消费者删除增加多用户关联校验和存活链接校验
-
消费者提示增加clientId，单机多部署时便于识别
-
运行监控支持c++客户端
-
支持按照时间段精准回放流量
-
不再使用github作为maven仓库
-
修改topic流量预警增加权限校验
-
按时间搜索消息区分重试和正常topic
-
审核列表增加分页
-
死消息任务降低执行阈值
-
支持管理员切换角色
-
优化用户体验：操作，通知，消息等
-
支持用户分组
-
支持h2database,使用方式详见本地模式
-
审核支持分页&优化
-
规范UserWarnCount路径
-
增加php接入wiki，详见用户指南
-
优化定时采集任务执行策略
-
增加一体化docker支持
二、重要bug修复：
- 重试队列搜索无数据时分页不更新bug修复。
- {Error when measuring disk space usage,file doesn't exist on this path} 报警修复
- fix c++等客户端没有用户组属性时空指针异常问题修复
- 修复集群拓扑中name重复造成显示异常问题
三、升级说明：
MQCloud RELEASE 4.9.1
一、新功能和优化：
- 支持RocketMQ4.9.1。
- 生产消息支持异步重试。
- 支持幂等消费。
实现原理参见。 - 重试消息跳过时支持指定key，即具有某个key的重试消息都跳过。
- 支持用户告警记录功能。
- 同时支持freemarker和json后缀视图，便于将MQCloud数据暴露给外部系统。
- 邮件发送支持ssl
- 预警支持模板配置。
- 网络统计支持ens网卡。
- 消费异常堆栈实时查看转义html。
- 安全关闭优化。
- 支持手机预警。
- 部分代码重构。
- 部分wiki完善。
二、重要bug修复：
- fix修改用户依然缓存的问题。
- 生产异常呼吸点修复。
三、升级说明：
感谢社区同学 @AochongZhang 的PR。
Contributors
Assets 3
MQCloud RELEASE 4.7.2
一、新功能和优化：
- broker支持部署到不同的目录。
- 支持消费失败异常栈实时查看。
- 支持消费堆积线程堆栈实时查看。
- 批量消费支持限速。
- 消费失败预警邮件支持一键定位消息列表。
- 消息查询增加trace定位。
- 重试消息增加trace定位。
- 消息查询根据是否开启trace展示不同的特性。
- 消费失败缩短检测时间。
- ajax请求捕获网络异常并提示。
- 可操作性UI统一展示。
二、重要bug修复：
三、升级说明：
感谢社区同学 @ziyunmuxu @jackytsu 反馈的问题。
MQCloud RELEASE 4.7.1
新功能和优化：
-
支持rocketmq 4.7.1。
-
broker数据统计支持addr(一台机器可以部署多个broker)。
-
客户端启动抓取配置报错日志完善。
-
增加生产消费micrometer统计。
# HELP rocketmq_total_time # TYPE rocketmq_total_time gauge rocketmq_total_time{group="api-ugc-cacheclean-consumer",role="consumer",} 344.0 rocketmq_total_time{group="api-flush-cache-consumer",role="consumer",} 0.0 rocketmq_total_time{group="core-missed-id-topic-producer",role="producer",} 0.0 rocketmq_total_time{group="api-web-consumer",role="consumer",} 286.0 # HELP rocketmq_excption_count # TYPE rocketmq_excption_count gauge rocketmq_excption_count{group="api-ugc-cacheclean-consumer",role="consumer",} 0.0 rocketmq_excption_count{group="api-flush-cache-consumer",role="consumer",} 0.0 rocketmq_excption_count{group="core-missed-id-topic-producer",role="producer",} 0.0 rocketmq_excption_count{group="api-web-consumer",role="consumer",} 0.0 # HELP rocketmq_total_count # TYPE rocketmq_total_count gauge rocketmq_total_count{group="api-ugc-cacheclean-consumer",role="consumer",} 1772.0 rocketmq_total_count{group="api-flush-cache-consumer",role="consumer",} 0.0 rocketmq_total_count{group="core-missed-id-topic-producer",role="producer",} 11.0 rocketmq_total_count{group="api-web-consumer",role="consumer",} 1793.0 # HELP rocketmq_max_time # TYPE rocketmq_max_time gauge rocketmq_max_time{group="api-ugc-cacheclean-consumer",role="consumer",} 3.0 rocketmq_max_time{group="api-flush-cache-consumer",role="consumer",} 0.0 rocketmq_max_time{group="core-missed-id-topic-producer",role="producer",} 0.0 rocketmq_max_time{group="api-web-consumer",role="consumer",} 1.0对应的mbean监控数据如下：
-
支持broker主从同步数据监控预警。
集群同步展示：
-
服务器链接支持链接池。
-
消费失败的消息，邮件提醒支持一键跳过。
-
审核列表支持分页展示。
-
topic名等支持点击复制。
-
bootstrap升级为3.4.1。
-
增加纯go客户端接入wiki。
重要bug修复：
- fix统计获取生产者组为空的bug。
- fix收集任务异常终止的bug。
- fix广播消费者重复监控的bug(#14)。
- fix本地更新broker的bug。
- fix趋势图时间展示不全的bug。
- fix消费者创建失败导致数据不完全的bug。
- fix broker监控未按时执行的bug。
- fix趋势图单位显示bug。
- fix消息过长撑爆td的bug。
- fix broke安装路径为空的bug(#13)。
升级说明：
感谢社区同学反馈的建议、问题及PR。@jackytsu @ziyunmuxu 等。