Doris 3.0.5-rc01 stream load doris_be cpu high usage than Drois 2.1.6-rc04

[zicat]

你好维护者：
近期我在从事将公司的doris版本从2.1.6-rc04升级到Doris 3.0.5-rc01相关工作(3.0.5-bin-x64-noavx2)，部署模式为存算一体模式。
在升级的过程发现doris be进程的CPU使用率远高于旧版本。为了验证这一点我用5台server搭建了一个2.1.6-rc04集群，每台server上部署了一个doris be和doris fe进程，并创建了如下表进行stream load的导入
CREATE TABLE rtc_freeze_1mislice(align_tsbigint NULL,namevarchar(255) NULL,productvarchar(255) NULL,vidbigint NULL,devicevarchar(255) NULL,regionvarchar(255) NULL,countryvarchar(255) NULL,netvarchar(255) NULL,idcvarchar(255) NULL,freeze_timebigint NULL,user_cntbigint NULL,domainvarchar(255) NULL,datedate NULL,hour int NULL ) ENGINE=OLAP DUPLICATE KEY(align_ts, name, product) PARTITION BY RANGE(date)() DISTRIBUTED BY RANDOM BUCKETS AUTO PROPERTIES ( "replication_allocation" = "tag.location.default: 5", "min_load_replica_num" = "-1", "is_being_synced" = "false", "dynamic_partition.enable" = "true", "dynamic_partition.time_unit" = "DAY", "dynamic_partition.time_zone" = "UTC", "dynamic_partition.start" = "-29", "dynamic_partition.end" = "2", "dynamic_partition.prefix" = "p", "dynamic_partition.replication_allocation" = "tag.location.default: 5", "dynamic_partition.buckets" = "10", "dynamic_partition.create_history_partition" = "true", "dynamic_partition.history_partition_num" = "-1", "dynamic_partition.hot_partition_num" = "0", "dynamic_partition.reserved_history_periods" = "NULL", "dynamic_partition.storage_policy" = "", "storage_medium" = "hdd", "storage_format" = "V2", "inverted_index_storage_format" = "V1", "compression" = "ZSTD", "light_schema_change" = "true", "disable_auto_compaction" = "false", "enable_single_replica_compaction" = "true", "group_commit_interval_ms" = "20000", "group_commit_data_bytes" = "655360000" );
CPU和stream load相关指标如下：


然后，我将该集群升级至3.0.5-rc01版本，用相同的数据进行stream load导入，
CPU和stream load相关指标如下：

可以看到，CPU使用率有明显的提升，想咨询下 3.0.5和2.1.6版本在数据导入上有什么改动会影响CPU吗，我查看了相关的release note没有找到相关的线索

[zicat]

将表的参数"group_commit_interval_ms" = "20000"调整成"group_commit_interval_ms" = "1000"
"group_commit_data_bytes" = "655360000"调整成 "group_commit_data_bytes" = "6553600" CPU有明显的回落（但还是稍高于低版本）
看上去在高版本攒批的数据越大，CPU使用率越高，而低版本没有这个现象

[zicat]

可能有问题的地方是这个代码，由于group_commit_interval_ms是20s，最坏情况下 CPU会有大量时间的空跑
@Gabriel39

[Andersuc]

master，已经做了代码修改

[Andersuc]

如果怀疑是这个地方的问题，在你场景可以加一个日志，看是不是get_block执行完成后，find_node false？就是没找到？
或者attach上去看是不是这个地方经常循环不出来，我看新版本好像执行一次，没有价值是没找到继续找。

[zicat]

The issue #51103

[zicat]

@Andersuc 我将代码做了简单的调整，每个循环里sleep 100ms，下图是CPU改动前后对比


应该就是这里的问题，如果master已经修掉了，那后续我在升级成新版本即可，我先临时sleep保证升级工作能够正常进行。