大批量插入bitmap数据

[Jianing-Xu]

有一个user表，数据量1亿。现在想做基于性别，年龄的打标，把userId插入到另一张tag表(bitmap表 user_ids是bitmap类型)中。对这种从doris查，并需要写入另一张doris表的场景，设计了如下两种方案，更推荐哪种？为什么？

1. 查询后直接插入tag表
   insert into tag (id, user_ids)
   select bitmap_union(bid)
   from (select to_bitmap(id) bid
   from user
   where sex = 0) t;
2. routine load
   查询对应user_id，发送到kafka通过routine load再导入tag表

[Jianing-Xu]

数据量不大、任务数少的场景，推荐采用方案1。 如果数据量大且类似任务多，推荐采用方案2，防止doris崩溃，同时保证业务准确性