【v3/v4】主机信息采集优化

[elizabevil]

背景

• 当前主机信息下发与采集为黑盒状态，日志打印出没有覆盖全

  • 问题排查链路较长 agent-gse-redis-cmdb
  • redis链路问题复现不可控（实时触发）

• 监控平台需求监控服务详细的运行情况，需要将其转变为白盒状态，提供api 接口等可观测手段

需求

• 调整代码实现将功能由黑盒状态转为白盒可观测
• 提供Api供上层监控使用

问题

当采集数据量过大时，如何妥善处理庞大的采集日志数据？