Spark yarn client模式网卡流量激增

spark-yarn client模式提交任务, driver负责所有executor以及task,stage,shuffle结果的监控、调度, 如果有100个executor,stage10个,task有1000个,每个stage运行的时候,都有1000个task,提交到executor上运行、 平均一个executor有10个task运行,问题出现在,driver频繁跟executor的1000个task通信,这个stage结束,又来新的stage, 导致流量激增,

解决

yarn-client只会使用在测试环境中,yarn-client可以在本地详细观察全面的log,解决些线上报错,观察,性能调优.

实际生成都用yarn-cluster模式提交,yarn集群某个机器启动 而不是本地机器运行driver