Spark性能调优

Spark 性能调优的第一点是增加和分配更多点资源,性能和速度是比较明显的.如果无法分配更多的资源,只能选择软件调优

1.分配那些资源? 2.在哪里分配资源 3.为什么分配资源,性能提升

1.分配那些资源 ?executor 、 cpu core per executor、memory per executor 2.在哪里分配? 在生成环境中,提交spark作业,用的 spark-submit shell 脚本 调整对应的参数 /bin/spark-submit
--class com.ltz.spark.userSessionCluster
--num-executors 3
--driver-memory 100m
--executor-memory 100m
--executor-cores 3
~/app/work/spark/home/SparkTest.jar
3.调节到多大,算是最大 第一种,spark standalone ,公司集群上,搭建了一套spark集群,大概多少能给你使用的内存,cpu core, 设置根据情况, 第二种 yarn资源队列,查看spark作业要提交的资源队列,大概有多少资源 500g内存 100core , 使用 executor 50 10g 2 core 4.调整了之后 性能提升.