石杉老师讲要从以下几个方面去优化Spark的性能,其中Shuffle调优是重点。 

 

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

 Spark性能调优 随笔

下面是与调优相关的几篇不错的博客,以供参考

官网的调优 https://spark.apache.org/docs/latest/tuning.html

序列化 https://stackoverflow.com/questions/40261987/when-to-use-kryo-serialization-in-spark

shuffle调优 https://www.cnblogs.com/arachis/p/Spark_Shuffle.html

 

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄