1 同时运行5个Spark任务的资源分配截图

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

 CDH5.16.1的Yarn提交任务默认资源分配 随笔

 

2 每个任务占用3个Container 3个core以及4.5GB内存

也就是说一个Container需要 1个core 以及 512MB的内存

如果资源不够,可以提交任务时修改下内存分配,比如256MB,这样就可以提交更多的Spark任务到Yarn集群运行了。

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄