hive on spark 释放session资源

背景

启动hive时，可以看到2.0以后的版本，将要弃用mr引擎，官方建议使用spark，tez等引擎。

SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。

spark同时支持批式流式处理，可以减少学习成本。所以选用了spark作为执行引擎。

hive on spark 

SET hive.execution.engine = spark;

 

参数优化

使用hive on spark 默认只用2个container。任务处理时间过长，或者报oom，或code2可以尝试修改如下的参数。

如下：

set mapreduce.map.memory.mb = 8192;
set mapreduce.reduce.memory.mb = 8192;

 

释放session资源

默认使用spark引擎，session资源是不会释放的。

1. 使用hive -f 执行sql文件

需要在sql文件的最后一行，添加

!quit

2. 在hue界面

点击会话右面的设置，可以close资源

 

扫码关注我们

微信号：SRE实战

拒绝背锅 运筹帷幄