2019-04-23 10:54:00

问题：

SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。

　　set.hive.groupby.skewindata=true;存在一定的局限性

问题分析：

　　skewindata配置真正起作用，有以下三种情况：

　　　　1、select count distinct ... from ...

　　　　2、select a,count(*) from .... group by a

　　　　3、select count(*),count(distinct ....) from

hive.groupby.skewindata就是根据distinct/non-distinct的选择，直接将mode从mergepartitial设置成对应的确定形式，但是当distinct和non-distinct同时存在时，选择就会出问题

图表对比：

set.hive.groupby.skewindata=true专讲 随笔 第1张

UDAF相关mode解释

set.hive.groupby.skewindata=true专讲 随笔 第2张

set.hive.groupby.skewindata=true专讲 随笔 第3张

 

扫码关注我们
微信号：SRE实战
拒绝背锅 运筹帷幄