# 注意事项:

-> Spark-SQL使用JDBC读取表, 默认使用一个executor去读, 如果转成并发, 需要设置分区索引去读;

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

 

 

1. 创建parquet存储表

CREATE TABLE IF NOT EXISTS bi_orginal.`param_code_dcs` (
`CODE_ID` string COMMENT 'CODE ID',
`TYPE` string COMMENT 'CODE类型',
`TYPE_NAME` string COMMENT 'CODE类型中文说明',
`CODE_DESC` string COMMENT 'CODE ID中文说明',
`NUM` string ,
`update_time` string
)
comment 'param_code_dcs'
STORED AS parquet

 

 

2.  向表中插入数据


insert overwrite table bi_orginal.`param_code_dcs`
SELECT CODE_ID, TYPE, TYPE_NAME, CODE_DESC, NUM, from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss') FROM artemisdcs.d_f_artemisdcs_tc_code_dcs

 

 

3.  Hive中的union

SELECT * from (
SELECT sso_id from bi_orginal.som_so_user
UNION ALL
SELECT sso_id from bi_orginal.som_so_user
)t LIMIT 5

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄