传统的ETL通常采用批处理的方式,一般来说是每天的夜间进行,当天的数据要到第二天才可以获得。随着数据仓库技术的逐步成熟,企业对数据仓库时间延迟的要求更高,希望达到零延迟,也就出现了实时ETL。

实时ETL指的是将业务数据源中产生的数据实时地抽取加载到数据仓库,为数据挖掘系统、OLAP联机分析处理、商务智能软件等提供更加有效的数据支持。

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

实时ETL的目标是在业务系统的数据发生变化后,以最少的延误保持数据仓库更新。

实时ETL常用的解决方案:

微批处理(MIcroBatch ETL)、企业应用集成(EAI)、CTF(Capture,Transform and Flow)、EII

 实时ETL 随笔 第1张

实时ETL 随笔 第2张

实时ETL 随笔 第3张

 

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄