拉链表制作过程步骤详解
方法/步骤
1
1、初始化拉链表(首次独立执行)
2
1)生成10条原始数据
3
2)建立拉链表
4
3)初始化拉链表
5
4)查询拉链表中数据
6
2、制作当日变动数据(包括新增,修改)每日执行1)如何获得每日变动表(1)最好表内有创建时间和变动时间(2)如果没有,可以利用第三方工具监控比如canal,监控MySQL的实时变化进行记录(麻烦)。(3)逐行对比前后两天的数据, 检查md5(concat(全部有可能变化的字段))是否相同((4)要求业务数据库提供变动流水
7
2)因为dwd_order_info本身导入过来就是新增变动明细的表,所以不用处理(1)2019-02-14日新增2条订单数据
8
(2)通过Sqoop把2019-02-14日所有数据导入
9
(3)ODS层数据导入
10
(4)DWD层数据导入
11
3、先合并变动信息,再追加新增信息,插入到临时表中1)建立临时表
12
2)导入脚本
13
4、把临时表覆盖给拉链表1)导入数据
14
2)查询导入数据