多语言展示
当前在线:1114今日阅读:167今日分享:16

怎样制作拉链表

拉链表制作过程步骤详解
方法/步骤
1

1、初始化拉链表(首次独立执行)

2

1)生成10条原始数据

3

2)建立拉链表

4

3)初始化拉链表

5

4)查询拉链表中数据

6

2、制作当日变动数据(包括新增,修改)每日执行1)如何获得每日变动表(1)最好表内有创建时间和变动时间(2)如果没有,可以利用第三方工具监控比如canal,监控MySQL的实时变化进行记录(麻烦)。(3)逐行对比前后两天的数据, 检查md5(concat(全部有可能变化的字段))是否相同((4)要求业务数据库提供变动流水

7

2)因为dwd_order_info本身导入过来就是新增变动明细的表,所以不用处理(1)2019-02-14日新增2条订单数据

8

(2)通过Sqoop把2019-02-14日所有数据导入

9

(3)ODS层数据导入

10

(4)DWD层数据导入

11

3、先合并变动信息,再追加新增信息,插入到临时表中1)建立临时表

12

2)导入脚本

13

4、把临时表覆盖给拉链表1)导入数据

14

2)查询导入数据

推荐信息