多语言展示
当前在线:1660今日阅读:57今日分享:41

Sgoop如何实现增量导入

sqoop使用hsql来存储job信息,开启metastor service将job信息共享,所有node上的sqoop都可以运行同一个job
方法/步骤
1

sqoop的配置文件在sqoop.site.xml中:      sqoop.metastore.server.location         本地存储路径,默认在tmp下,改为其他路径

2

sqoop.metastore.server.port           metastore service端口号

3

sqoop.metastore.client.autoconnect.url         sqoop自动连接的metastore地址,默认是本地的metastore地址

4

sqoop.metastore.client.enable.autoconnect        开启自动连接。sqoop默认连接本地metastore。注释这个配置会开启自动连接。

5

开启metastore service    sqoop下,nohup bin/sqoop metastore 三、创建job sqoop支持两种增量导入模式,  一种是 append,即通过指定一个递增的列

6

比如: --incremental append  --check-column num_iid --last-value 0 varchar类型的check字段也可以通过这种方式增量导入(ID为varchar类型的递增数字)

推荐信息