sqoop 想要导入数据到hive,创建mysql表并添加数据导入到hive即可,如果需要增加数据,用append方式为增量导入。下面小编为大家分享导入数据到hive的详细步骤。
工具/原料
1
hive版本:apache-hive-2.1.0
2
sqoop版本:sqoop-1.4.6
3
软件:MYSQL 8.0.15
方法/步骤
1
首先创建一个mysql表,并添加数据。
2
打开sql,前端插入的数据和赋值显示如下。
3
将mysql表数据全部导入hive,下图命令。
4
查看hive表数据,已经导入完毕。
5
成功导入之后,在HDFS的/soft/hive/warehouse/data可查看数据文件。
6
如果需要增加数据,可以用append方式导入增量,在mysql中再插入2条数据。
7
输入增量导入命令,--targrt-dir的值设置成hive表数据文件存储的路径。
8
导入之后查看hive数据,显示新增的数据4、数据5即导入成功。
注意事项
1
建议手动设置 --fields-terminated-by的值。
2
默认生成的hive表为内部表,可以更改默认保存路径。