多语言展示
当前在线:1030今日阅读:126今日分享:42

大数据系列-hadoop2分布式文件系统HDFS2(二)

本次主要讲解分布式文件系统HDFS2的常用命令使用:如果环境没有搭建,请参看:http://jingyan.baidu.com/article/e4d08ffdb3aa090fd2f60df3.html
工具/原料
1

搭建好hadoop2集群环境

2

SecureCRT客户端

方法/步骤
1

appendToFile #hdfs dfs -appendToFile ... --追加一个或者多个文件到hdfs制定文件中.也可以从命令行读取输入.例子:#hdfs dfs -appendToFile file1 /user/hadoop/file4#hdfs dfs -appendToFile file2 file3 /user/hadoop/file4  --上传多个#hdfs dfs -appendToFile - /user/hadoop/file4   --表示直接用命令追加

2

cat #hdfs dfs -cat URI [URI ...]--查看文件内容例子: #hdfs dfs -cat /user/hadoop/file4

3

chgrp #hdfs dfs -chgrp [-R] GROUP URI [URI ...]--修改文件所属组-R表示递归

4

chmod#hdfs dfs -chmod [-R] URI [URI ...]--修改文件权限

5

chown#hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]--修改文件所有者,文件所属组,其他用户的读、写、执行权限

6

copyFromLocal#hdfs dfs -copyFromLocal URI--复制文件到hdfs

7

copyToLocal#hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI --复制文件到本地

8

count#hdfs dfs -count [-q] --统计文件及文件夹数目例子:#hdfs dfs -count  /  --查看文件系统默认根目录#hdfs dfs -count -q /

9

cp#hdfs dfs -cp [-f] URI [URI ...] --Hadoop HDFS 文件系统间的文件复制例子:#hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file5

10

du#hdfs dfs -du [-s] [-h] URI [URI ...]--统计目录下的文件及大小

11

dus#hdfs dfs -dus --汇总目录下的文件总大小

12

expunge#hdfs dfs -expunge--清空回收站,文件被删除时,它首先会移到临时目录.Trash/中,当超过延迟时间之后,文件才会被永久删除

13

get#hdfs dfs -get [-ignorecrc] [-crc] --下载文件到本地

14

#hdfs dfs -getfacl [-R] --查看ACL (访问权限组拥有者)

15

getmerge#hdfs dfs -getmerge [addnl]--合并下载文件到本地

16

ls#hdfs dfs -ls --查看目录

17

lsr#hdfs dfs -lsr --循环列出目录、子目录及文件信息

18

mkdir#hdfs dfs -mkdir [-p] --创建空白文件夹

19

moveFromLocal#dfs -moveFromLocal --剪切文件到hdfs

20

moveToLocal#hdfs dfs -moveToLocal [-crc] --剪切文件到本地

21

mv#hdfs dfs -mv URI [URI ...]  --剪切hdfs文件

22

put#hdfs dfs -put ... --上传文件

23

rm#hdfs dfs -rm [-skipTrash] URI [URI ...] --删除文件/空白文件夹

24

rmr#hdfs dfs -rmr [-skipTrash] URI [URI ...]--递归删除  删除文件及文件夹下的所有文件

25

setfacl #hdfs dfs -setfacl [-R] [-b|-k -m|-x ]|[--set ]--设置mapred用户只读例子:#hdfs dfs -setfacl -m user:mapred:r-- /input/acl#hdfs dfs -getfacl /input/acl#hdfs dfs -setfacl -m user:hadoop:rw- /file#hdfs dfs -setfacl -x user:hadoop /file#hdfs dfs -setfacl -b /file#hdfs dfs -setfacl -k /dir#hdfs dfs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file#hdfs dfs -setfacl -R -m user:hadoop:r-x /dir#hdfs dfs -setfacl -m default:user:hadoop:r-x /dir

26

setrep#hdfs dfs -setrep [-R] [-w] --修改副本数

27

stathdfs dfs -stat URI [URI ...]--显示文件统计信息

28

tail#hdfs dfs -tail [-f] URI--查看文件尾部信息

29

test#hdfs dfs -test -[ezd] URI--对PATH进行如下类型的检查: -e PATH是否存在,如果PATH存在,返回0,否则返回1 -z 文件是否为空,如果长度为0,返回0,否则返回1 -d 是否为目录,如果PATH为目录,返回0,否则返回1

30

text#hdfs dfs -text --查看文件内容

31

touchz#hdfs dfs -touchz URI [URI ...]--创建长度为0的空文件

推荐信息