今天小编记录一下使用Hadoop上的MapReduce,尽管小编还没有完全理解MapReduce,所以这里先记录一下整体的步骤。
工具/原料
电脑一台
方法/步骤
1
下图是小编后面需要在MapReduce中使用的代码,如下图:
2
然后打开Hadoop集群,打开主机master的终端,输入【ifconfig】命令查看主机IP地址,如下图:
3
使用SecureCRT软件连接到Hadoop集群的主机,如下图:
4
首先进入到hadoop目录下的bin目录下,因为要将代码文件上传到这个目录下,所以先要打开这个目录,然后输入【rz】命令准备上传代码文件,如下图:
5
选中已经写好的两个代码文件,然后点击【添加】,然后点击【确定】开始文件的上传,如下图:
6
在软件中观察上传进度,上传成功之后就是下图中的显示,如下图:
7
然后输入【dir】命令查看系统中的上传结果,可以看到在当前的bin目录下已经上传成功这两个代码文件,如下图:
8
然后进入到hadoop集群的master主机中的终端中,进入到hadoop目录下的bin目录下,然后输入【./start-all.sh】目录启动hadoop,如下图:
9
然后输入命令【jps】命令查看是否启动hadoop成功,当结果和下图中结果类似时,包含这4个进程时,说明启动hadoop成功,如下图:
10
然后输入【./hadoop fs -ls】命令查看hadoop的文件系统,如下图:
11
然后输入下图中命令测试我们上传的两个代码文件,如下图:
12
下图中的实验结果表示两个代码文件成功执行,如下图:
13
然后使用【./hadoop fs -put start-all.sh /bigdata/】命令,将两个代码文件上传到hadoop文件系统中,如下图:
14
上传命令执行如下图:
15
然后输入下图中的命令,开始进行mapreduce,如下图:
16
运行结果如下图:
注意事项
1
个人观点,仅供参考。
2
感谢阅读。
上一篇:创维高清机顶盒中学习键的使用方法
下一篇:机顶盒学习型遥控器怎么设置