多语言展示
当前在线:600今日阅读:113今日分享:31

如何在hapdoop分布式环境中安装pig

hadoop作为热门的技术越来越受到重视,但是对于传统系统管理员和DBA而言,java是个很让人晕菜的东西,因此hadoop就出现了很多帮助这些人的子项目,比如pig,可以让传统管理员用类似传统角本的方式来完成map-reduce工作。
工具/原料
1

hardoop已安装,并启动

2

hapdoop0.20.2版本

方法/步骤
2

在download页面有两个分支,一个指向0.8版本之前,一个为0.8版本以后,安装新一点的喽。之前再选择本站或镜像站点,就进入了如果的FTP目录清单界面,选择相应版本下载。

3

如果要下载0.8版本以后,0.13版本之前的软件,需要选择上图上方的archives,点击进入后就会列出所有之前的版本,进入相应版本目录进行下载,针对linux有源码包和rpm安装包,建议下源码包,不需要编译,还可以控制安装的目录。

4

下面就是用rz命令把下载的包搞到linux的机器上,当然也可以用wget命令直接在设备上下载上述包,如 wget  http://archive.apache.org/dist/pig/pig-0.9.2/pig-0.9.2.tar.gz

5

到下载目录找到该文件,下一步就解决源码文件了,使用tar -zxvf pig-0.9.2.tar.gz解包,注意不要用root用户呵,提前先切换到为hadoop的用户,如下图所示,出现一类文件解压显示后就OK了。

6

pig安装完成,下面要修改一些配置文件才能启动,首先要改的是用户登录文件,增加一些环境变量,用户环境文件根据linux版本和登录shell的不同有所差异,可以ls -la命令查看,注意一般为.bash_pfofile,直接用ls无法列出。

7

如下图的红字部分,主要修改为增加hadoop和pig的执行文件搜索目录,增加java和hadoop的配置目录,其中java目录可以参考hadoop中hadoop.env文件中的java_home。

8

保存退出后,还需要将刚才的用户logout一次,在shell下使用logout或exit命令都可以达到这个效果,然后再用刚才的hadoop环境用户登录以使环境文件生效,如下图。

9

最后再对环境hosts文件作一次检查,位于/etc/目录下,集群内的设备都应该列在文件中,格式为一个IP对应一台设备,不过hadoop能正常启动的话,这个文件基本是正确的。

10

OK,全部安装完成,相关配置文件也都修改好了,现在就可以正常启动,由于增加了pig执行文件的目录搜索,在shell直接执行pig命令就可以启动,出现grunt>的提示就代表系统启动成功

11

如果要退出可以在grunt模式下键入quit即可退出pig。如果装个pig只想单机测试下就更简单了,只要在环境文件中增加执行搜索目录和java的执行目录,用pig -x local启动即可。

注意事项

有用就投票点赞支持下呗

推荐信息