大数据系列-hadoop2集群环境搭建(一)

linux系统，两台虚机

hadoop-2.6.0.tar.gz为例讲解

环境准备：安装虚机两台，无需安装两个，装好一个后，直接clone另外一台即可；两台机器，master（192.168.126.128）、slave（192.168.126.129），两台机器使用Network Adapter使用net模式。创建两台机器无密码登录（启动时方便）# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys文件)：#cd ~/.ssh# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。完成后可以实现无密码登录本机：# ssh localhost。把主节点公钥信息id_dsa.pub 放到从节点（192.168.126.129）datanode的.ssh/authorized_keys中：#scp id_dsa.pub root@192.168.126.129:/root/.ssh ,没有目录创建即可。进入/root目录执行： # cat id_dsa.pub >> .ssh/authorized_keys  然后在主节点可无密码登录从节点机器。#ssh 192.168.126.129下载hadoop2.6.0稳定版本下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/#tar -xvf hadoop-2.6.0.tar.gz --解压缩文件安装jdk如果不会安装请参看：http://hi.baidu.com/haobaoipv6/item/4cb75325a08a5d0b76272c95注意：搭建hadoop1集群步骤    请访问 http://hi.baidu.com/haobaoipv6/item/d9a699fe3cefcc16ff35827b

关于hadoop2简单介绍：首先是主从结构，主节点可以有两个进程（ResourceManager）更好的HA高性能，从节点可以有多个（NodeManager），ResourceManager主要负责集群资源的分配和调度，NodeManager主要负责单节点管理datanade。MapReduce的框架和hadoop1一样，只有一个jobTracker、多个tasktracker,相信大家已经理解，这里不再解释。主要配置文件在/hadoop-2.6.0/etc/hadoop下：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml

#vi core-site.xml                        fs.defaultFS                hdfs://192.168.126.128:9000                                hadoop.tmp.dir                /usr/local/hadoop-2.6.0/tmp                            fs.trash.interval                 1440       

#vi yarn-site.xml                        yarn.nodemanager.aux-services                mapreduce_shuffle       

vi mapred-site.xml   这个文件需要copy一份            mapreduce.framework.name        yarn    #vi slaves 文件[root@localhost hadoop]# vi slaves 192.168.126.129保存把配置好的hadoop-2.6.0 copy到从节点机器相同目录下：#scp -rp hadoop-2.6.0 root@192.168.126.129:/usr/local/

启动--格式化bin/hdfs namenode -format

启动-yarnsbin/yarn-daemon.sh start resourcemanagersbin/yarn-daemon.sh start nodemanager可以打开 http://192.168.126.128:8088 表示成功。

启动--historyserver#sbin/mr-jobhistory-daemon.sh start historyserver可以打开  http://192.168.126.128:19888 表示成功。

上面步骤为了更加了解hadoop2各进程的作用，也可以用一下命令，一次启动。[root@localhost sbin]# ./start-all.sh