Hadoop2.5.2安装与配置

SSH

Hadoop2.5

Ubuntu14

VMware10

JDK1.7

一、SSH配置：1、首先在三台服务器上安装SSH，服务器IP地址为：192.168.217.128;  192.168.217.129;192.168.217.130sudo apt-get install openssh-server openssh-client

2、然后分别在三台服务器上执行以下命令，配置SSH免秘钥：$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys输入命令：ssh localhost第一次需要输入密码，然后再次输入:ssh localhost能无密码登陆，说明配置成功

3、手动复制ubuntu2,ubuntu3 ~/.ssh/id_dsa.pub 文件内容添加到ubuntu1的~/.ssh/authorized_keys 文件中；或者分别执行以下代码（注：zhou是用户名）：在ubuntu2中执行$ scp ~/.ssh/id_dsa.pub zhou@ubuntu1:~/.ssh/authorized_keys在ubuntu3中执行$ scp ~/.ssh/id_dsa.pub zhou@ubuntu1:~/.ssh/authorized_keys

4、将三台服务器中~/.ssh/authorized_keys 文件内容复制成完全相同；然后将三台服务器中文件authorized_keys权限设置为：chmod 600 authorized_keys测试ssh ubuntu1       ssh ubuntu2       ssh ubuntu3第一次需要密码，之后就能实现三台机器无密码访问。

二、java1.7安装配置1、执行：sudo apt-get install default-jdk2、修改/etc/environment文件如下：PATH='/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:$JAVA_HOME/bin'export JAVA_HOME=/usr/java/jdk1.7.0_79export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib3、测试：java -version

三、hadoop安装配置1、下载解压hadoop：$ wget http://www.trieuvan.com/apache/hadoop/common/hadoop-2.5.2/hadoop-2.5.2.tar.gz$ sudo tar -xzvf hadoop-2.5.2.tar.gz  -C /zhou/App

2、配置：etc/hadoop/core-site.xml        fs.defaultFS        hdfs://ubuntu1:9000                hadoop.tmp.dir        file:/home/yy/hadoop-2.5.2/tmp                io.file.buffer.size        131702   

3、配置etc/hadoop/hdfs-site.xml        dfs.namenode.name.dir        /home/zhou/hadoop-2.5.2/dfs/name                dfs.datanode.data.dir        /home/zhou/hadoop-2.5.2/dfs/data                dfs.replication        2                dfs.namenode.secondary.http-address        ubuntu1:9001        dfs.webhdfs.enabledtrue   

4、配置etc/hadoop/mapred-site.xml        mapreduce.framework.name        yarn                mapreduce.jobhistory.address        ubuntu1:10020                mapreduce.jobhistory.webapp.address        ubuntu1:19888   

5、配置etc/hadoop/yarn-site.xml        yarn.nodemanager.aux-services        mapreduce_shuffle                yarn.nodemanager.auxservices.mapreduce.shuffle.class        org.apache.hadoop.mapred.ShuffleHandler                yarn.resourcemanager.address        ubuntu1:8032                yarn.resourcemanager.scheduler.address        ubuntu1:8030                yarn.resourcemanager.resource-tracker.address        ubuntu1:8031                yarn.resourcemanager.admin.address        ubuntu1:8033                yarn.resourcemanager.webapp.address        ubuntu1:8088                yarn.nodemanager.resource.memory-mb        768   

6、配置etc/hadoop/salvesubuntu2ubuntu3

7、将ubuntu1中hadoop整个目录复制到ubunt2/ubunt3相同目录下，必须保证三个服务器路径配置完全一致

8、配置.bashrc文件    sudo gedit ~/.bashrc        该命令会打开该文件的编辑窗口，在文件末尾追加下面内容，然后保存，关闭编辑窗口。#HADOOP VARIABLES STARTexport JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64export HADOOP_INSTALL=/zhou/App/hadoopexport PATH=$PATH:$HADOOP_INSTALL/binexport PATH=$PATH:$HADOOP_INSTALL/sbinexport HADOOP_MAPRED_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_HOME=$HADOOP_INSTALLexport HADOOP_HDFS_HOME=$HADOOP_INSTALLexport YARN_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/nativeexport HADOOP_OPTS='-Djava.library.path=$HADOOP_INSTALL/lib'#HADOOP VARIABLES END

8、sbin目录下执行 ./start-all.sh 访问http://localhost:50070/，到此安装配置成功。