hadoop2.8安装教程

centos7中handoop2.8集群安装手记。hadoop2.8 安装教程、hadoop安装。

工具/原料

Hadoop部署准备本地vmware安装 Linux系统家族中 centos7

Java对应版本1.8.0_121

Hadoop版本2.8.0

1.基本配置

首先安装一个centos7并配置好javaJava环境配置我的java安装地址 /usr/java/ jdk1.8.0_121 编辑java环境 vi ~/.bash_profile添加或修改export JAVA_HOME=/usr/java/jdk1.8.0_121export PATH=$JAVA_HOME/bin:$PATH执行 . ~/.bash_profile 使变量生效

2.ssh配置

先 yum install ssh 安装然后执行ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa生成密匙END

3.hadoop配置

把下载好的hadoop解压出来。（我的地址在/roo目录,即完整地址/root/hadoop）配置环境变量vi ~/.bash_profileexport HADOOP_HOME=/root/hadoopexport PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin执行 . ~/.bash_profile 使变量生效

4.hadoop文件配置

vim etc/hadoop/core-site.xml 在中加入 fs.defaultFS hdfs://s204:9000 hadoop.tmp.dir file:/root/hadoop/tmp io.file.buffer.size 131702 hadoop.proxyuser.hadoop.hosts * hadoop.proxyuser.hadoop.groups *

vim etc/hadoop/hdfs-site.xml在中加入 dfs.namenode.name.dir file:/root/hadoop/hdfs/name dfs.datanode.data.dir file:/root/hadoop/hdfs/data dfs.replication 3 dfs.namenode.secondary.http-address s204:9001 dfs.webhdfs.enabledtrue

vim etc/hadoop/mapred-site.xml在中加入 mapreduce.framework.name yarn mapreduce.jobhistory.address s204:10020 mapreduce.jobhistory.webapp.address s204:19888

vim etc/hadoop/yarn-site.xml在中加入 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address s204:8032 yarn.resourcemanager.scheduler.address s204:8030 yarn.resourcemanager.resource-tracker.address s204:8031 yarn.resourcemanager.admin.address s204:8033 yarn.resourcemanager.webapp.address s204:8088 yarn.nodemanager.resource.memory-mb 6078

vim etc/hadoop/yarn-env.sh 中找到 export JAVA_HOME 去掉注释编辑java地址 export JAVA_HOME=/usr/java/jdk1.8.0_121 找到JAVA_HEAP_MAX=-Xmx1000m改为 JAVA_HEAP_MAX=-Xmx1024m

vim etc/hadoop/slaves 清空添加 s204

网络配置

我这ip是 192.168.5.9 编辑网络固定ipvim /etc/sysconfig/network-scripts/ifcfg-ens33 指定固定ip TYPE='Ethernet'#BOOTPROTO='dhcp'DEFROUTE='yes'PEERDNS='yes'PEERROUTES='yes'IPV4_FAILURE_FATAL='no'IPV6INIT='yes'IPV6_AUTOCONF='yes'IPV6_DEFROUTE='yes'IPV6_PEERDNS='yes'IPV6_PEERROUTES='yes'IPV6_FAILURE_FATAL='no'IPV6_ADDR_GEN_MODE='stable-privacy'NAME='ens33'UUID='b9fe1e5c-be20-47f1-a2d3-e12f5ddb6aa1'DEVICE='ens33'ONBOOT='yes'IPADDR0=192.168.5.9PREFIX0=24GATEWAY0=192.168.5.2DNS1=114.114.114.114 然后重启网络 systemctl restart network 执行 ip add 查看网络ip是否和设定的一致

Hadopp启动

进入/root/hadoop目录执行编译./bin/hdfs namenode –format 结果倒数第五行出现Exiting with status 0 则为成功然后启动./sbin/start-all.sh 启动完毕执行./bin/hdfs dfsadmin –report 查看是否有节点如果返回无法连接则为启动失败执行systemctl stop firewalld.service关闭防火墙在浏览器输入s204:8088则可以看到hadoop界面

其他节点配置

以上配置完毕后，关闭centos7然后完全克隆，在新克隆的系统中，更改ip地址和主机名其中hadoop配置文件etc/hadoop/hdfs-site.xml 中 dfs.datanode.data.dir file:/root/hadoop/hdfs/data 的file地址不能一样。我这边三个地址分别为file:/root/hadoop/hdfs/datafile:/root/hadoop/hdfs/data/205file:/root/hadoop/hdfs/data/206 克隆完毕，配置文件和ip、主机名修改好后。在s204机器中编辑vim etc/hadoop/slaves加入s205s206复制ssh令牌免密登录例如复制到s205scp ~/.ssh/authorized_keys root@s205:~/.ssh/其他机器也一样操作另外连个机器也要编译一下然后在s204停止hadoop ./sbin/stop-all.sh 再次启动./sbin/start-all.sh 在浏览器就可以看到三个节点。

上一篇：消逝的光芒2怎么完成空投地点行动

下一篇：英雄联盟手游超级红包活动入口位置一览

欧尼酱

hadoop2.8安装教程

鱼肝油和DHA有啥不一样？