多语言展示
当前在线:1574今日阅读:91今日分享:37

如何在 CentOS 上安装 Apache Hadoop

Apache Hadoop 软件库是一个框架,它允许使用简单的编程模型在计算机集群上对大型数据集进行分布式处理。Apache™ Hadoop® 是可靠、可扩展、分布式计算的开源软件,下面就和小编看一下如何安装。
工具/原料

Centos7系统

方法1安装JDK环境
1

在安装 hadoop 前,请确保你的系统上安装了 Java。使用此命令检查已安装 Java 的版本,下图说明没有安装java

2

要安装java,需要从 Oracle 官方网站下载最新版本的 java用命令:wget 如下图

3

需要设置使用更新版本的 Java 作为替代。使用以下命令来执行此操作。

4

现在你可能还需要使用 alternatives 命令设置 javac 和 jar 命令路径:alternatives --install /usr/bin/jar jar /opt/jdk1.7.0_79/bin/jar 2alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_79/bin/javac 2alternatives --set jar /opt/jdk1.7.0_79/bin/jaralternatives --set javac /opt/jdk1.7.0_79/bin/javac

5

下一步是配置环境变量。使用以下命令正确设置这些变量。设置 JAVA_HOME 、JRE_HOME 、PATH 如图

方法2安装 Apache Hadoop
1

创建用于 hadoop 安装的系统用户帐户,命令useradd hadoop passwd hadoop

2

现在从官方网站 hadoop 下载 hadoop 最新的可用版本

3

下一步是设置 hadoop 使用的环境变量。编辑 ~/.bashrc,并在文件末尾添加以下这些值export HADOOP_HOME=/home/hadoop/hadoopexport HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

4

编辑 $HADOOP_HOME/etc/hadoop/hadoop-env.sh 并设置 JAVA_HOME 环境变量。export JAVA_HOME=/opt/jdk1.7.0_79/

5

首先编辑 hadoop 配置文件并进行以下更改core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml

6

cd /home/hadoop/hadoop/sbin/start-dfs.shstart-yarn.sh启动完成如下图所示

推荐信息