1、虚拟机准备克隆三台虚拟机(hadoop102、hadoop103、hadoop104),配置好对应主机的网络IP、主机名称、关闭防火墙。设置hadoop102、hadoop103、hadoop104的主机对应内存分别是:10G、2G、2G
2、 SSH免密登录配置hadoop102对hadoop102、hadoop103、hadoop104三台服务器免密登录。1)生成公钥和私钥:
然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)2)将公钥拷贝到要免密登录的目标机器上
3、集群同步脚本1)在/root目录下创建bin目录,并在bin目录下创建文件xsync,文件内容如下:
在该文件中编写如下代码
2)修改脚本 xsync 具有执行权限
4、安装JDK(三台)1)在hadoop102的/opt目录下创建module和software文件夹
2)用SecureCRT将jdk-8u144-linux-x64.tar.gz导入到hadoop102的/opt/software目录下
3)在Linux系统下的opt目录中查看软件包是否导入成功
4)解压JDK到/opt/module目录下,并修改文件的所有者和所有者组为root
5)配置JDK环境变量 (1)打开/etc/profile文件
在profile文件末尾添加JDK路径
(2)让修改后的文件生效
6)测试JDK是否安装成功
7)将hadoop102中的JDK和环境变量分发到hadoop103、hadoop104两台主机
5、集群整体操作脚本 1)在/root/bin目录下创建脚本xcall.sh
2)在脚本中编写如下内容
3)修改脚本执行权限
4)将/etc/profile文件追加到~/.bashrc后面
5)测试
6、安装MySQL注意:一定要用root用户操作如下步骤;先卸载MySQL再安装1)安装包准备(1)查看MySQL是否安装
(2)如果安装了MySQL,就先卸载
(3)上传mysql-libs.zip到hadoop102的/opt/software目录,并解压文件到当前目录
(4)进入到mysql-libs文件夹下
2)安装MySQL服务器(1)安装MySQL服务端
(2)查看产生的随机密码
(3)查看MySQL状态
(4)启动MySQL
3)安装MySQL客户端(1)安装MySQL客户端
(2)链接MySQL
(3)修改密码
(4)退出MySQL
4)MySQL中user表中主机配置配置只要是root用户+密码,在任何主机上都能登录MySQL数据库。(1)进入MySQ
(2)显示数据库
(3)使用MySQL数据库
(4)展示MySQL数据库中的所有表
(5)展示user表的结构
(6)查询user表
(7)修改user表,把Host表内容修改为%
(8)删除root用户的其他host
(9)刷新
(10)退出
7、 创建CM用的数据库在MySQL中依次创建监控数据库、Hive数据库、Oozie数据库、Hue数据库1)启动数据库
2)集群监控数据库
3)Hive数据库
4)Oozie数据库
5)Hue数据库
6)关闭数据库
8、 关闭SELINUX安全增强型Linux(Security-Enhanced Linux)简称SELinux,它是一个 Linux 内核模块,也是Linux的一个安全子系统。SELinux的结构及配置非常复杂,所以为了避免出现各种错误,建议关闭,有如下两种关闭方法:1)临时关闭:
但是这种方式只对当次启动有效,重启机器后会失效,建议使用第二种方式。2)永久关闭修改配置文件/etc/selinux/config
将SELINUX=enforcing 改为SELINUX=disabled
3)同步/etc/selinux/config配置文件
4)重启hadoop102、hadoop103、hadoop104主机
9、下载第三方依赖依次在三台节点(所有Agent的节点)上执行下载第三方依赖