安装Spark2.1页面操作步骤详解
方法/步骤
1
1、更新Parcel在cm首页点击Parcel,再点击检查新Parcel
2
2 、点击分配
3
3、 点击激活
4
4、 回到首页点击添加服务
5
5、点击spark2继续
6
6、 选择一组依赖关系
7
7、 角色分配
8
8、 部署并启动
9
注意:这里我报了一个错:客户端配置 (id=12) 已使用 1 退出,而预期值为 01)问题原因:最后找到原因是因为CM安装Spark不会去环境变量去找Java,需要将Java路径添加到CM配置文件
10
2)解决方法1(需要重启cdh):
11
在文件最后加上JAVA_HOME= /opt/module/jdk1.8.0_144export JAVA_HOME= /opt/module/jdk1.8.0_1443)解决方法2(无需重启cdh):查看/opt/module/cm/cm-5.12.1/lib64/cmf/service/common/cloudera-config.sh找到java8的home目录
12
cdh不会使用系统默认的JAVA_HOME环境变量,而是依照bigtop进行管理,因此我们需要在指定的/usr/java/jdk1.8目录下安装jdk。当然我们已经在/opt/module/jdk1.8.0_144下安装了jdk,因此创建一个连接过去即可
13
3)解决方法3(需要重启cdh):找到hadoop102、hadoop103、hadoop104三台机器的配置,配置java主目录
14
9 、命令行查看命令
上一篇:怎样安装spark
下一篇:spark如何防止内存溢出