多语言展示
当前在线:1628今日阅读:126今日分享:42

在服务器上搭建spark集群环境

集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术,主要应用在专业移动通信领域。该系统具有的可用信道可为系统的全体用户共用,具有自动选择信道功能,它是共享资源、分担费用、共用信道设备及服务的多用途、高效能的无线调度通信系统。
工具/原料
1

要集群的服务器

2

SecureCRT

方法/步骤
1

运行SecureCRT,连接上要集群的服务器,首先修改selinxu; 命令: vi /etc/selinux/config,将里面的SELINUX=enforcing修改为SELINUX=disabled

2

修改完selinux,然后关闭防火墙;命令:chkconfig iptables off

3

必须修改主机名HOSTNAME;命令:vi /etc/sysconfig/network修改HOSTNAME=spark+IP(例如:spark45)

4

运行命令:service httpd status,检查是否有安装httpd,若没有则可以从yum上安装;具体操作如下:首先先创建yum;命令: vi /etc/yum.repos.d/yum.repo[isoyum]name=isoyumbaseurl=ftp://10.235.136.2/pubenabled=1gpgcheck=0将上面的代码复制上去,保存(注意baseurl修改为自己的yum)

5

安装http、并设置启动;安装命令:yum install httpd开机启动命令:chkconfig httpd on

6

设置ssh免登陆;命令: scp root@10.235.136.5:/root/.ssh/authorized_keys /root/.ssh/测试10.235.136.5 ssh到各个节点免登陆(注把ip改成自己的服务器)至此,集群环境就搭建好了!

推荐信息