spark3.x的安装

• 背景

 有些临时出的littleboy的新的rpm包,可能会依赖spark3.x版本

1.先通过 lava 页面安装 spark2.x
2.备份 conf 文件 -- 每个节点都执行

mkdir /spark-conf
cp /usr/hdp/2.5.3.0-37/spark/conf/* /spark-conf/

3.手动卸载 spark2.x -- 每个节点都执行

yum remove spark-master spark-worker

4.手动杀掉 spark 的所有进程 -- 每个节点都执行

ps -ef | grep spark | grep -v grep | awk '{print $2}' | xargs kill -9

5.替换 yum 源的 spark 为 3.x

-- rpm包下载地址
http://yumazure.oushu-tech.com:12000/oushurepo/yumrepo/test/spark/centos7/3.1.2/spark-3.1.2-38863.el7.x86_64.rpm
-- 手动createrepo .
-- 手动修改文件目录所有者所属组以及权限
-- 手动修改repo文件

6.手动安装 3.x 的 spark -- 每个节点都执行

yum install spark -y
-- 这是安装好3.x的spark路径 /usr/local/spark

7.再把之前备份的 conf 恢复到新装的 spark312 里 -- 每个节点都执行

rm -rf /usr/local/spark/conf/*
cp /spark-conf/* /usr/local/spark/conf/

8.在 spark 的 master 的 active 节点，用 spark 用户手动启动 spark 集群

su - spark
/usr/local/spark/sbin/start-all.sh

9.在 spark 的 master 的 standby 节点手动启动即可

su - spark
/usr/local/spark/sbin/start-master.sh

10.升级后续

升级完成后,对于littleboy建模平台已经配置的用户资源,需要删除,重新分配