spark3.x的安装
- 背景
有些临时出的littleboy的新的rpm包,可能会依赖spark3.x版本
1.先通过 lava 页面安装 spark2.x
2.备份 conf 文件 -- 每个节点都执行
mkdir /spark-conf
cp /usr/hdp/2.5.3.0-37/spark/conf/* /spark-conf/
3.手动卸载 spark2.x -- 每个节点都执行
yum remove spark-master spark-worker
4.手动杀掉 spark 的所有进程 -- 每个节点都执行
ps -ef | grep spark | grep -v grep | awk '{print $2}' | xargs kill -9
5.替换 yum 源的 spark 为 3.x
-- rpm包下载地址
http://yumazure.oushu-tech.com:12000/oushurepo/yumrepo/test/spark/centos7/3.1.2/spark-3.1.2-38863.el7.x86_64.rpm
-- 手动createrepo .
-- 手动修改文件目录所有者所属组以及权限
-- 手动修改repo文件
6.手动安装 3.x 的 spark -- 每个节点都执行
yum install spark -y
-- 这是安装好3.x的spark路径 /usr/local/spark
7.再把之前备份的 conf 恢复到新装的 spark312 里 -- 每个节点都执行
rm -rf /usr/local/spark/conf/*
cp /spark-conf/* /usr/local/spark/conf/
8.在 spark 的 master 的 active 节点,用 spark 用户手动启动 spark 集群
su - spark
/usr/local/spark/sbin/start-all.sh
9.在 spark 的 master 的 standby 节点手动启动即可
su - spark
/usr/local/spark/sbin/start-master.sh
10.升级后续
升级完成后,对于littleboy建模平台已经配置的用户资源,需要删除,重新分配