Kylin V10 x86 操作系统下 OushuDB 安装部署

环境准备

# 所有节点（管理节点+数据节点）挂载数据盘（选做）
mkdir -p /data1
fdisk -l
mkfs.ext4 /dev/sdb
mount /dev/sdb /data1

# 所有节点（管理节点+数据节点）关闭防火墙等访问策略
sed -i 's/PasswordAuthentication no/PasswordAuthentication yes/g' /etc/ssh/sshd_config & service sshd restart

sed -i "s/^SELINUX\=enforcing/SELINUX\=disabled/g" /etc/selinux/config
setenforce 0

systemctl stop firewalld
systemctl disable firewalld

# 所有节点（管理节点+数据节点）手动配置ntp服务(采用统一ntp服务器)

# 所有节点（管理节点+数据节点）从系统镜像下载依赖
yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
yum install -y lsof
yum install -y net-tools

# 管理平台master节点下载并开启httpd服务
yum install -y httpd
systemctl start httpd

# 所有节点（管理节点+数据节点）创建管理软件用户
userdel oushu
useradd oushu -d /home/oushu

Kylin v10 系统安装前特殊准备

Kylin v10 环境处理

# 所有节点（管理节点+数据节点）执行
echo "umask 022" >> /etc/profile
source /etc/profile
修改 /etc/bashrc 
umask 0077改为umask 022

# 添加版本信息并修改文件权限
vi /etc/redhat-release
CentOS Linux release 7.4.1708 (Core)
chmod 644 /etc/redhat-release

Kylin v10 软件包依赖缺失处理

# 所有节点（管理节点+数据节点）建立依赖包软链接
ln -s /lib64/libreadline.so.7.0 /lib64/libreadline.so.6
ln -s /lib64/libnsl.so.2.0.0 /lib64/libnsl.so.1

# 上传安装包oushu-software-full-4.6.0.2-rhel7-x86_64.tar.gz到两台管理节点的/目录
cd /
tar zxvf oushu-software-full-4.6.0.2-rhel7-x86_64.tar.gz

# 两台管理节点添加缺失依赖包
mkdir openssl
cd openssl
rpm2cpio /oushu-software-full-4.6.0.2/hadoop-utils-73/openssl/openssl-libs-1.0.1e-60.el7.x86_64.rpm |cpio -div
cp usr/lib64/libssl.so.1.0.1e /usr/lib64/libssl.so.1.0.1e
cp usr/lib64/libcrypto.so.1.0.1e /usr/lib64/libcrypto.so.1.0.1e
ln -s /usr/lib64/libssl.so.1.0.1e /usr/lib64/libssl.so.10
ln -s /usr/lib64/libcrypto.so.1.0.1e /usr/lib64/libcrypto.so.10

rpm -Uvh --nodeps /oushu-software-full-4.6.0.2/lava-util/pgsql/postgresql95-9.5.13-1PGDG.rhel7.x86_64.rpm
rpm -Uvh --nodeps /oushu-software-full-4.6.0.2/lava-util/pgsql/postgresql95-server-9.5.13-1PGDG.rhel7.x86_64.rpm
rpm -Uvh --nodeps /oushu-software-full-4.6.0.2/lava-util/pgsql/postgresql95-libs-9.5.13-1PGDG.rhel7.x86_64.rpm
rpm -Uvh --nodeps /oushu-software-full-4.6.0.2/lava-util/pgsql/postgresql95-contrib-9.5.13-1PGDG.rhel7.x86_64.rpm

# 两台管理节点安装脚本修改
yum install lava-cloud -y
修改：/usr/local/oushu/lava-cloud/sbin/lava 中
initdb,pg_ctl,psql为绝对路径

环境准备完成后，执行安装管理平台脚本

sh /oushu-software-full-4.6.0.2/setup.sh 

Web 部署

管理平台安装完成，页面上登录

https://ip:443
oushu lavaadmin

1. 机器管理中添加机器（菜单-> 机器管理）

输入操作系统用户 root 的密码，点保存确认（需要部署时节点密码一致）
逐个添加内网的 ip，点添加机器进行节点的自动添加

添加完成后，手工重启 assist 监控进程

lava stop cluster
lava start master

每个节点执行

su - gpadmin
assist start

1. 安装 zookeeper（菜单-> 基础组件->Zookeeper-> 创建新集群）
   需要在每台 zookeeper 节点提前创建好目录

mkdir /data1/zookeeper
chmod 755 /data1/zookeeper/

1. 安装 hdfs（菜单-> 基础组件->HDFS-> 创建新集群）

1. 安装 oushuDB 集群（菜单->OushuDB->DB 集群-> 创建新集群）

   # 不勾选初始化magma，内存改为320GB

1. 安装作业调度集群（菜单-> 作业调度-> 集群-> 创建新集群）

1. 如果开启 SQL 监控需要修改配置文件

vim /usr/local/oushu/lava-cloud/conf/basicPrivate.config.xml 
 
5         <master></master>
6         <standby></standby>
7         <logo>数据云平台</logo>
8         <language>zh-CN</language>

74     <Sqlrs>
75         <monitorSql>true</monitorSql> 
76         <liveInterval>10</liveInterval>
77         <historyInterval>60</historyInterval>
78         <historyExpired>60</historyExpired>
79     </Sqlrs>

# 重启生效
lava stop master
lava start master

1. 打开管理平台高可用

vim /usr/local/oushu/lava-cloud/conf/basicPrivate.config.xml 
 
5         <master>master主机名</master>
6         <standby>standby主机名</standby>


# 重启生效
lava stop master
lava start master


# 同步配置到standby节点
scp /usr/local/oushu/lava-cloud/conf/basicPrivate.config.xml standbymaster:/usr/local/oushu/lava-cloud/conf/

# 在standby节点执行
lava init standby
lava start standby

卸载集群

1.卸载OushuDB集群
# 页面上url   https://10.64.33.47/#/cluster/Oushu?name=SIDE.DATAWAREHOUSE,SIDE.DBCLUSTER&Route=,%2Fcluster%2FOushu&isDisable=true
isDisable=false改为isDisable=true（菜单->OushuDB->DB集群->删除）
# 每个节点执行（管理节点加数据节点）
yum remove -y hawq
rm -rf /usr/local/oushudb*

2.卸载作业调度集群（菜单->作业调度->集群->删除）

3.卸载HDFS集群（菜单->基础组件->HDFS->删除）

4.卸载Zookeeper集群（菜单->基础组件->Zookeeper->删除）

5.删除机器（菜单->机器管理->删除）