zdsg
发布于

机器重启后littleboy任务不能正常运行处理

环境信息如下

lava 4.x
littleboy 4.x

问题原因：

littleboy 的配置文件中有关 spark log 的配置项会覆盖 spark 的配置，并且默认是/tmp/spark-events，但是机器重启后/tmp 路径下的目录会被清空，导致 spark 任务启动资源的时候会报错 file not exists

人工解决办法：

修改 littleboy 配置文件中有关 spark log 的配置，并且手动创建路径，重启 littleboy

  • 1.停止 master
su - oushu
/usr/local/oushu/littleboy/sbin/littleboy stop master
  • 2.修改 master 配置文件
vi /usr/local/oushu/littleboy/conf/littleboy-site.xml

<property>
    <name>spark.history.fs.logDirectory</name>
    <value>/data1/spark-events</value>
</property>
<property>
    <name>spark.eventLog.dir</name>
    <value>/data1/spark-events</value>
</property>
  • 3.创建相关目录
source /usr/local/hawq/greenplum_path.sh
hawq ssh -f ~/hostfile -e 'mkdir -p /data1/spark-events'
hawq ssh -f ~/hostfile -e 'chown -R spark:spark /data1/spark-events'
hawq ssh -f ~/hostfile -e 'chmod -R 755 /data1/spark-events'
  • 4.启动 master
su - oushu
/usr/local/oushu/littleboy/sbin/littleboy start master
Littleboy #littleboy#lava
浏览 (838) 点赞 (1) 收藏
评论
    test