- 发布于2022-08-03 13:29:50
机器重启后littleboy任务不能正常运行处理
环境信息如下 lava 4.x littleboy 4.x 问题原因: littleboy 的配置文件中有关 spark log 的配置项会覆盖 spark 的配置,并且默认是/tmp/spark-events,但是机器重启后/tmp 路径下的目录会...赞 1评论浏览 837 - 发布于2022-01-27 10:26:21
spark3.x的安装
背景 有些临时出的littleboy的新的rpm包,可能会依赖spark3.x版本 1.先通过 lava 页面安装 spark2.x 2.备份 conf 文件 -- 每个节点都执行 mkdir /spark-conf cp /usr/hdp/2.5....赞 2评论 3浏览 1327 - 发布于2021-12-08 18:34:42
LittleBoy最佳实践样例:SQL算子介绍
在对数据进行预处理的过程中,我们可能需要根据需求对数据进行各种操作,而现有的数据处理算子不一定能满足我们的处理需求,此时我们就可以使用 SQL 算子自定义 SQL 进行数据处理,SQL 算子完全支持 SQL 相关的语法,可简单灵活的进行数据处理操作,方便工...赞 3评论 2浏览 1182 - 发布于2021-12-08 10:35:48赞 2评论 2浏览 937