- 发布于2022-08-03 13:29:50
机器重启后littleboy任务不能正常运行处理
环境信息如下 lava 4.x littleboy 4.x 问题原因： littleboy 的配置文件中有关 spark log 的配置项会覆盖 spark 的配置，并且默认是/tmp/spark-events，但是机器重启后/tmp 路径下的目录会...赞 1评论浏览 1267 - 发布于2022-01-27 10:26:21
spark3.x的安装
背景 有些临时出的littleboy的新的rpm包,可能会依赖spark3.x版本 1.先通过 lava 页面安装 spark2.x 2.备份 conf 文件 -- 每个节点都执行 mkdir /spark-conf cp /usr/hdp/2.5....赞 2评论 3浏览 1709 - 发布于2021-12-08 18:34:42
LittleBoy最佳实践样例:SQL算子介绍
在对数据进行预处理的过程中，我们可能需要根据需求对数据进行各种操作，而现有的数据处理算子不一定能满足我们的处理需求，此时我们就可以使用 SQL 算子自定义 SQL 进行数据处理，SQL 算子完全支持 SQL 相关的语法，可简单灵活的进行数据处理操作，方便工...赞 3评论 2浏览 1549 
- 发布于2021-12-09 12:24:54
LittleBoy最佳实践样例:数据处理算子介绍
熟悉数据挖掘和机器学习的小伙伴们都知道，数据处理相关的工作时间占据了整个项目 70% 以上。数据的质量，直接决定了模型的预测和泛化能力的好坏。它涉及很多因素，包括：标准型、完整性、一致性、时效性、可信性和解释性。而在真实数据中，我们拿到的数据可能包含了大量...赞 1评论浏览 1351 - 发布于2021-12-08 10:35:48赞 2评论 2浏览 1278
- 926
- 573
- 533
- 463
- 428
- 312
- 303
- 288
- 223
- 217
