- 发布于2021-12-16 20:13:44
gpfdist优化
使用 gpfdist 加载外部表,是我们不可或缺的数据批量加载技术。 单进程的服务有一定约束,并且在文件服务器带宽有限的情况下,gpfdist 难以达到理想速度。有开发者基于 gpfdist 做了多线程切分文件和分发文件的实现 lotus,并利用 ZSTD...赞 2评论浏览 1183 - 发布于2021-12-08 18:34:42
LittleBoy最佳实践样例:SQL算子介绍
在对数据进行预处理的过程中,我们可能需要根据需求对数据进行各种操作,而现有的数据处理算子不一定能满足我们的处理需求,此时我们就可以使用 SQL 算子自定义 SQL 进行数据处理,SQL 算子完全支持 SQL 相关的语法,可简单灵活的进行数据处理操作,方便工...赞 3评论 2浏览 1185 - 发布于2021-12-08 10:35:48赞 2评论 2浏览 939
- 发布于2021-12-02 15:32:20
4.1. safe mode
➢ 分析 当收到来自 datanode 的状态报告后,namenode 根据配置,确定 可用的 block 占总数的比例。 可用的数据节点数量符合要求之后,离开安全模式。 ➢ 解答 如果有必要,也可以通过命令强制离开安全模式:hadoop dfsadmi...赞 1评论浏览 749