Colin_l
发布于

gpfdist优化

使用 gpfdist 加载外部表,是我们不可或缺的数据批量加载技术。
单进程的服务有一定约束,并且在文件服务器带宽有限的情况下,gpfdist 难以达到理想速度。有开发者基于 gpfdist 做了多线程切分文件和分发文件的实现 lotus,并利用 ZSTD 压缩,提高了 gpfdist 传输能力。
开发者提供了成品并介绍了相关原理:https://ginobiliwang.github.io/lotus-doc/release.html
相关介绍也可以看:https://github.com/water32/gpfaq/blob/master/2020/gpfdist.md

评论
    test