运行union all时datanode挂掉
➢ 问题
运行 union all 的查询语句时,时常出现 HDFS 挂掉的情况
检查后发现 hawq 还在,查看 hdfs 的 datanode 都已经不在了,查看 hdfs 的日志限制内存分配失败。 用户机器的内存为 64g, hawq-site.xml 中配置成 48g, 但是操作系统的参数 overcommit_ratio 配的是 50,导致 hawq 减少内存使用并没有提高 hdfs 的内存分配额度。
➢ 解答
将/proc/sys/vm/overcommit_ratio 的操作系统参数由原来的 50 改成 100