[ gpfdist ] http response code 500 from gpfdist

基本信息

系统 : CentOS Linux release 7.4.1708 (Core)
产品 : OushuDB
模块 : DB
子模块 : -

描述详述

原因

在http code 中500 代表 Internal Server Error;
说明是gpfdist sever出现问题

GPFDIST_MAX_LENGTH默认值是3276;
当某行传输的数据特别大的时候(即 宽表)，极有可能出现http response code 500问题;
建议 
1. GPFDIST_MAX_LENGTH=1000000或更大 
2. 查看gpfdist日志


## 参考: https://github.com/HazyResearch/deepdive/issues/515

解决方案

-- 1.获取长度办法(研发给出的获取方法，太久的历史啦，需要了解原理的话可以看对应的issue)
    cat xxx/gpfdist.log | grep 'available data to consume' 
                                            | grep -F 'available data to consume' '{print $2}'
                                            | awk -F ',' '{print $1}'
                                            | sort -rn
                                            | uniq 
                                            | head -2
                                            
-- 2.重新启动gpfdist 并配置-m参数值 或 检查表中数据是否存在异常的超长的脏数据