偶数社区平台

xiaokissoo

发布于2021-12-02 15:30:24

4.7. could not write in table
➢ 问题不能将数据插入表中，日志中出现 Could not write in table: Input/Output error ➢ 解答 hadoop dfsadmin -report 出现 DFS Used%: 99.96%，表示 HDFS 集群满了...

赞

评论

浏览 856

OushuDB
xiaokissoo

发布于2021-12-02 15:30:09

4.8. time out waiting for a quorum of nodes to response
➢ 问题 HDFS 报错 namenode down 掉：Time out waitting 20000ms for a quorum of nodes to response ➢ 解答调长 HDFS 配置文件的超时时长 dfs.qjournal.wri...

赞

评论

浏览 851

OushuDB
xiaokissoo

发布于2021-12-02 15:29:44

4.9. flush failed for required journal
➢ 问题 HDFS namenode 的 journalnode 经常服务中断： 2016-11-21 22:36:40,908 WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManage...

赞

评论

浏览 1271

OushuDB
xiaokissoo

发布于2021-12-02 15:29:07

4.10. too many clients already
➢ 问题执行查询时报错"FATAL","53300","sorry, too many clients already" ➢ 解答说明连接已满，检查 master 与 segment 看是否超出连接限制；检查应用是否有连接溢出；删除不必要的连接或者使用...

赞

评论

浏览 929

OushuDB
xiaokissoo

发布于2021-12-02 15:28:54

4.11. 在访问hive外部表的时候报错如下：ERROR: the pxf protocol for external tables is deprecated，提示pxf协议已弃用
pxf 已经在 oushuDB 内被 disable 了，请尝试用 hdfs 外表的方式访问 hive 里的文件。

赞

评论

浏览 811

OushuDB
xiaokissoo

发布于2021-12-02 15:28:37

4.12. 在使用hive的外部表进行读取数据的时候显示 ERROR: text_in: failed to get next tuple. File……
➢ 解答出现了 missing data for last 17 column(s)，这张表有 18 列，这是分隔符不匹配导致的，把一行当作了一整列。在 hive 中，默认的分隔符为一个不可见字符，在 hawq 的外表设置为(delimiter E'\...

赞

评论

浏览 751

OushuDB
xiaokissoo

发布于2021-12-02 15:28:04

4.13. HDFS namenode全部挂掉，重启后oushudb查询个别表报错
➢ 现象 ➢ 分析 HDFS bug, Fix Version/s: 2.9.0, 2.7.4, 3.0.0-alpha4, 2.8.2 HDFS 出错 code final int numCorruptNodes = countNodes(blk)....

赞

评论

浏览 764

OushuDB
xiaokissoo

发布于2021-12-02 15:27:21

4.14. IPC‘s epoch 44 is less than the last promised epoch 45
HDFS 出现短期的双 Active 情况，属于可自动恢复的问题（具体原因可能会有所不同）

赞

评论

浏览 890

OushuDB
xiaokissoo

发布于2021-12-02 15:27:05

4.15. SQL 性能下降或者 DataXceiver error processing WRITE_BLOCK operation
➢ 解答可以检查以下两个参数： dfs.datanode.max.xcievers dfs.datanode.max.transfer.threads 如果太小，可以尝试调大。默认值 256，可以根据实际情况调大一些。目前众邦环境设置的是 16384，联...

赞

评论

浏览 864

OushuDB
xiaokissoo

发布于2021-12-02 15:26:46

4.16. Kerberos配置
➢ 解答 • Kerberos 配置 1.设置 enable_secure_filesystem 为 on 2.设置 krb_srvname 为 keytab ⽤户的名称 3.设置 krb_server_keyfile 为 keytab 的路径，并赋权 4...

赞

评论

浏览 872

OushuDB
xiaokissoo

发布于2021-12-02 15:26:22

4.17. 华为Hadoop的适配
➢ 解答遇到和华为 fusioninsight hadoop 做适配，需要注意以下⼏点： • 华为的 fusioninsight hadoop 在客户处都是 ha+kerberos 的环境，kinit 是需要 source 华为客户端的环境变量的。⾔下...

赞

评论

浏览 949

OushuDB
xiaokissoo

发布于2021-12-02 15:23:22

4.18. Hadoop 3.x的适配
Hadoop 2.X 到 Hadoop 3.X 不能简单的 binary swap，需要特殊升级步骤。⽬前不建议直接升级。对于新⽤户，可以考虑使⽤ Hadoop 3.X。⽬前 Lava 不⽀持 Hadoop3.X 部署，所以在发布的 Softwa...

赞

评论

浏览 822

OushuDB
xiaokissoo

发布于2021-12-02 15:22:59

4.19. 重启了 HDFS DataNode，出现HDFS missing block
➢ 现象 ➢ 解答 HDFS fsck only checks the files that are persisted on hdfs and not open files. Since you're seeing just one missing b...

赞

评论

浏览 869

OushuDB
xiaokissoo

发布于2021-12-02 15:22:25

4.20. ERROR: hdfsCloseFile failed
➢ 现象 ➢ 解答由于节点间负载不均引起的，节点间负载是以 DataNode 的线程数来统计的。要 workround 这个问题，可以考虑把 dfs.namenode.redundancy.considerLoad 设为 false，或者把 df...

赞

评论

浏览 1292

OushuDB
xiaokissoo

发布于2021-12-02 15:21:54

4.21. HDFS HA name service failover
➢ 解答由于节点间负载不均引起的，节点间负载是以 DataNode 的线程数来统计的。 1）先停止 HAWQ hawq stop cluster -a 2）确认 hdfs 角色以及情况 hdfs haadmin -getServiceState nn2 ...

赞

评论

浏览 927

OushuDB
xiaokissoo

发布于2021-12-02 15:21:30

5.1. hawq服务不能初始化或者启动
➢ 分析共享内存设置太小磁盘空间被占满 ➢ 解答 sudo sysctl kern.sysv.shmmax=2147483648 sudo sysctl kern.sysv.shmmin=1 sudo sysctl kern.sysv.shmmni=6...

赞

评论

浏览 824

OushuDB
xiaokissoo

发布于2021-12-02 15:21:11

5.2. 初始化时报错sync hawq-site.xml failed
➢ 问题初始化时报错 hawq_init:hdp3:gpadmin-[ERROR]:-sync hawq-site.xml failed ➢ 分析 hawq-site.xml 里多配了 default_hash_table_bucket_number ➢...

赞

评论

浏览 867

OushuDB
xiaokissoo

发布于2021-12-02 15:20:54

5.3. hawq start失败报错
➢ 分析查看是否有之前残留的 postgres 进程 ➢ 解答 kill 之前残留的 postgres 进程，然后执行 hawq start

赞

评论

浏览 736

OushuDB
偶小梦

发布于2021-12-02 14:42:53

不同类型的表的使用场景
➢ 解答 • AO 表 o ⾏存模式 o 适合⼩数据量插⼊和⼤数据量插⼊ o 完整⽀持事务 ACID，不⽀持 update/delete o ⽀持 snappy 和 zlib 压缩类型 • ORC 表 o ⾼性能⾏列混合存储，适合分析型场景 o 适合⼤批量...

赞

评论

浏览 731

OushuDB
偶小梦

发布于2021-12-02 14:42:17

subpartition case target segment num is not equal to the bucket number
➢ 分析 split partition 语句报 "target segment num 2 IS NOT equal to the bucket number of this relation 4" ➢ 解答 random 表的 partition ta...

赞

评论

浏览 820

OushuDB

zdsg
31 帖子 • 49 评论

926
阿福Chris
19 帖子 • 24 评论

573
huor
26 帖子 • 19 评论

533
張 zi 浩
17 帖子 • 34 评论

463
偶小梦
60 帖子 • 30 评论

427
亚平宁的眼泪
5 帖子 • 28 评论

312
fy
34 帖子 • 8 评论

303
罗名岳
12 帖子 • 15 评论

288
李士朝
14 帖子 • 9 评论

223
Eason
6 帖子 • 21 评论

217