偶数社区平台

xiaokissoo

发布于2021-12-02 15:27:05

4.15. SQL 性能下降或者 DataXceiver error processing WRITE_BLOCK operation
➢ 解答可以检查以下两个参数： dfs.datanode.max.xcievers dfs.datanode.max.transfer.threads 如果太小，可以尝试调大。默认值 256，可以根据实际情况调大一些。目前众邦环境设置的是 16384，联...

赞

评论

浏览 735

OushuDB
xiaokissoo

发布于2021-12-02 15:26:46

4.16. Kerberos配置
➢ 解答 • Kerberos 配置 1.设置 enable_secure_filesystem 为 on 2.设置 krb_srvname 为 keytab ⽤户的名称 3.设置 krb_server_keyfile 为 keytab 的路径，并赋权 4...

赞

评论

浏览 769

OushuDB
xiaokissoo

发布于2021-12-02 15:26:22

4.17. 华为Hadoop的适配
➢ 解答遇到和华为 fusioninsight hadoop 做适配，需要注意以下⼏点： • 华为的 fusioninsight hadoop 在客户处都是 ha+kerberos 的环境，kinit 是需要 source 华为客户端的环境变量的。⾔下...

赞

评论

浏览 861

OushuDB
xiaokissoo

发布于2021-12-02 15:23:22

4.18. Hadoop 3.x的适配
Hadoop 2.X 到 Hadoop 3.X 不能简单的 binary swap，需要特殊升级步骤。⽬前不建议直接升级。对于新⽤户，可以考虑使⽤ Hadoop 3.X。⽬前 Lava 不⽀持 Hadoop3.X 部署，所以在发布的 Softwa...

赞

评论

浏览 729

OushuDB
xiaokissoo

发布于2021-12-02 15:22:59

4.19. 重启了 HDFS DataNode，出现HDFS missing block
➢ 现象 ➢ 解答 HDFS fsck only checks the files that are persisted on hdfs and not open files. Since you're seeing just one missing b...

赞

评论

浏览 773

OushuDB
xiaokissoo

发布于2021-12-02 15:22:25

4.20. ERROR: hdfsCloseFile failed
➢ 现象 ➢ 解答由于节点间负载不均引起的，节点间负载是以 DataNode 的线程数来统计的。要 workround 这个问题，可以考虑把 dfs.namenode.redundancy.considerLoad 设为 false，或者把 df...

赞

评论

浏览 1173

OushuDB
xiaokissoo

发布于2021-12-02 15:21:54

4.21. HDFS HA name service failover
➢ 解答由于节点间负载不均引起的，节点间负载是以 DataNode 的线程数来统计的。 1）先停止 HAWQ hawq stop cluster -a 2）确认 hdfs 角色以及情况 hdfs haadmin -getServiceState nn2 ...

赞

评论

浏览 822

OushuDB
xiaokissoo

发布于2021-12-02 15:21:30

5.1. hawq服务不能初始化或者启动
➢ 分析共享内存设置太小磁盘空间被占满 ➢ 解答 sudo sysctl kern.sysv.shmmax=2147483648 sudo sysctl kern.sysv.shmmin=1 sudo sysctl kern.sysv.shmmni=6...

赞

评论

浏览 718

OushuDB
xiaokissoo

发布于2021-12-02 15:21:11

5.2. 初始化时报错sync hawq-site.xml failed
➢ 问题初始化时报错 hawq_init:hdp3:gpadmin-[ERROR]:-sync hawq-site.xml failed ➢ 分析 hawq-site.xml 里多配了 default_hash_table_bucket_number ➢...

赞

评论

浏览 755

OushuDB
xiaokissoo

发布于2021-12-02 15:20:54

5.3. hawq start失败报错
➢ 分析查看是否有之前残留的 postgres 进程 ➢ 解答 kill 之前残留的 postgres 进程，然后执行 hawq start

赞

评论

浏览 630

OushuDB
偶小梦

发布于2021-12-02 14:42:53

不同类型的表的使用场景
➢ 解答 • AO 表 o ⾏存模式 o 适合⼩数据量插⼊和⼤数据量插⼊ o 完整⽀持事务 ACID，不⽀持 update/delete o ⽀持 snappy 和 zlib 压缩类型 • ORC 表 o ⾼性能⾏列混合存储，适合分析型场景 o 适合⼤批量...

赞

评论

浏览 635

OushuDB
偶小梦

发布于2021-12-02 14:42:17

subpartition case target segment num is not equal to the bucket number
➢ 分析 split partition 语句报 "target segment num 2 IS NOT equal to the bucket number of this relation 4" ➢ 解答 random 表的 partition ta...

赞

评论

浏览 719

OushuDB
偶小梦

发布于2021-12-02 14:41:44

interconnect诊断
➢ 问题 SQL 执行挂起，进程 hang 在数据发送或者接受中 ➢ 分析&&解答检查进程状态确认是否是相关问题有时候会遇到 QD 运行不退出，挂住的情况，此时在上边看到除了 QD 进程外还有至少一个 QE 进程处于未退出状态，通过使用 hawq S...

赞

评论

浏览 1079

OushuDB
偶小梦

发布于2021-12-02 14:39:37

udf内select中包含分区表子查询slice特别多
➢ 解答 udf 内外的 plan 不一致导致，在 udf 内部，p_date 是一个变量 substr(p_date, 7, 2)没办法优化成一个 Const，导致 case when 在 simplify_function 的优化没办法做，没法去掉这个...

赞

评论

浏览 668

OushuDB
偶小梦

发布于2021-12-02 14:39:12

gp_segment_configuration状态变化不及时，SQL查询报错也不发生变化
➢ 解答设置了 guc hawq_rm_enable_connpool 为 false 就可以跑一条 SQL 就立马检测出来了

赞

评论

浏览 803

OushuDB
偶小梦

发布于2021-12-02 14:38:40

Master和standby的手工同步
➢ 解答 source /usr/local/hawq/greenplum_path.sh SELECT pg_terminate_backend(procpid), * FROM pg_stat_activity WHERE procpid <> pg_...

赞

评论

浏览 729

OushuDB
偶小梦

发布于2021-12-02 14:38:15

OushuDB中分区表的最佳实践
➢ 解答现在分区表仅剩下的一个缺点就是如果同时往很多个分区子表中插入数据的话会使用过多内存。不过一般情况下数据都是集中在一个分区。如果需要同时往很多子分区插入数据（比如初始数据加载），可以在 INSERT INTO SELECT 语句中加一个分区字段的 ...

赞

评论

浏览 960

OushuDB
偶小梦

发布于2021-12-02 14:37:50

如何查看数据库中索引和表的大小？
➢ 解答 SELECT indexrelid::regclass idx_name, indrelid::regclass tab_name, pg_size_pretty(pg_relation_size(indexrelid)) idx_size, p...

赞

评论

浏览 738

OushuDB
偶小梦

发布于2021-12-02 14:37:25

元数据bloat之后导致数据库性能变慢
➢ 解答查看 catalog 表是否有 bloat 问题 SET gp_select_invisible TO false; SELECT count() FROM pg_attribute; // n1 SET gp_select_invisib...

赞

评论

浏览 690

OushuDB
偶小梦

发布于2021-12-02 14:36:53

如何使用三级及以上分区表
➢ 解答 https://gp-docs-cn.github.io/docs/admin_guide/ddl/ddl-partition.html#topic70

赞

评论

浏览 799

OushuDB

zdsg
31 帖子 • 49 评论

926
阿福Chris
19 帖子 • 24 评论

573
huor
26 帖子 • 19 评论

533
張 zi 浩
17 帖子 • 34 评论

463
偶小梦
60 帖子 • 30 评论

427
亚平宁的眼泪
5 帖子 • 28 评论

312
fy
34 帖子 • 8 评论

303
罗名岳
12 帖子 • 15 评论

288
李士朝
14 帖子 • 9 评论

223
Eason
6 帖子 • 21 评论

217