偶数社区平台

xiaokissoo

发布于2021-12-02 15:26:22

4.17. 华为Hadoop的适配
➢ 解答遇到和华为 fusioninsight hadoop 做适配，需要注意以下⼏点： • 华为的 fusioninsight hadoop 在客户处都是 ha+kerberos 的环境，kinit 是需要 source 华为客户端的环境变量的。⾔下...

赞

评论

浏览 859

OushuDB
xiaokissoo

发布于2021-12-02 15:23:22

4.18. Hadoop 3.x的适配
Hadoop 2.X 到 Hadoop 3.X 不能简单的 binary swap，需要特殊升级步骤。⽬前不建议直接升级。对于新⽤户，可以考虑使⽤ Hadoop 3.X。⽬前 Lava 不⽀持 Hadoop3.X 部署，所以在发布的 Softwa...

赞

评论

浏览 727

OushuDB
xiaokissoo

发布于2021-12-02 15:22:59

4.19. 重启了 HDFS DataNode，出现HDFS missing block
➢ 现象 ➢ 解答 HDFS fsck only checks the files that are persisted on hdfs and not open files. Since you're seeing just one missing b...

赞

评论

浏览 770

OushuDB
xiaokissoo

发布于2021-12-02 15:22:25

4.20. ERROR: hdfsCloseFile failed
➢ 现象 ➢ 解答由于节点间负载不均引起的，节点间负载是以 DataNode 的线程数来统计的。要 workround 这个问题，可以考虑把 dfs.namenode.redundancy.considerLoad 设为 false，或者把 df...

赞

评论

浏览 1171

OushuDB
xiaokissoo

发布于2021-12-02 15:21:54

4.21. HDFS HA name service failover
➢ 解答由于节点间负载不均引起的，节点间负载是以 DataNode 的线程数来统计的。 1）先停止 HAWQ hawq stop cluster -a 2）确认 hdfs 角色以及情况 hdfs haadmin -getServiceState nn2 ...

赞

评论

浏览 819

OushuDB
xiaokissoo

发布于2021-12-02 15:21:30

5.1. hawq服务不能初始化或者启动
➢ 分析共享内存设置太小磁盘空间被占满 ➢ 解答 sudo sysctl kern.sysv.shmmax=2147483648 sudo sysctl kern.sysv.shmmin=1 sudo sysctl kern.sysv.shmmni=6...

赞

评论

浏览 717

OushuDB
xiaokissoo

发布于2021-12-02 15:21:11

5.2. 初始化时报错sync hawq-site.xml failed
➢ 问题初始化时报错 hawq_init:hdp3:gpadmin-[ERROR]:-sync hawq-site.xml failed ➢ 分析 hawq-site.xml 里多配了 default_hash_table_bucket_number ➢...

赞

评论

浏览 754

OushuDB
xiaokissoo

发布于2021-12-02 15:20:54

5.3. hawq start失败报错
➢ 分析查看是否有之前残留的 postgres 进程 ➢ 解答 kill 之前残留的 postgres 进程，然后执行 hawq start

赞

评论

浏览 627

OushuDB
偶小梦

发布于2021-12-02 14:42:53

不同类型的表的使用场景
➢ 解答 • AO 表 o ⾏存模式 o 适合⼩数据量插⼊和⼤数据量插⼊ o 完整⽀持事务 ACID，不⽀持 update/delete o ⽀持 snappy 和 zlib 压缩类型 • ORC 表 o ⾼性能⾏列混合存储，适合分析型场景 o 适合⼤批量...

赞

评论

浏览 632

OushuDB
偶小梦

发布于2021-12-02 14:42:17

subpartition case target segment num is not equal to the bucket number
➢ 分析 split partition 语句报 "target segment num 2 IS NOT equal to the bucket number of this relation 4" ➢ 解答 random 表的 partition ta...

赞

评论

浏览 718

OushuDB
偶小梦

发布于2021-12-02 14:41:44

interconnect诊断
➢ 问题 SQL 执行挂起，进程 hang 在数据发送或者接受中 ➢ 分析&&解答检查进程状态确认是否是相关问题有时候会遇到 QD 运行不退出，挂住的情况，此时在上边看到除了 QD 进程外还有至少一个 QE 进程处于未退出状态，通过使用 hawq S...

赞

评论

浏览 1076

OushuDB
偶小梦

发布于2021-12-02 14:39:37

udf内select中包含分区表子查询slice特别多
➢ 解答 udf 内外的 plan 不一致导致，在 udf 内部，p_date 是一个变量 substr(p_date, 7, 2)没办法优化成一个 Const，导致 case when 在 simplify_function 的优化没办法做，没法去掉这个...

赞

评论

浏览 666

OushuDB
偶小梦

发布于2021-12-02 14:39:12

gp_segment_configuration状态变化不及时，SQL查询报错也不发生变化
➢ 解答设置了 guc hawq_rm_enable_connpool 为 false 就可以跑一条 SQL 就立马检测出来了

赞

评论

浏览 801

OushuDB
偶小梦

发布于2021-12-02 14:38:40

Master和standby的手工同步
➢ 解答 source /usr/local/hawq/greenplum_path.sh SELECT pg_terminate_backend(procpid), * FROM pg_stat_activity WHERE procpid <> pg_...

赞

评论

浏览 726

OushuDB
偶小梦

发布于2021-12-02 14:38:15

OushuDB中分区表的最佳实践
➢ 解答现在分区表仅剩下的一个缺点就是如果同时往很多个分区子表中插入数据的话会使用过多内存。不过一般情况下数据都是集中在一个分区。如果需要同时往很多子分区插入数据（比如初始数据加载），可以在 INSERT INTO SELECT 语句中加一个分区字段的 ...

赞

评论

浏览 959

OushuDB
偶小梦

发布于2021-12-02 14:37:50

如何查看数据库中索引和表的大小？
➢ 解答 SELECT indexrelid::regclass idx_name, indrelid::regclass tab_name, pg_size_pretty(pg_relation_size(indexrelid)) idx_size, p...

赞

评论

浏览 736

OushuDB
偶小梦

发布于2021-12-02 14:37:25

元数据bloat之后导致数据库性能变慢
➢ 解答查看 catalog 表是否有 bloat 问题 SET gp_select_invisible TO false; SELECT count() FROM pg_attribute; // n1 SET gp_select_invisib...

赞

评论

浏览 690

OushuDB
偶小梦

发布于2021-12-02 14:36:53

如何使用三级及以上分区表
➢ 解答 https://gp-docs-cn.github.io/docs/admin_guide/ddl/ddl-partition.html#topic70

赞

评论

浏览 798

OushuDB
偶小梦

发布于2021-12-02 14:36:23

加ORC format的分区表的语法
➢ 解答 ALTER TABLE lineitem ADD DEFAULT PARTITION other with (format ‘orc’)。

赞

评论

浏览 671

OushuDB
偶小梦

发布于2021-12-02 14:35:54

cannot open more than xxx append-only table segment files concurrently
➢ 解答 max_appendonly_segfiles 的默认值为 262144，可以适当调大该值。

赞

评论

浏览 791

OushuDB

zdsg
31 帖子 • 49 评论

926
阿福Chris
19 帖子 • 24 评论

573
huor
26 帖子 • 19 评论

533
張 zi 浩
17 帖子 • 34 评论

463
偶小梦
60 帖子 • 30 评论

427
亚平宁的眼泪
5 帖子 • 28 评论

312
fy
34 帖子 • 8 评论

303
罗名岳
12 帖子 • 15 评论

288
李士朝
14 帖子 • 9 评论

223
Eason
6 帖子 • 21 评论

217