偶数社区平台

上瘾

发布于2021-12-08 18:34:42

LittleBoy最佳实践样例:SQL算子介绍
在对数据进行预处理的过程中，我们可能需要根据需求对数据进行各种操作，而现有的数据处理算子不一定能满足我们的处理需求，此时我们就可以使用 SQL 算子自定义 SQL 进行数据处理，SQL 算子完全支持 SQL 相关的语法，可简单灵活的进行数据处理操作，方便工...

赞 3

评论 2

浏览 1229

Littleboy
oushu5902

发布于2021-12-08 10:35:17

怎么验证模型训练的效果
模型训练完了，怎么没有评分

赞 2

评论 4

浏览 982

Littleboy
上瘾

发布于2021-12-09 12:24:54

LittleBoy最佳实践样例:数据处理算子介绍
熟悉数据挖掘和机器学习的小伙伴们都知道，数据处理相关的工作时间占据了整个项目 70% 以上。数据的质量，直接决定了模型的预测和泛化能力的好坏。它涉及很多因素，包括：标准型、完整性、一致性、时效性、可信性和解释性。而在真实数据中，我们拿到的数据可能包含了大量...

赞 1

评论

浏览 1029

Littleboy
oushu5902

发布于2021-12-08 10:35:48

“Kmeans”这个节点怎么使用
在试用 LittleBoy 做模型训练的时候，我发现“Kmeans”这个节点下面有两个输出端口，这两个都是做什么的

赞 2

评论 2

浏览 999

Littleboy
oushu5902

发布于2021-12-08 10:36:53

模型服务是否支持模型热更新
怎么操作才能热更新已经上线的服务

赞 3

评论 1

浏览 1118

Littleboy
oushu5902

发布于2021-12-08 10:24:41

我想使用交叉验证的方式提升模型训练表现，LittleBoy支持这个功能吗
怎么操作才能开启交叉验证

赞 2

评论 1

浏览 1059

Littleboy
oushu5902

发布于2021-12-08 10:23:14

做AutoML的时候，能不能控制训练时长
如题

赞 2

评论 1

浏览 1040

Littleboy
oushu5902

发布于2021-12-08 10:18:47

在画布中给一个数据源接了一个数据清洗操作，已经执行成功了，怎么看这个操作的结果
如图

赞 2

评论 1

浏览 987

Littleboy
xiaokissoo

发布于2021-12-02 15:32:20

4.1. safe mode
➢ 分析当收到来自 datanode 的状态报告后，namenode 根据配置，确定可用的 block 占总数的比例。可用的数据节点数量符合要求之后，离开安全模式。 ➢ 解答如果有必要，也可以通过命令强制离开安全模式：hadoop dfsadmi...

赞 1

评论

浏览 791

OushuDB
xiaokissoo

发布于2021-12-02 15:32:02

4.2. zookeeper listener port起不来
➢ 解答 zookeeper 配置文件用的 hostname，在/etc/hosts 里 hostname 被 resolve 成 127.0.0.1，需要让 hostname 能被正确 resolve 成内部 ip 地址

赞

评论

浏览 825

OushuDB
xiaokissoo

发布于2021-12-02 15:31:40

4.3. Requested data length longer than max configured RPC length
➢ 问题 NameNode 停在 safe mode 并报错“Requested data length is longer than maximum configured RPC length”，导致 HDFS 集群无法写数据 ➢ 从 datanode ...

赞

评论

浏览 854

OushuDB
xiaokissoo

发布于2021-12-02 15:31:19

4.4. cannot fetch block locations
➢ 问题执行查询 select count(*) from partitioned_table 时报错：cannot fetch block locations: DETAIL: HdfsIoException: Unexpected:when unwr...

赞

评论

浏览 854

OushuDB
xiaokissoo

发布于2021-12-02 15:30:59

4.5. 无法访问zookeeper服务
➢ 问题访问 zookeeper 服务时报错：Error contacting service. It is probably not running. ➢ 分析机器启动时默认打开了防火墙 ➢ 解答 systemctl stop firewalld

赞

评论

浏览 774

OushuDB
xiaokissoo

发布于2021-12-02 15:30:42

4.6. 无法停止HDFS集群
➢ 问题 stop-dfs.sh 不起作用，且显示： no namenode to stop no secondary namenode to stop no datanode to stop ➢ 解答 hadoop*.pid 文件默认在/tmp 目录，太...

赞

评论

浏览 805

OushuDB
xiaokissoo

发布于2021-12-02 15:30:24

4.7. could not write in table
➢ 问题不能将数据插入表中，日志中出现 Could not write in table: Input/Output error ➢ 解答 hadoop dfsadmin -report 出现 DFS Used%: 99.96%，表示 HDFS 集群满了...

赞

评论

浏览 782

OushuDB
xiaokissoo

发布于2021-12-02 15:30:09

4.8. time out waiting for a quorum of nodes to response
➢ 问题 HDFS 报错 namenode down 掉：Time out waitting 20000ms for a quorum of nodes to response ➢ 解答调长 HDFS 配置文件的超时时长 dfs.qjournal.wri...

赞

评论

浏览 788

OushuDB
xiaokissoo

发布于2021-12-02 15:29:44

4.9. flush failed for required journal
➢ 问题 HDFS namenode 的 journalnode 经常服务中断： 2016-11-21 22:36:40,908 WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManage...

赞

评论

浏览 1219

OushuDB
xiaokissoo

发布于2021-12-02 15:29:07

4.10. too many clients already
➢ 问题执行查询时报错"FATAL","53300","sorry, too many clients already" ➢ 解答说明连接已满，检查 master 与 segment 看是否超出连接限制；检查应用是否有连接溢出；删除不必要的连接或者使用...

赞

评论

浏览 856

OushuDB
xiaokissoo

发布于2021-12-02 15:28:54

4.11. 在访问hive外部表的时候报错如下：ERROR: the pxf protocol for external tables is deprecated，提示pxf协议已弃用
pxf 已经在 oushuDB 内被 disable 了，请尝试用 hdfs 外表的方式访问 hive 里的文件。

赞

评论

浏览 754

OushuDB
xiaokissoo

发布于2021-12-02 15:28:37

4.12. 在使用hive的外部表进行读取数据的时候显示 ERROR: text_in: failed to get next tuple. File……
➢ 解答出现了 missing data for last 17 column(s)，这张表有 18 列，这是分隔符不匹配导致的，把一行当作了一整列。在 hive 中，默认的分隔符为一个不可见字符，在 hawq 的外表设置为(delimiter E'\...

赞

评论

浏览 696

OushuDB

zdsg
31 帖子 • 49 评论

926
阿福Chris
19 帖子 • 24 评论

573
huor
26 帖子 • 19 评论

533
張 zi 浩
17 帖子 • 34 评论

463
偶小梦
60 帖子 • 30 评论

427
亚平宁的眼泪
5 帖子 • 28 评论

312
fy
34 帖子 • 8 评论

303
罗名岳
12 帖子 • 15 评论

288
李士朝
14 帖子 • 9 评论

223
Eason
6 帖子 • 21 评论

217