偶小梦
发布于

OushuDB中如何进行均衡HDFS

OushuDB 中如何进行均衡 HDFS

OushuDB #oushudb
浏览 (403) 点赞 收藏
评论(1)
  • 偶小梦
    偶小梦 回复

    sudo -u hdfs hdfs balancer -threshold 5
    登录后复制
    其中 5 为 threshold_value，表示一个 DataNode 的磁盘使用可以和其他节点相比的偏移量。threshold_value 越小，均衡时间越长。

    如果你不指定 threshold_value，默认值是 20%。例如，如果这个集群的磁盘使用率是 40%，threshold_value 为 20% 会使得所有机器的磁盘使用率在 20% 和 60% 之间。如果一个节点的使用率在 20% 和 60% 之间，它上面的块不会再被移动。

    建议设置 threshold_value 为 5

    均衡时间也会受到网络带宽的影响。默认均衡可以使用的带宽为 1MB/s，你可以使用下面的命令调整。建议设为 64MB。

    sudo -u hdfs hdfs dfsadmin -setBalancerBandwidth 67108864

test