HDFS同节点各目录磁盘平衡

Z先森 2021-11-10 PM 130℃ 0条

说明

一般来说,大数据集群的HDFS会有多个存储节点,每个存储节点会配置多个目录(一个磁盘挂载一个目录),这样组成一个m*n的存储池子,速度和可靠性都不错,用一段时间后,随着业务增长,HDFS就不可避免的需要扩容,扩容的操作比较简单,就是每个节点添加磁盘,然后挂载目录,修改HDFS配置,重起服务即可。
这时候磁盘空间是出来了,但是HDFS并不会主动平衡,也就是之前存满的目录还是满的,告警还是会有,这时候就需要手动平衡磁盘,这里做一下记录,方便后续需要使用的时候快速操作。

步骤

  • 生成平衡计划
hdfs diskbalancer -plan {nodename}
  • 执行平衡计划
hdfs diskbalancer -execute /system/diskbalancer/2021-九月-27-09-20-54/{nodename}.plan.json
  • 查看平衡计划进度
hdfs diskbalancer -query {nodename}
标签: none

如无特殊说明,本博所有文章均为博主原创。

评论啦~