侧边栏壁纸
  • 累计撰写 176 篇文章
  • 累计创建 87 个标签
  • 累计收到 1 条评论

目 录CONTENT

文章目录

HDFS同节点各目录磁盘平衡

Z先森
2021-11-10 / 0 评论 / 0 点赞 / 17 阅读 / 0 字 / 正在检测是否收录...

####说明 一般来说,大数据集群的HDFS会有多个存储节点,每个存储节点会配置多个目录(一个磁盘挂载一个目录),这样组成一个m*n的存储池子,速度和可靠性都不错,用一段时间后,随着业务增长,HDFS就不可避免的需要扩容,扩容的操作比较简单,就是每个节点添加磁盘,然后挂载目录,修改HDFS配置,重起服务即可。 这时候磁盘空间是出来了,但是HDFS并不会主动平衡,也就是之前存满的目录还是满的,告警还是会有,这时候就需要手动平衡磁盘,这里做一下记录,方便后续需要使用的时候快速操作。 ####步骤

  • 生成平衡计划
hdfs diskbalancer -plan {nodename}
  • 执行平衡计划
hdfs diskbalancer -execute /system/diskbalancer/2021-九月-27-09-20-54/{nodename}.plan.json
  • 查看平衡计划进度
hdfs diskbalancer -query {nodename}
0

评论区