HDFS同节点各目录磁盘平衡

说明一般来说,大数据集群的HDFS会有多个存储节点,每个存储节点会配置多个目录(一个磁盘挂载一个目录),这样组成一个m*n的存储池子,速度和可靠性都不错,用一段时间后,随着业务增长,HDFS就不可避免的需要扩容,扩容的操作比较简单,就是每个节点添加磁盘,然后挂载目录,修改HDFS配置,重起服务即可。这时候磁盘空间是出来了,但是HDFS并不会主动平衡,也就是之前存满的目录还是满的,告警还是会有...

大数据 2021-11-10 PM 131次 0条

CDH集群Kerberos报错:Host XXX has upper-case characters in its name ...

问题集群是以前搭建的,发现报了个这样的错误,Kerberos异常,搜了一下资料,发现是host映射的问题,/etc/hosts里面写的主机名是大写,然后cdh里面组集群用的大写主机名,kerberos使用的主机名又是小写,所以导致这个问题。处理方法在集群所有节点下的/etc/hosts里面有大写主机名的(报错的基本都是大写),在前面全部添加一个小写的,大写不动(原大写的删除了会影响集群通信)...

大数据 2021-06-18 PM 476次 0条

CM启动无法连接MySQL问题

现象CM启动完后,过一会就挂掉了,查看配置什么的都没有问题,查看异常日志发现是mysql连接问题SCM错误信息Mon May 17 17:24:02 CST 2021 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5...

数据库,大数据 2021-05-17 PM 473次 0条

客户端连接CM集成kafka超时问题

现象kafka连接即使客户端配置了ip+端口的方式,也会出现连接超时(大约5min),在hosts上面手动指定kafka的主机和ip后就正常了常规处理方法1、客户端写host(如果客户端多的话,会很繁琐,不推荐)2、添加DNS(如果有内部DNS的话,推荐)3、网上说的修改kafka服务器如下配置,实际上CM集成的kafka修改配置重启后并没有效果#/opt/cloudera/parcels/...

大数据 2021-05-07 AM 414次 1条