HDFS同节点各目录磁盘平衡
说明一般来说，大数据集群的HDFS会有多个存储节点，每个存储节点会配置多个目录（一个磁盘挂载一个目录），这样组成一个m*n的存储池子，速度和可靠性都不错，用一段时间后，随着业务增长，HDFS就不可避免的需要扩容，扩容的操作比较简单，就是每个节点添加磁盘，然后挂载目录，修改HDFS配置，重起服务即可。这时候磁盘空间是出来了，但是HDFS并不会主动平衡，也就是之前存满的目录还是满的，告警还是会有，这时候就需要手动平衡磁盘，这里做一下记录，方便后续需要使用的时候快速操作。步骤生成平衡计划hdfs diskbalancer -plan {nodename}执行平衡计划hdfs diskbalan...
redis集群查询key和批量删除脚本
从redis集群查key比较麻烦，要到每个master上面都查一遍，删除的时候也比较麻烦，xargs的方式并不适合集群的批量删除key，所以写了如下脚本，方便批量查询和删除key：#!/bin/bash # 查询 sh redis.sh keys "*_courseList_*" # 删除 sh redis.sh del "*_courseList_*" cluster="192.168.50.199:7000,192.168.50.199:7001,192.168.50.199:7002,192.168.50.199:7003,192....
jenkins挂掉，错误信息too many levels of symbolic links
今天jenkins很不稳定，挂了几次，重启过阵子就又挂了，不胜其烦，翻了下日志，发现报错skipping symbolic link [email protected][email protected]@@[email protected][email protected][email protected]/he...
Nexus Repository私服数据恢复
今天java开发反应jenkins打包有问题，看日志发现maven库有问题，手动访问发现nexus服务挂掉了，结果找了半天服务器没找到，最后翻VCSA上面的任务记录，好家伙，整个虚拟机都被人误删了。下面记录一下应用层面的恢复历程。新安装nexus这里为了快速恢复业务，用的是dockermkdir /app/maven && chown -R 200 /app/maven docker run -tid -p 8081:8081 --name nexus -v /app/maven:/nexus-data --restart=always docker.io/sonaty...
docker-compose搭建3主3从redis集群
新建目录，并建临时文件mkdir /opt/redis-cluster && cd /opt/redis-cluster cat > redis-cluster.tmpl <<EOF port ${PORT} requirepass 1234 masterauth 1234 protected-mode no daemonize no appendonly yes cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 15000 cluster-announce-i...
crontab进阶用法
正常来说，crontab分时日月周的写法一般都会，但是有一些特殊的用法，提供列表、范围、通配符等功能，如下：星号(*)：可用在所有字段中，表示对应时间域的每一个时刻，例如，*在分钟字段时，表示“每分钟”；问号(?)：该字符只在日期和星期字段中使用，它通常指定为“无意义的值”，相当于点位符；减号(-)：表达一个范围，如在小时字段中使用“10-12”，则表示从10到12点，即10,11,12；逗号(,)：表达一个列表值，如在星期字段中使用“MON,WED,FRI”，则表示星期一，星期三和星期五；斜杠(/)：x/y表达一个等步长序列，x为起始值，y为增量步长值。如在分钟字段中使用0/15，则表...