elasticsearch安装jieba分词插件

前提条件jdk下载完后配置环境变量,举个栗子:export JAVA_HOME=/usr/local/jdk1.8.0_101 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jargradle下载6.8版本的,其他的版本试了很多个都报错:wget https://downloads.gradle-dn.com/distributions/gradle-6.8-bin.zip unzip gradle-6.8-bin.zip -d /usr/loc...

Linux,大数据 2022-03-18 PM 844℃ 0条

批量给rabbitmq灌数据

分两个文件主脚本mq.shkey文件key.txt,一行一个#!/bin/bash mq_host="192.168.0.100:15672" mq_exchange="TestExchange" mq_queue="TestQueue" mq_vhost="%2Fadmin" #/请写%2F user="admin" passwd="admin" cat key.txt|while read payload do #properties根据程序需求实际情况填写 c...

Linux 2022-02-23 AM 692℃ 0条

VCSA 通过API进行操作

设置url、用户名、密码VC_ADDRESS="https://192.168.1.200" VC_USER="[email protected]" VC_PASSWORD="password"获取cookie方式一:BASE64加密一下VC_BASE64=$(echo -n "$VC_USER:$VC_PASSWORD" | base64) curl -X POST -H "Authorization: Basic $VC_BASE64" -k https://$VC...

虚拟化 2022-01-24 AM 778℃ 0条

MySQL手机号和身份证敏感信息扫描

最近需要排查数据库敏感信息,网上找了一些脚本和工具效果都不好,自己瞎写了一个,记录一下:#!/bin/bash # 忽略系统表 ignore_db="sys|information_schema|performance_schema|mysql" # 每张表取前N条数据 limit="50" # ex: search_info 192.168.1.1 3306 xxxx function search_info(){ host="$1" port="$2" ...

数据库 2022-01-19 PM 945℃ 0条

CentOS不重启系统快速识别新增/扩容磁盘

记录一下,每次都忘了,主要是虚拟机扩容之后,不想扫总线echo "1" >/sys/block/sda/device/rescan echo "1" >/sys/class/scsi_disk/0:0:0:0/device/rescan第一条命令主要用于扩容,找到对应的磁盘直接操作就好了,第二条命令由于是扫scsi总线,设备多的会有30多个,需要写循环都扫一遍,较麻烦,主要用于新增磁盘(但是根据以往经验,新增磁盘系统里面应该直接就能看到了,不需要新扫描)

Linux,虚拟化 2021-12-17 PM 1059℃ 1条

sentry前端异常捕获平台集成ldap

官方自带的ldap插件不支持openldap,得找第三方插件,第三方插件在官方提供的docker集成里面安装并不是那么方便,先说官方的方法:echo "sentry-ldap-auth" >>sentry/requirements.txt然后重启docker-compose,这样会发现起不来,看日志发现官方的docker并没有gcc和一些需要的相关依赖,这时候需要重新构造自己的docker镜像才行。重构镜像由于用的是docker-compose,重启后docker会销毁重来,如果直接进去系统安装,那么会导致重启后依赖环境没有了,所以这里干脆重新build一...

Linux,docker,python 2021-11-10 PM 1654℃ 5条

HDFS同节点各目录磁盘平衡

说明一般来说,大数据集群的HDFS会有多个存储节点,每个存储节点会配置多个目录(一个磁盘挂载一个目录),这样组成一个m*n的存储池子,速度和可靠性都不错,用一段时间后,随着业务增长,HDFS就不可避免的需要扩容,扩容的操作比较简单,就是每个节点添加磁盘,然后挂载目录,修改HDFS配置,重起服务即可。这时候磁盘空间是出来了,但是HDFS并不会主动平衡,也就是之前存满的目录还是满的,告警还是会有,这时候就需要手动平衡磁盘,这里做一下记录,方便后续需要使用的时候快速操作。步骤生成平衡计划hdfs diskbalancer -plan {nodename}执行平衡计划hdfs diskbalan...

大数据 2021-11-10 PM 1125℃ 0条

sentry前端异常捕获平台集成dingding告警

部署了一套sentry前端异常捕获平台,想接入dingding告警,搜了一圈,发现有人造了轮子,https://github.com/cench/sentry-10-dingding 。配上去试一下一下,发现效果并不好,告警提示比较简单,没有环境信息,无法一眼看出来是哪个环境报错,尝试改了一下插件代码,效果还不错,源码地址如下:https://github.com/jacksnowfuck/sentry-dingding-maxbon安装步骤进入到sentry docker化部署目录cd onpremise停掉docker-composedocker-compose down修改sent...

Linux,docker,python 2021-11-01 PM 1241℃ 0条