【随笔】学习记录、实用脚本

---

工作随笔

本章内容仅为记录博主工作中新接触的命令、遇到的故障等内容。

---

一、kafka

1.1 基础命令

#进入到fafka容器之后，通过kafka对应命令，去查看所有的topic和消费topic

#查看所有的topic
./kafka-topics.sh --bootstrap-server kafka的IP地址:端口号 --list

#删除对应的topic
./kafka-topics.sh --delete --topic 对应的topic --bootstrap-server kafka的IP地址:端口号

#对topic进行消费
./kafka-console-consumer.sh --bootstrap-server kafka的IP地址:端口号 --topic topic名称（索引名） --from-beginning --property print.key=true --max-messages 10
--from-beginning 代表从头消费
--property print.key=true 代表把主键消费出来
--max-messages 代表消费几条

#查看所有的消费者组
./kafka-consumer-group --bootstrap-server kafka的IP地址:端口号 --list 

#查看对应消费者组详细信息
./kafka-consumer-group --bootstrap-server kafka的IP地址:端口号 --group 组名称（索引名） --describe

---

二、es

1.1 基础命令

#查看es中存储的所有索引
curl 'es账号:es密码@es的IP地址:端口号/_cat/indices?v'

#查看es中存储的指定索引（第一条搜索功能更强大一些）
curl 'es账号:es密码@es的IP地址:端口号/_cat/indices/索引名（可匹配正则表达式）?pretty'
curl 'es账号:es密码@es的IP地址:端口号/_cat/indices?v' | grep 索引名

#查看es指定索引中的指定键下的值（相当于mysql中的select后加where进行筛选）
curl 'es账号:es密码@es的IP地址:端口号/索引名/_search?pretty&q=搜索条件 '
#举例（其中ID是es索引中的主键之一，size意思是控制搜索出数据的大小，导出到一个文件中可以查看）
curl 'es账号:es密码@es的IP地址:端口号/索引名/_search?pretty&q=ID:12345678&size=100' > test.txt

---

三、实用小脚本

3.1 判断文件中是否有某个对应的值

• 前提条件：为了判断某个目录下，所有文件中，是否含有某个值（一般为看日志有没有报错、找数据库中对应的字段）

 #!/bin/bash
 lu=/opt/test/
 for i in `ls $lu`
 do
   zhi=`tail -20 $lu$i |grep "a"`
   #-z：值为空则条件为真；-n：值为空则判断为假
   if [ -z "$zhi" ]
   then
     echo "$i 没有a这个值"
   else
     echo "$i 有有有有有"
   fi
 done

---

3.2 awk实用技巧

3.2.1 筛选最后一列

awk '{print $NF}'

---

3.2.2 指定列求和（一般用于topic数据量求和）

awk -F':' '{sum += $3} END {print sum}'

四、临时小故障

4.1 内存有空闲、swap用完了

• 前提：某日进行公司任务、执行某个计算命令、因脚本线程数开多了，资源使用预估错误，导致内存使用完，开始使用swap分区
• 处理：先杀进程–>将内存中的保存到磁盘（防止数据丢失）–>清空缓存（buffers/cache）–>关闭&&启动swap分区–>清理完毕

#过滤并清除正在运行的进程
ps -ef |grep 运行的脚本名 |awk '{print $2}'|xargs kill -9

#将内存的缓存写入到磁盘
sync

#清空缓存
echo 3 >/proc/sys/vm/drop_caches    	#清理buffers/cache
echo 0 >/proc/sys/vm/drop_caches    	#恢复默认值（3是清除）

#清理swap分区
swapon -s								#查看swap是挂载在哪个目录的
swapoff 对应目录 && swapon 对应目录 &		#清理需要一定时间,因此放在后台执行（注意自己有没有后台执行的任务）

jobs	查看后台任务是否在运行
free -h 查看是否清除完毕

#对于使用swap分区这块，有个配置文件可以调整参数，数值越小，表示尽量不去使用swap分区
echo 10 > /proc/sys/vm/swappiness		#临时生效

echo “vm.swappiness=10″ >> /etc/sysctl.conf
sysctl -p								#永久生效

---