走在成长的道路上
走在成长的道路上

awk 使用笔记

基础语法说明

awk 是按分割符进行行处理的工具

1. 命令参数说明

$ awk
Usage: awk [POSIX or GNU style options] -f progfile [--] file ...
Usage: awk [POSIX or GNU style options] [--] 'program' file ...
POSIX options:          GNU long options: (standard)
        -f progfile             --file=progfile   从脚本文件中读取awk命令
        -F fs                   --field-separator=fs   指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F ‘|’
        -v var=val              --assign=var=val    赋值一个用户定义变量
Short options:          GNU long options: (extensions)
        -b                      --characters-as-bytes
        -c                      --traditional
        -C                      --copyright
        -d[file]                --dump-variables[=file]
        -D[file]                --debug[=file]
        -e 'program-text'       --source='program-text'
        -E file                 --exec=file
        -g                      --gen-pot
        -h                      --help
        -i includefile          --include=includefile 加载导入文件
        -l library              --load=library  加载 awk 库
        -L[fatal|invalid]       --lint[=fatal|invalid]   打印不能向传统unix平台移植的结构的警告
        -M                      --bignum 大数模式
        -N                      --use-lc-numeric 使用指定数字解析方式
        -n                      --non-decimal-data 无数字数据
        -o[file]                --pretty-print[=file] 输出到文件
        -O                      --optimize 使用优化
        -p[file]                --profile[=file]
        -P                      --posix  是否 posix 模式
        -r                      --re-interval
        -s                      --no-optimize 无优化
        -S                      --sandbox 沙盒模式
        -t                      --lint-old 传统 unix 警告
        -V                      --version 版本信息

To report bugs, see node `Bugs' in `gawk.info'
which is section `Reporting Problems and Bugs' in the
printed version.  This same information may be found at
https://www.gnu.org/software/gawk/manual/html_node/Bugs.html.
PLEASE do NOT try to report bugs by posting in comp.lang.awk.

gawk is a pattern scanning and processing language.
By default it reads standard input and writes standard output.

Examples:
        gawk '{ sum += $1 }; END { print sum }' file
        gawk -F: '{ print $1 }' /etc/passwd

基本命令格式 awk 'BEGIN{ print "start" } pattern{ commands } END{ print "end" }' file 即可

2. 内置环境说明

  • 常见环境变量
变量 描述
$n 当前记录的第n个字段，字段间由FS分隔。
$0 完整的输入记录。
ARGC 命令行参数的数目。
ARGIND 命令行中当前文件的位置(从0开始算)。
ARGV 包含命令行参数的数组。
CONVFMT 数字转换格式(默认值为%.6g)
ENVIRON 环境变量关联数组。
ERRNO 最后一个系统错误的描述。
FIELDWIDTHS 字段宽度列表(用空格键分隔)。
FILENAME 当前文件名。
FNR 同NR，但相对于当前文件。
FS 字段分隔符(默认是任何空格)。
IGNORECASE 如果为真，则进行忽略大小写的匹配。
NF 当前记录中的字段数。
NR 当前记录数。
OFMT 数字的输出格式(默认值是%.6g)。
OFS 输出字段分隔符(默认值是一个空格)。
ORS 输出记录分隔符(默认值是一个换行符)。
RLENGTH 由match函数所匹配的字符串的长度。
RS 记录分隔符(默认是一个换行符)。
RSTART 由match函数所匹配的字符串的第一个位置。
SUBSEP 数组下标分隔符(默认值是\034)。
  • 常见运算符
运算符 描述
= += -= *= /= %= ^= **= 赋值
?: C条件表达式
|| 逻辑或
&& 逻辑与
~ ~! 匹配正则表达式和不匹配正则表达式
< <= > >= != == 关系运算符
空格 连接
+ - 加，减
* / & 乘，除与求余
+ - ! 一元加，减和逻辑非
^ *** 求幂
++ -- 增加或减少，作为前缀或后缀
$ 字段引用
in 数组成员
  • 内部函数

内容较多，参加 awk 命令使用入门基础详解

3. 执行模式

通常使用 pattern { action } 的模式进行执行，比如 echo "AWK lines"| awk '/^AWK/ {print "这行以 AWK 开头"}'

4. 脚本编写方式

脚本与命令类似，可将多个匹配条件综合到一个执行过程里

$ cat nginx_499.awk
#!/bin/awk -f

# 标记执行过程开始
BEGIN {
    printf "BEGIN : %s \n", "start stat log...."
}

# 仅第十项参数为 200 的行执行相应 action
$10 == 200 {
    ca++
    cb++
    # 使用 next 表示后续的模式不被执行
    next
}

# 仅第十项参数为 499 的行执行相应 action
$10 == 499 {
    if ($16 > 4.99) {
        cc++
    } else if ($16 <= 4.99) {
        cd++
    }
}

# 这里无 pattern 情况下，所有行都会被执行到
{
    # 打印当前行所有内容
    print $0
    ca++
    ce++
}

# 标记执行过程结束
END {
    printf "END : %s \n", "stat result: "
    printf "total request count: %d \n",  ca
    printf "normal response count: %d \n",  cb
    printf "failed response count: %d \n",  ce
    printf "status code: 499, response time >  4.99s count: %d \n",  cc
    printf "status code: 499, response time <= 4.99s count: %d \n",  cd
}

然后执行 awk -f nginx_499.awk nginx.log 即可得到如下结果

$ awk -f nginx_499.awk nginx.log
BEGIN : start stat log....
...省略错误...
END : stat result:
total request count: 7957358
normal response count: 7897586
failed response count: 59772
status code: 499, response time >  4.99s count: 1029
status code: 499, response time <= 4.99s count: 36803

注 通过 chmod +x nginx_499.awk 即可使用 nginx_499.awk nginx.log 直接处理日志

5. 多行分析

内容相对比较容易解析，如下：

$ cat status.log
web01[192.168.2.100]
httpd   ok
tomcat  ok
sendmail    ok
web02[192.168.2.101]
httpd   ok
postfix ok
web03[192.168.2.102]
mysqld  ok
httpd   ok

则简单的使用变量即可实现转换，如下：

$ cat multi-line.awk
#!/bin/awk -f

# 取出当前标签
/^web/ {
    T = $0
    # 标签行处理之后，跳至下一行
    next
}
# 所有非标签行进行标签化打印即可
{
    printf "%s: \t %s \n", T, $0
}

执行 awk -f multi-line.awk status.log 即可，或者直接单行 awk '/^web/{T=$0;next;}{print T ":\t" $0;}' status.log

$ awk -f multi-line.awk status.log
web01[192.168.2.100]:    httpd  ok
web01[192.168.2.100]:    tomcat ok
web01[192.168.2.100]:    sendmail       ok
web02[192.168.2.101]:    httpd  ok
web02[192.168.2.101]:    postfix        ok
web03[192.168.2.102]:    mysqld ok
web03[192.168.2.102]:    httpd  ok

6. 常见语法

  • 变量定义
echo "hoge fuga" | \
awk '
  # 定义变量
  BEGIN {
    var = "hoge"
  }

  # 使用 match 函数匹配第一个字符
  match($1, "^" var) {
    print "match line: " var " content: " $0
  }
'

或

echo "hoge fuga" | \
awk '
  BEGIN {
    var="hoge"
  }
  # 使用 match 函数匹配第一个字符
  $1 ~ /^var/ {
    print "match line: " var " content: " $0
}'
  • 指定行处理
NR == 10 { print "当前为第10行, 内容是: " $0 }
  • 多条件
NR >= 10 || $NF ~ /[0-9]+/ { print "第十行之后，或者最后一个字段数据为数字的行"}
  • 常见处理
# 含有 `特殊处理` 行进行特殊处理
/特殊处理/ {
  # 判定共有 5 个字段
  if(NF == 5){
    # 有 5 个字段的行执行如下打印
    print "Number of fields: 5"
  }

  # 执行for循环操作
  for(i=0; i < 10; i++){
    # 执行十次如下打印
    printf("这是第 %02d: %2d 次循环操作。\n", i, i+1)
  }

  # 执行 while 循环操作
  while(1){
    # 死循环
    print "循环开始。"
    print "循环结束。"

    # 使用 break 跳出死循环。
    break
  }

  # 使用 next 结束处理，当前块之后的所有块都不会被执行。
  next
}

常见分析场景

1. 日志超时统计

在做 nginx 日志分析时，常会需要统计响应时长大于 某时间 请求数量统计，如下是日志：

[26/Feb/2020:14:34:52 +0800] xxx.xxx.34.132 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 499 25 "-" - xxx.xxx.xxx.170:8082 3.540 3.515 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:34:52 +0800] xxx.xxx.36.240 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 499 25 "-" - xxx.xxx.xxx.174:8082 2.987 2.966 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:34:52 +0800] xxx.xxx.36.240 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 499 25 "-" - xxx.xxx.xxx.170:8082 2.986 2.965 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:34:52 +0800] xxx.xxx.36.240 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 499 25 "-" - xxx.xxx.xxx.172:8082 5.983 5.959 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:34:52 +0800] xxx.xxx.34.132 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 499 25 "-" - xxx.xxx.xxx.172:8082 2.967 2.948 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:34:52 +0800] xxx.xxx.34.132 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 499 25 "-" - xxx.xxx.xxx.175:8082 3.006 2.985 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:34:52 +0800] xxx.xxx.34.132 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 499 25 "-" - xxx.xxx.xxx.170:8082 3.005 2.981 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:34:52 +0800] xxx.xxx.36.240 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 200 131 "-" 200 xxx.xxx.xxx.170:8082 0.499 0.453 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:34:59 +0800] xxx.xxx.36.240 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 200 132 "-" 200 xxx.xxx.xxx.175:8082 0.544 0.499 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:35:07 +0800] xxx.xxx.34.132 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 200 131 "-" 200 xxx.xxx.xxx.174:8082 0.499 0.463 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:35:20 +0800] xxx.xxx.41.228 - xxx.xxx.cn:10080 POST "POST /topics/dc_ginfo HTTP/1.1" 499 0 "-" - xxx.xxx.xxx.174:8082 2.990 2.967 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:35:20 +0800] xxx.xxx.36.240 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 499 25 "-" - xxx.xxx.xxx.172:8082 2.983 2.957 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:35:20 +0800] xxx.xxx.104.156 - xxx.xxx.cn:10080 POST "POST /topics/dc_ginfo HTTP/1.1" 499 0 "-" - xxx.xxx.xxx.170:8082 3.003 2.981 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:35:20 +0800] xxx.xxx.36.240 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 499 25 "-" - xxx.xxx.xxx.174:8082 2.981 2.957 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:35:20 +0800] xxx.xxx.36.240 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 499 25 "-" - xxx.xxx.xxx.175:8082 2.989 2.965 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:35:20 +0800] xxx.xxx.36.240 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 499 25 "-" - xxx.xxx.xxx.175:8082 2.992 2.972 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:35:20 +0800] xxx.xxx.34.132 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 499 25 "-" - xxx.xxx.xxx.171:8082 2.968 2.950 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:35:20 +0800] xxx.xxx.34.132 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 499 25 "-" - xxx.xxx.xxx.170:8082 2.994 2.976 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:35:20 +0800] xxx.xxx.34.132 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 200 130 "-" 200 xxx.xxx.xxx.174:8082 2.499 2.453 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:35:28 +0800] xxx.xxx.104.156 - xxx.xxx.cn:10080 POST "POST /topics/dc_ginfo HTTP/1.1" 200 106 "-" 200 xxx.xxx.xxx.171:8082 1.539 1.499 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"
[26/Feb/2020:14:35:28 +0800] xxx.xxx.34.132 - xxx.xxx.cn:10080 POST "POST /topics/dcmessage HTTP/1.1" 200 132 "-" 200 xxx.xxx.xxx.171:8082 0.499 0.460 "Mozilla/5.0 (Windows NT 5.2; rv:13.0) Gecko/20100101 Firefox/13.0.1" "-"

对状态码为 499 且响应时间 5s 的分界点数量统计：

$ awk '{if ($10 == 499 && $16 > 4.99) {ca++} else if ($10 == 499 && $16 <= 4.99) {cb++}} END{print "status 499 and resp time > 4.99: "ca
" \nstatus 499 and resp time <= 4.99: "cb}' nginx.log
status 499 and resp time > 4.99: 1
status 499 and resp time <= 4.99: 14

你可能感兴趣的:(awk 使用笔记)

  • wandb一直上传 解决方案 行业边缘的摸鱼怪 bug解决方案服务器linux服务器
    问题描述运行带有wandb的代码时，虽然可以实现及时同步非常方便，但当设置错参数或其他原因不得不使用ctrl+C停止运行时，总会出现wandb一直上传个不停的现象，给在同一终端重新运行新的代码造成困难。解决方案运行以下代码把wandb的进程直接杀死。psaux|grepwandb|grep-vgrep|awk'{print$2}'|xargskill-9参考链接[CLI]:Ctrl+Ctokill
  • 2020-11-12 写单片机内存的脚本 nc openocd 事务自动测试 linuxScripter
    这是写单片机内存的脚本：z@z-ThinkPad-T400:~/zworkT400/EDA_heiche/zREPOgit/simple-gcc-stm32-project$catz.wholeRun.oneCase.cmdcattmp6.toWrite|awk'{system("echomwb"$1""$2"|nclocalhost4444");}'catUSER/DEBUG/debug.h|g
  • 统计/nginx/access.log中每个ip的访问次数，按高到低排列 年薪丰厚 nginx运维
    /nginx/access.log具体内容长这样：第一个元素就是ip。awk'{print$1}'/nginx/access.log|sort|uniq-c|sort-r首先，awk'{print$1}'/nginx/access.log从/nginx/access.log文件的每行中提取出第一个字段。然后，sort对提取出的第一个字段进行排序。接着，uniq-c统计每个唯一的字段出现的次数。最后
  • 文本处理三剑客之--awk Hu_O&M linuxbash运维开发语言
    一、简介awk是一个处理文本的编程语言工具，能用简短的程序处理标准输入或文件、数据排序、计算以及生成报表等等。awk处理的工作方式与数据库类似，支持对记录和字段处理，这也是grep和sed不能实现的。在awk中，缺省的情况下将文本文件中的一行视为一个记录，逐行放到内存中处理，而将一行中的某一部分作为记录中的一个字段。用1,2,3...数字的方式顺序表示行（记录）中的不同字段。用$后跟数字，引用对应
  • Linux 运维三剑客：grep、sed 和 awk 实战案例与命令参数详解 Lyle_Tu Linux云计算运维运维linuxchrome云计算服务器
    在Linux运维中，grep、sed和awk是三个非常强大的文本处理工具，它们在处理文本数据时发挥着重要作用。本文将通过一些实战案例，展示这三个工具的使用方法和强大功能，并对它们的命令参数进行详解。grep：文本搜索利器grep是一个强大的文本搜索工具，它使用正则表达式来匹配文本模式。以下是grep的一些常用命令参数：-i：忽略大小写进行匹配。-v：反向查找，只打印不匹配的行。-n：显示匹配行的行
  • 欧洲生存指南 張小兵
    今天上午天晴，下午转阴，刮起大风。电脑第一条推送，"StephenHawkingdiesandfloodwarning"。住家Maxine是在大学工作的，我问她今天大学怎么样，她说，还是那样呗，但是BBC已经派人过来四处做采访了，估计会有一场挺大的葬礼。然后，她顿了顿说，再也没有机会在ChristmasDinner碰到霍金啦。早上起来刷手机看到许多小朋友都满有意思的，为这个几千公里外素未谋面的人发
  • shell脚本——正则表达式 诚诚k 正则表达式
    概述正则表达式是你所定义的模式模板，Linux工具可以用它来过滤文本。Linux工具（比如sed编辑器或gawk程序）能够在处理数据时使用正则表达式对数据进行模式匹配。如果数据匹配模式，它就会被接受并进一步处理；如果数据不匹配模式，它就会被滤掉。数据流--正则表达式---（1）匹配的数据（2）滤掉的数据正则表达式（或称RegularExpression，简称RE），是用于描述字符排列和匹配模式的一
  • 使用systemtap进行内核跟踪 程序猿Ricky的日常干货 systemtap
    当我们利用systemtap跟踪内核时，首先需要了解systemtap提供了什么跟踪点，这些跟踪点在systemtap中被称为probe事件。systemtap的语法类似于awk和bpftrace语法，是一种事件驱动的语言。当内核执行到时某一种事件被触发就会处理相应的动作。格式如下：probeprobe-point{statement}systemtap中支持的事件分为很多类型，本文将触发介绍一些
  • linux 查看文本或者日志的命令 XMYX-0 Centos命令使用linux服务器
    文章目录linux查看文本或者日志的命令`cat`命令示例：`tac`命令示例：`less`命令示例：`more`命令示例：`head`命令示例：`tail`命令示例：`grep`命令示例：`awk`和`sed`示例：使用`awk`提取日志中的时间和错误信息示例：使用`sed`查找并替换日志中的特定字符串`watch`命令示例：`dmesg`命令示例：`journalctl`命令示例：查看系统启动
  • 在linux下如何快速关闭多个同名进程 丶Em1tu0F
    ps-u$USER|greppidname|grep-vgrep|awk'{printf("kill-9%s\n",$1)}'|sh
  • shell编程----sed grep awk 醉卧考场君莫笑 linux系统课程学习linuxunix正则表达式
    其他编程前言Sed的介绍sed命令格式Sed程序示例Grepgrep示例Grep与Find示例awk程序示例：总结前言sedgrepawkSed的介绍Sed是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（patternspace），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。主
  • 6 - Shell编程之sed与awk编辑器 活老鬼 Shell脚本linux运维服务器
    目录一、sed1.概述2.sed命令格式3.常用操作的语法演示3.1输出符合条件的文本3.2删除符合条件的文本3.3替换符合条件的文本3.4插入新行二、awk1.概述2.awk命令格式3.awk工作过程4.awk内置变量5.awk用法示例5.1按行输出文本5.2按字段输出文本一、sed1.概述sed是一个强大的文本处理工具，其名称是StreamEditor（流编辑器）的缩写。它被设计用于根据用户定
  • linux shell实现查找系统中的僵尸进程-1 小黑要上天 linuxshelllinux运维服务器shell
    zombie.sh#!/bin/bash#ps命令输出的第8列为Z,表示为僵尸进程，显示该进程的PID和进程命令psaux|awk'{if($8=="Z"||$8=="Z+"){print$2,$11}}'验证：[root@logstash~]#sh-xzombie.sh+psaux+awk'{if($8=="Z"||$8=="Z+"){print$2,$11}}'[root@logstash~]
  • docker批量删除none镜像 青纹刀狼
    1.直接用dockerimages|grepnone|awk‘{print$3}’|xgarsdockerrmi通过关键字搜索，得到dockerid，进行删除
  • rqueue使用笔记 chushiyunen 笔记python开发语言
    文章目录maven依赖引入监听器注入和发送消息接收消息属性配置项目用到rqueue，虽然知道和redis相关，但是肯定有不一样的地方，做个笔记。maven依赖网上找个能用的版本就行，如：com.github.sonus21rqueue-spring-boot-starter2.13.2-RELEASE引入监听器属于配置类，可以考虑和StartupApplication同目录。@Componentp
  • 【Shell】在 Linux 中，如何查看服务器上僵尸进程的数量 不怕娜 服务器linux运维
    目录题目分析答案题目在Linux中，如何查看服务器上僵尸进程的数量（）A.ps-efstat,ppid,pid,cmd|awk‘$1~/R/{print}’|wc-lB.ps-efstat,ppid,pid,cmd|awk‘$1!~/S/{print}’|wc-lC.ps-eostat,ppid,pid,cmd|awk‘$1~/Z/{print}’|wc-lD.ps-eostat,ppid,pid
  • centos换源安装升级gcc youzjuer centoslinux运维
    使用devtools升级安装的时候，由于此库已经停止更新了，因此需要切换阿里源SCL+Devtoolset安装与使用笔记-腾讯云开发者社区-腾讯云(tencent.com)https://cloud.tencent.com/developer/article/18891811yum安装yuminstallcentos-release-sclcentos-release-scl-rh2换源CentO
  • shell脚本—————局域网IP扫描 背锅攻城师 shellLinuxtcp/ip网络协议网络
    #!/bin/bash#该脚本用于采集某个C类网络存活主机的MAC地址#使用方法：bash脚本名字+网卡名字+网段前三位.10.144.100.#ETH=$(ifconfig|grepeth|awk'{print$1}')foripin{1..254}do{arping-c2-w1-I$1$2$ip|grep"replyfrom">/dev/null#如果主机存活，会返回replyfrom的信息；
  • openwrt 原版系统个人优化 Kasen's experience NAS_OpenWrtopenwrt
    更换主题更换Argon主题opkgupdateopkginstallluci-compatopkginstallluci-lib-ipkgmkdir-p/tmp/okibcncd/tmp/okibcnURL=$(wget-qhttps://api.github.com/repos/jerrykuku/luci-theme-argon/releases/latest-O-|awk-F\"-vRS="
  • C语言 指针使用笔记 我是一只小萌新 C语言C指针Pointersc语言
    最近遇到的问题需要经常使用到指针，所以我做了一个整理，也参考了一些其他的资料。1.关于指针给函数传参的问题。如果需要将一个数组传递给函数，函数会修改该数组，该数组之后会用到。那么传参的时候需要传递数组的首地址，也就是指针，和数据的长度。例如，以下代码：voidsystemCall(int*logical_block_address,int*n_lbs){//文件路径、名称logical_block
  • 【读书】014《引力波》：穿越13亿光年，只为拉长人类世界的10亿分之一纳米——两个"黑洞"的婚礼请柬 WuNing
    今天是白色情人节，也是斯蒂芬·霍金（StephenHawking）教授逝世2周年纪念日。翻开一本有深度也有温度的书——《引力波》，重新聆听那来自宇宙深处的布鲁斯，为了浪漫，也为了纪念。电影《星际穿越》海报大家一定记得2014年上映的《星际穿越》，这部豆瓣评分9.3的史诗级科幻电影讲述了宇航员库珀和伙伴们穿越虫洞，去为人类寻找新家园的故事。在茫茫的银河系两端，旅行者面对宏大而幽深的宇宙，绚丽而无声，
  • shell awk教程 linux行者 linux运维#shell运维linuxssh
    awk是行处理器:相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本1.awk命令形式:awk[-F|-f|-v]'BEGIN{commands}pattern{commands}END{commands}'file[-F|-f|-v]大参数，-F指定分隔符，-f调用脚本，-v定义变量var=value''引用代码块BEGIN初始化代码块，在对每一行进行处
  • Shell 编程之正则表达式 与文本处理器 爱笑的文化 正则表达式mysql数据库
    文章目录正则表达式概述元字符总结扩展正则表达式sed工具awk工具sort工具uniq工具tr工具正则表达式概述正则表达式的定义正则表达式又称正规表达式、常规表达式。在代码中常简写为regex、regexp或RE。正则表达式是使用单个字符串来描述、匹配一系列符合某个句法规则的字符串，简单来说，是一种匹配字符串的方法，通过一些特殊符号，实现快速查找、删除、替换某个特定字符串。正则表达式用途对于一般计
  • 阿里nacos的使用笔记（一） JohnYuCN
    一、定位：它是一个Service的：注册发现管理、配置管理的服务器。自身是用SpringBoot的完在的Java项目有着“独立和集群”两种启动模式。采用Derby(standalone模式)或Mysql(Cluster模式)做为持久化存储方案。其管理的服务可以是：（1）SpringBoot微服务（2)K8S的Service（3）Doubbo的RPCService二、安装与启停管理：下载：可以从ht
  • ctfshow之web52~web54 pink鱼 linux运维服务器
    web52if(isset($_GET['c'])){$c=$_GET['c'];if(!preg_match("/\;|cat|flag||[0-9]|\*|more|less|head|sort|tail|sed|cut|tac|awk|strings|od|curl|\`|\%|\x09|\x26|\>|\/dev/null2>&1");}}else{highlight_file(__FIL
  • 将项目从 SVN 迁移到 GIT 单手入天象 javagitsvngithub
    场景项目开发中，项目原本是用的SVN，已经用了一年了，现在公司要抛弃SVN用Git，要求把SVN的代码直接搬过去Git，并保留之前的历史提交记录。操作步骤找到已经被svn管理的项目的根目录WinFarm，右键GitBashHeresvnlog-q|awk-F'|''/^r/{sub("^","",$2);sub("$","",$2);print$2"="$2""}'|sort-u>userinfo
  • 学习笔记 | 文件处理grep、awk、sed这三个命令 大虎牙 #Linuxgrepawksed
    文件处理grep、awk、sed这三个命令必知必会1)grepgrep(globalsearchregularexpression(RE)andprintouttheline,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。常用来在结果中搜索特定的内容。2)awkawk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk
  • linux 系统 shell 脚本，实现【查找进程，杀进程，启动 jar 包，打印输出日志】 ilyuc 运维相关
    先创建一个shell文件touchrestart.sh编写内容vimrestart.sh输入以下内容#!/bin/shAPP_NAME=dp.jarPID=`ps-ef|grepjava|grep$APP_NAME|awk'{print$2}'`echo"finddp.jarPID:$PID"kill-9$PIDecho"killeddp.jarPID:$PID"nohupjava-jardp.j
  • Shell处理Json数据 promise524 jsonpythonlinuxbash
    在Shell中处理复杂的JSON数据,一般有以下三种方式：jq：jq是一款强大的JSON处理工具，支持过滤、修改、重组和生成JSON数据。Python:使用Python来处理复杂的JSON数据。结合了Shell脚本的便利性和Python处理JSON的强大能力grep/sed/awk:在无其他工具的情况下使用grep/sed/awk等（不推荐）一、基于jq处理JSON如果未安装jq，会提示如下错误-
  • bash 笔记 waterHBO bash笔记
    这一篇的内容，太乱了。以后再整理:把熟悉的内容删掉。不熟悉的内容放到前面。#bash:exportHOME=$PWDexportPS1="$"更简短把home把当前目录设置为home,目的是缩短命令提示符前面的内容。看起来更简短。zcatlabevents.csv.gz|awk-F',''($5==50912||$5==50971||$5==50983||$5==50902||$5==50882|
  • 桌面上有多个球在同时运动，怎么实现球之间不交叉，即碰撞？ 换个号韩国红果果 html小球碰撞
    稍微想了一下，然后解决了很多bug，最后终于把它实现了。其实原理很简单。在每改变一个小球的x y坐标后，遍历整个在dom树中的其他小球，看一下它们与当前小球的距离是否小于球半径的两倍？若小于说明下一次绘制该小球（设为a）前要把他的方向变为原来相反方向（与a要碰撞的小球设为b），即假如当前小球的距离小于球半径的两倍的话，马上改变当前小球方向。那么下一次绘制也是先绘制b，再绘制a，由于a的方向已经改变
  • 《高性能HTML5》读后整理的Web性能优化内容 白糖_ html5
    读后感         先说说《高性能HTML5》这本书的读后感吧，个人觉得这本书前两章跟书的标题完全搭不上关系，或者说只能算是讲解了“高性能”这三个字，HTML5完全不见踪影。个人觉得作者应该首先把HTML5的大菜拿出来讲一讲，再去分析性能优化的内容，这样才会有吸引力。因为只是在线试读，没有机会看后面的内容，所以不胡乱评价了。  
  • [JShop]Spring MVC的RequestContextHolder使用误区 dinguangx jeeshop商城系统jshop电商系统
        在spring mvc中，为了随时都能取到当前请求的request对象，可以通过RequestContextHolder的静态方法getRequestAttributes()获取Request相关的变量，如request, response等。         在jshop中，对RequestContextHolder的
  • 算法之时间复杂度 周凡杨 java算法时间复杂度效率
          在 计算机科学 中， 算法 的时间复杂度是一个 函数 ，它定量描述了该算法的运行时间。这是一个关于代表算法输入值的 字符串 的长度的函数。时间复杂度常用 大O符号 表述，不包括这个函数的低阶项和首项系数。使用这种方式时，时间复杂度可被称为是 渐近 的，它考察当输入值大小趋近无穷时的情况。 这样用大写O()来体现算法时间复杂度的记法，
  • Java事务处理 g21121 java
    一、什么是Java事务 通常的观念认为，事务仅与数据库相关。 事务必须服从ISO/IEC所制定的ACID原则。ACID是原子性（atomicity）、一致性（consistency）、隔离性（isolation）和持久性（durability）的缩写。事务的原子性表示事务执行过程中的任何失败都将导致事务所做的任何修改失效。一致性表示当事务执行失败时，所有被该事务影响的数据都应该恢复到事务执行前的状
  • Linux awk命令详解 510888780 linux
    一.  AWK 说明   awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。    awk的处理文本和数据的方式：它逐行扫描文件，从第一行到
  • android permission 布衣凌宇 Permission
    <uses-permission android:name="android.permission.ACCESS_CHECKIN_PROPERTIES" ></uses-permission>允许读写访问"properties"表在checkin数据库中，改值可以修改上传 <uses-permission android:na
  • Oracle和谷歌Java Android官司将推迟 aijuans javaoracle
    北京时间 10 月 7 日，据国外媒体报道，Oracle 和谷歌之间一场等待已久的官司可能会推迟至 10 月 17 日以后进行，这场官司的内容是 Android 操作系统所谓的 Java 专利权之争。本案法官 William Alsup 称根据专利权专家 Florian Mueller 的预测，谷歌 Oracle 案很可能会被推迟。　　该案中的第二波辩护被安排在 10 月 17 日出庭，从目前看来
  • linux shell 常用命令 antlove linuxshellcommand
    grep [options] [regex] [files] /var/root # grep -n "o" * hello.c:1:/* This C source can be compiled with:
  • Java解析XML配置数据库连接(DOM技术连接 SAX技术连接) 百合不是茶 sax技术Java解析xml文档dom技术XML配置数据库连接
        XML配置数据库文件的连接其实是个很简单的问题,为什么到现在才写出来主要是昨天在网上看了别人写的,然后一直陷入其中,最后发现不能自拔 所以今天决定自己完成 ,,,,现将代码与思路贴出来供大家一起学习   XML配置数据库的连接主要技术点的博客; JDBC编程 : JDBC连接数据库 DOM解析XML:  DOM解析XML文件 SA
  • underscore.js 学习（二） bijian1013 JavaScriptunderscore
            Array Functions 所有数组函数对参数对象一样适用。1.first   _.first(array, [n])   别名: head, take       返回array的第一个元素，设置了参数n，就
  • plSql介绍 bijian1013 oracle数据库plsql
    /* * PL/SQL 程序设计学习笔记 * 学习plSql介绍.pdf * 时间：2010-10-05 */ --创建DEPT表 create table DEPT ( DEPTNO NUMBER(10), DNAME NVARCHAR2(255), LOC NVARCHAR2(255) ) delete dept; select
  • 【Nginx一】Nginx安装与总体介绍 bit1129 nginx
    启动、停止、重新加载Nginx nginx 启动Nginx服务器，不需要任何参数u nginx -s stop 快速(强制)关系Nginx服务器 nginx -s quit 优雅的关闭Nginx服务器 nginx -s reload 重新加载Nginx服务器的配置文件 nginx -s reopen 重新打开Nginx日志文件  
  • spring mvc开发中浏览器兼容的奇怪问题 bitray jqueryAjaxspringMVC浏览器上传文件
        最近个人开发一个小的OA项目,属于复习阶段.使用的技术主要是spring mvc作为前端框架,mybatis作为数据库持久化技术.前台使用jquery和一些jquery的插件.     在开发到中间阶段时候发现自己好像忽略了一个小问题,整个项目一直在firefox下测试,没有在IE下测试,不确定是否会出现兼容问题.由于jquer
  • Lua的io库函数列表 ronin47 lua io
    1、io表调用方式：使用io表，io.open将返回指定文件的描述，并且所有的操作将围绕这个文件描述 　　io表同样提供三种预定义的文件描述io.stdin,io.stdout,io.stderr 　　2、文件句柄直接调用方式,即使用file:XXX()函数方式进行操作,其中file为io.open()返回的文件句柄 　　多数I/O函数调用失败时返回nil加错误信息,有些函数成功时返回nil
  • java-26-左旋转字符串 bylijinnan java
    public class LeftRotateString { /** * Q 26 左旋转字符串 * 题目：定义字符串的左旋转操作：把字符串前面的若干个字符移动到字符串的尾部。 * 如把字符串abcdef左旋转2位得到字符串cdefab。 * 请实现字符串左旋转的函数。要求时间对长度为n的字符串操作的复杂度为O(n)，辅助内存为O(1)。 */ pu
  • 《vi中的替换艺术》-linux命令五分钟系列之十一 cfyme linux命令
    vi方面的内容不知道分类到哪里好，就放到《Linux命令五分钟系列》里吧！ 今天编程，关于栈的一个小例子，其间我需要把”S.”替换为”S->”(替换不包括双引号)。 其实这个不难，不过我觉得应该总结一下vi里的替换技术了，以备以后查阅。   1 所有替换方案都要在冒号“:”状态下书写。 2 如果想将abc替换为xyz，那么就这样 :s/abc/xyz/ 不过要特别
  • [轨道与计算]新的并行计算架构 comsci 并行计算
         我在进行流程引擎循环反馈试验的过程中，发现一个有趣的事情。。。如果我们在流程图的每个节点中嵌入一个双向循环代码段，而整个流程中又充满着很多并行路由，每个并行路由中又包含着一些并行节点，那么当整个流程图开始循环反馈过程的时候，这个流程图的运行过程是否变成一个并行计算的架构呢？      
  • 重复执行某段代码 dai_lm android
    用handler就可以了 private Handler handler = new Handler(); private Runnable runnable = new Runnable() { public void run() { update(); handler.postDelayed(this, 5000); } }; 开始计时 h
  • Java实现堆栈（list实现） datageek 数据结构——堆栈
    public interface IStack<T> { //元素出栈，并返回出栈元素 public T pop(); //元素入栈 public void push(T element); //获取栈顶元素 public T peek(); //判断栈是否为空 public boolean isEmpty
  • 四大备份MySql数据库方法及可能遇到的问题 dcj3sjt126com DBbackup
    一：通过备份王等软件进行备份前台进不去？ 用备份王等软件进行备份是大多老站长的选择，这种方法方便快捷，只要上传备份软件到空间一步步操作就可以，但是许多刚接触备份王软件的客用户来说还原后会出现一个问题：因为新老空间数据库用户名和密码不统一，网站文件打包过来后因没有修改连接文件，还原数据库是好了，可是前台会提示数据库连接错误，网站从而出现打不开的情况。 解决方法：学会修改网站配置文件，大多是由co
  • github做webhooks：[1]钩子触发是否成功测试 dcj3sjt126com githubgitwebhook
    转自: http://jingyan.baidu.com/article/5d6edee228c88899ebdeec47.html github和svn一样有钩子的功能，而且更加强大。例如我做的是最常见的push操作触发的钩子操作，则每次更新之后的钩子操作记录都会在github的控制板可以看到！ 工具/原料 github 方法/步骤
  • ">的作用" target="_blank">JSP中的作用 蕃薯耀
    JSP中<base href="<%=basePath%>">的作用 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
  • linux下SAMBA服务安装与配置 hanqunfeng linux
    局域网使用的文件共享服务。 一.安装包： rpm -qa | grep samba samba-3.6.9-151.el6.x86_64 samba-common-3.6.9-151.el6.x86_64 samba-winbind-3.6.9-151.el6.x86_64 samba-client-3.6.9-151.el6.x86_64 samba-winbind-clients
  • guava cache IXHONG cache
    缓存，在我们日常开发中是必不可少的一种解决性能问题的方法。简单的说，cache 就是为了提升系统性能而开辟的一块内存空间。 　　缓存的主要作用是暂时在内存中保存业务系统的数据处理结果，并且等待下次访问使用。在日常开发的很多场合，由于受限于硬盘IO的性能或者我们自身业务系统的数据处理和获取可能非常费时，当我们发现我们的系统这个数据请求量很大的时候，频繁的IO和频繁的逻辑处理会导致硬盘和CPU资源的
  • Query的开始--全局变量,noconflict和兼容各种js的初始化方法 kvhur JavaScriptjquerycss
    这个是整个jQuery代码的开始，里面包含了对不同环境的js进行的处理，例如普通环境，Nodejs，和requiredJs的处理方法。 还有jQuery生成$, jQuery全局变量的代码和noConflict代码详解  完整资源： http://www.gbtags.com/gb/share/5640.htm jQuery 源码：   (
  • 美国人的福利和中国人的储蓄 nannan408
       今天看了篇文章，震动很大，说的是美国的福利。    美国医院的无偿入院真的是个好措施。小小的改善，对于社会是大大的信心。小孩，税费等，政府不收反补，真的体现了人文主义。    美国这么高的社会保障会不会使人变懒？答案是否定的。正因为政府解决了后顾之忧，人们才得以倾尽精力去做一些有创造力，更造福社会的事情，这竟成了美国社会思想、人
  • N阶行列式计算(JAVA) qiuwanchi N阶行列式计算
    package gaodai; import java.util.List; /** * N阶行列式计算 * @author 邱万迟 * */ public class DeterminantCalculation { public DeterminantCalculation(List<List<Double>> determina
  • C语言算法之打渔晒网问题 qiufeihu c算法
    如果一个渔夫从2011年1月1日开始每三天打一次渔，两天晒一次网，编程实现当输入2011年1月1日以后任意一天，输出该渔夫是在打渔还是在晒网。 代码如下：   #include <stdio.h> int leap(int a) /*自定义函数leap()用来指定输入的年份是否为闰年*/ { if((a%4 == 0 && a%100 != 0
  • XML中DOCTYPE字段的解析 wyzuomumu xml
    DTD声明始终以!DOCTYPE开头,空一格后跟着文档根元素的名称,如果是内部DTD,则再空一格出现[],在中括号中是文档类型定义的内容. 而对于外部DTD,则又分为私有DTD与公共DTD,私有DTD使用SYSTEM表示,接着是外部DTD的URL. 而公共DTD则使用PUBLIC,接着是DTD公共名称,接着是DTD的URL.   私有DTD <!DOCTYPErootSYST
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他