Linux文本提取命令awk和grep,awk、grep、sed是linux操作文本的三大利器，也是必须掌握的linux命令之一...

awk、grep、sed是linux操作文本的三大利器，也是必须掌握的linux命令之一。三者的功能都是处理文本，但侧重点各不相同，其中属awk功能最强大，但也最复杂。grep更适合单纯的查找或匹配文本，sed更适合编辑匹配到的文本，awk更适合格式化文本，对文本进行较复杂格式处理。

以下所有实验输出，均以测试文件test.log内容为基准：

20170102 admin,password Open

20170801 nmask,nmask close

20180902 nm4k,test filter

awk

AWK是一种处理文本文件的语言，是一个强大的文本分析工具; awk是以列为划分计数的，$0表示所有列，$1表示第一列，$2表示第二列。

awk参数

-F 指定输入文件折分隔符，如-F:

-v 赋值一个用户定义变量，如-va=1

-f 从脚本文件中读取awk命令

注：只列举最常用的参数

分隔符

每行按空格分割列，并输出第1、3列

$ awk '{print $1,$3}' test.log

# 或者

$ cat test.log | awk '{print $1,$3}'

自定义分隔符

使用”,”进行分割，参数用-F

awk -F, '{print $1,$2}' test.log

使用多个分隔符，先使用空格分割，然后对分割结果再使用”,”分割

$ awk -F '[ ,]' '{print $1,$2,$3}' test.log #注意逗号前面有一个空格

设置变量

设置awk自定义变量，用参数-v

例子：设置变量a为1

cat test.log | awk -v a=1 '{print $1,$1+a}'

注意：-v a之间要空格。

字符串拼接：(用””而不是+)

cat test.log | awk -v a=\" '{print a""$0""a}'

逻辑判断

输出第一列为20170801的记录

cat test.log | awk '$1==20170801 {print}'

输出第二列不是nmask,nmask的记录

cat test.log | awk '$2!="nmask,nmask" {print}'

内建变量

NR参数：输出行号

cat test.log | awk '{print NR,$1,$2,$3}'

正则表达式

输出第二列中包含nm开头的所有记录

cat test.log | awk '$2 ~ /nm.*/ {print}'

输出包含2017开头的记录

cat test.log | awk '/2017.*/ {print}'

注意：这里没有～，因为没有指定是哪一列

忽略大小写{INGORECASE=1}

cat test.log | awk '{INGORECASE=1} /nmask/ {print}'

匹配取反 !~

cat test.log | awk '$2 !~ /nmask/ {print}'

内置函数

substr字符串截取

截取第一列的第一到第四个字符

cat test.log | awk '{print substr($1,1,4)}'

split切分字符串

以逗号分隔第2列的数据，并输出分别输出第2列的内容

cat test.log | awk '{split($2,a,",");print a[1],a[2]}'

gsub替换

将第2列中的nmask替换成nMask

cat test.log | awk '{gsub("nmask","nMask",$2);print}'

grep

Linux grep命令用于查找文件里符合条件的字符串。

Usage

递归查询

grep -r nmask /etc/ #查看/etc目录下内容包含nmask的文件

查询取反

grep -v test test.log

sed

Linux sed命令是利用script来处理文本文件。

参数

-e 以选项中指定的script来处理输入的文本文件。

-f 以选项中指定的script文件来处理输入的文本文件。

-h 显示帮助。

-n 仅显示script处理后的结果。

-V 显示版本信息。

动作

a ：新增， a 的后面可以接字串，而这些字串会在下一行出现

i ：插入， i 的后面可以接字串，而这些字串会在上一行出现

c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行

d ：删除

s ：取代，通常这个s的动作可以搭配正规表示法！如 s/old/new/g

插入操作

在test.log文件的第3行后插入一行，内容为nmask

sed -e 3a\nmask test.log

删除操作

删除test.log的第2行、第3行数据

cat test.log | sed '2,3d'

匹配删除，删除行中有nmask字符串的

nl test.log | sed '/nmask/d'

替换操作

sed 's/要被取代的字串/新的字串/g'

awk grep sed cut学习

awk学习网站 grep sed cut

awk,grep,sed文本格式化处理

一.awk取列 [root@web01 ~]# cat /etc/passwd|awk -F ':' '{print $1"\t\t"$7}' ###-F指定分隔符 root /b ...

打印第二列为oldboy的第一列内容(awk,grep,sed用法)

[root@goldtest ~]# cat ip.log 10.0.0.1 oldboy 10.0.0.2 oldgirl 10.0.0.4 tingting 10.0.0.4 oldboy old ...

awk grep sed 的一些问题

条件   匹配    打印含关键字的行 ps aux  | sort -k 4 -r | awk '$4 ~ /^[0-9]/ && $4>0 {print $4,$11}' z ...

Linux三剑客：grep、awk、sed

---------------------------------------------------------------------------------------------------- ...

Linux高级文本处理命令

cut 一.cut命令 功能:cut命令可以从一个文本文件/文本流中提取文本列 语法: cut -d '分割字符' -f fields ##用于有特定分割字符 cut -c 字符区间 ##用于排列整齐 ...

Linux文本文件——文本编辑器Vim

Linux文本文件——文本编辑器Vim 摘要:本文主要学习在Linux系统中使用Vim文本编辑器编辑文本. 什么是Vim Vim是一个基于文本界面的编辑工具,使用简单且功能强大.更重要的是,Vim是所 ...

linux学习笔记：第二单元 UNIX和Linux操作系统概述

第二单元 UNIX和Linux操作系统概述 UNIX是什么 UNIX操作系统的特点 UNIX 与Linux的关系 GNU项目与自由软件 GUN计划 自由软件意味着什么 Linux简介 Linux是什么 ...

Linux 操作系统文件略解

1.使用tree命令查看根目录的树结构 # tree -L 1 如果没有tree命令,可以使用yum进行安装 # yum -y install tree 执行命令后,即可看到根下一共有19个目录 . ...

随机推荐

详解JavaScript模块化开发

什么是模块化开发? 前端开发中,起初只要在script标签中嵌入几十上百行代码就能实现一些基本的交互效果,后来js得到重视,应用也广泛起来了,jQuery,Ajax,Node.Js,MVC,MVVM等 ...

InfluxDB学习之InfluxDB的基本概念

InfluxDB与传统数据库在概念上有许多的不同,本文就给大家介绍下InfluxDB中的一些基本概念,更多InfluxDB详细教程请看:InfluxDB系列学习教程目录 InfluxDB技术交流群:5 ...

EBS R12.2应用层启动脚本的执行过程

$ pwd /app/oracle/apps/VIS/fs1/inst/apps/VIS_erptest/admin/scripts $ ./adstrtal.sh apps/apps You are ...

在Windows下使用Nodist进行Node版本控制

完全卸载Node.js 首先卸载Node.js应用程序 确认在C:\Program Files中没有Nodejs目录 确认在C:\Program Files (x86)没有Nodejs目录 删除C:\ ...

tcp粘包问题(封包)

tcp粘包分析     http://blog.csdn.net/zhangxinrun/article/details/6721495 解决TCP网络传输“粘包”问题(经典)       http: ...

OC类方法和实例方法中的self区别

OC类方法和实例方法中的self Objective-C里面既有实例方法也类方法.类方法(Class Method) 有时被称为工厂方法(Factory Method)或者方便方法(Convenien ...

PHP output_buffering 你了解多少

一.我们要说一下php中的缓存大概有哪些! 在PHP中,我们可以粗略的将缓存分为客户端缓存(Browser缓存),服务器端缓存(Server缓存).由于PHP是基于B/S架构的,所以,我们可以理解为浏 ...

杂记：腾讯暑期实习 Web 后端开发面试经历

今天面试(一面)腾讯暑期实习 Web 后端开发,一言难尽. 第一部分,常规的自我介绍. 介绍完,面试官问我对人工智能有什么理解?深度学习和机器学习的区别?对调参有什么见解?语音识别中怎样运用了机器学习 ...

CCScale9Sprite 的 setContentSize setPreferredSize 区别

CCScale9Sprite 设置图片大小方式: updateButtonSpriteMark->setContentSize(size);//设置图片的原始大小设置节点的未转换大小.无论节点被 ...

微信小程序用户数据解密

概述 通过微信web开发者工具创建登录,获取用户信息,发送至后台,进行用户数据解密 详细 代码下载:http://www.demodashi.com/demo/10705.html 一.准备工作 1. ...