寻找_f34c
寻找_f34c

2019-07-day19

三剑客之awk的基础用法

1.awk命令的概述：
gawk : pattern scanning and processing language
可以进行模式扫描 和 是一门语言
2.awk语法 : awk [参数] '模式{动作}' 文件
sed 语法：sed [参数] '条件 指令' 文件信息
3.awk命令的作用
处理文件信息：文本文件信息 日志文件信息 配置文件信息
处理文件方式: 排除信息 查询信息 统计信息 替换信息
对文件列进行处理

原理图：
QQ图片20190725154253.png

创建测试环境
[root@www ~]# cat reg.txt
Zhang Dandan 41117397 :250:100:175
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
Liu Bingbing 41117483 :250:100:175
Wang Xiaoai 3515064655 :50:95:135
Zi Gege 1986787350:00
Li Youjiu 918391635 :175:75:300
01.显示xiaoyu的姓氏和ID号码
第一步：找出需要编辑模式信息 获取xiaoyu信息
[root@www ~]# awk '/Xiaoyu/' reg.txt
找出了文件中带xiaoyu的信息
Zhang Xiaoyu 390320151 :155:90:201
Li Youjiu Xiaoyu :175:75:300
[root@www ~]# awk '2~/Xiaoyu/' reg.txt 找出第二列带xiaoyu 的信息 ~这里表示匹配 Zhang Xiaoyu 390320151 :155:90:201 第二步：根据条件做处理 显示满足条件的第三列和第一列信息 awk '2~/xiaoyu/{动作}' reg.txt
awk '1,2~/Xiaoyu/{print 3}' reg.txt
Zhang 390320151

  1. 姓氏是Zhang的人,显示他的第二次捐款金额及他的名字
    第一个步骤: 找出需要编写模式信息
    awk '1~/Zhang/' reg.txt
    Zhang Dandan 41117397 :250:100:175
    Zhang Xiaoyu 390320151 :155:90:201
    第二个步骤: 根据条件做处理
    [root@www ~]# awk '1,4}' reg.txt
    Zhang Dandan :250:100:175
    Zhang Xiaoyu :155:90:201
    默认是以空格分的列 所以会显示第三列会显示所有数值

以冒号划分的列 参数-F 表示以什么划分 比如：以冒号":" 以冒号空格 ": "
awk -F ": " '1,4}' reg.txt
[root@www ~]# awk -F ":" '1,3}' reg.txt 以冒号划分的列
Zhang Dandan 41117397 250 100
Zhang Xiaoyu 390320151 155 90
[root@www ~]# cat reg.txt
第一列 第2列 第三列 第四列
Zhang Dandan 41117397 : 250 :100 :175
Zhang Xiaoyu 390320151 : 155 :90 :201

以冒号和空格划分
awk -F "[: ]+" '1,5}' reg.txt
[: ]+ 表示连续多个分隔符合并成成一个整体
答案：[root@www ~]# awk -F "[: ]+" '1,5}' reg.txt
Zhang Dandan 100
Zhang Xiaoyu 90

  1. 显示所有以41开头的ID号码的人的全名和ID号码
    第一个步骤: 找出需要编写模式信息
    awk '3~/^41/' reg.txt
    Zhang Dandan 41117397 :250:100:175
    Liu Bingbing 41117483 :250:100:175
    第二个步骤: 根据条件做处理
    awk '1,3}' reg.txt
    [root@www ~]# awk '1,3}' reg.txt
    Zhang Dandan 41117397
    Liu Bingbing 41117483
    [root@www ~]# awk '1,3}' reg.txt|column -t column -t ：对齐显示
    Zhang Dandan 41117397
    Liu Bingbing 41117483
  2. 显示所有ID号码最后一位数字是1或5的人的全名
    第一个步骤: 找出需要编写模式信息
    找出第三列以1或5结尾的信息
    方法一：[root@www ~]# awk '|53~/[15]3~/(1|5)3~/1/{print 2}' reg.txt
    答案：[root@www ~]# awk '|51,3~/[15]1,$2}' reg.txt
    Zhang Xiaoyu
    Wu Waiwai
    Wang Xiaoai
    Li Youjiu
  3. 获取文件中有井号或空行的内容, 将空行和井号信息的行排除
    第一个步骤: 找出需要编写模式信息
    awk '/#|^/' reg.txt

‘ #Wu Waiwai 70271111 :250:80:75
' #Wang Xiaoai 3515064655 :50:95:135

[root@www ~]# cat reg.txt 查看文件内容
Zhang Dandan 41117397 :250:100:175

Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50

.#Wu Waiwai 70271111 :250:80:75
Liu Bingbing 41117483 :250:100:175
.#Wang Xiaoai 3515064655 :50:95:135
方法二：[root@www ~]# awk '/' reg.txt

/#Wu Waiwai 70271111 :250:80:75
/#Wang Xiaoai 3515064655 :50:95:135
说明: $0 表示将文件所有列信息进行显示

awk '!/#|^/' reg.txt !表示取反 就是除去#号和空行 都显示出来 第二个步骤: 根据条件做处理 答案 ：[root@www ~]# awk '!/#|^/' reg.txt
Zhang Dandan 41117397 :250:100:175
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Liu Bingbing 41117483 :250:100:175
Zi Gege 1986787350:00
Li Youjiu 918391635 :175:75:300
Li Youjiu Xiaoyu :175:75:300
方法二：[root@www ~]# awk '/{print $0}' reg.txt
Zhang Dandan 41117397 :250:100:175
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Liu Bingbing 41117483 :250:100:175
Zi Gege 1986787350:00
Li Youjiu 918391635 :175:75:300
Li Youjiu Xiaoyu :175:75:300

  1. 显示Xiaoyu的捐款,每个捐款数额都是以110330
    awk '4}' reg.txt|sed 's#:#2~/Xiaoyu/{print #g'
    902~/Xiaoyu/{print "4,"5,"6}' reg.txt
    90 将第几列)
    操作：[root@www ~]# awk '",NF}' reg.txt
    90NF 表示文件的最后一列信息
  2. awk命令模式分类
    普通模式: 比较行信息
    [root@www ~]# cat reg.txt 查看源文件
    Zhang Dandan 41117397 :250:100:175
    Zhang Xiaoyu 390320151 :155:90:201
    Meng Feixue 80042789 :250:60:50
    Wu Waiwai 70271111 :250:80:75
    Liu Bingbing 41117483 :250:100:175
    Wang Xiaoai 3515064655 :50:95:135
    Zi Gege 1986787350:00
    Li Youjiu 918391635 :175:75:300
    Li Youjiu Xiaoyu :175:75:300

[root@www ~]# awk 'NR>2' reg.txt 显示大于2行的信息

Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
Liu Bingbing 41117483 :250:100:175
Wang Xiaoai 3515064655 :50:95:135
Zi Gege 1986787350:00
Li Youjiu 918391635 :175:75:300
Li Youjiu Xiaoyu :175:75:300

[root@www ~]# awk 'NR<2' reg.txt 显示小于2行的信息
Zhang Dandan 41117397 :250:100:175
说明: NR 表示文件行信息

取出多行信息
[root@www ~]# awk 'NR==2,NR==4' reg.txt
连续多行信息
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75

[root@www ~]# awk 'NR==2;NR==4' reg.txt
不连续多行 指定行的信息
Zhang Xiaoyu 390320151 :155:90:201
Wu Waiwai 70271111 :250:80:75

特殊模式:
BEGIN{动作}: 在处理文件之前,先做什么事情
[root@www ~]# awk 'BEGIN{print "姓","名","号码","捐款记录"}{print 0}' reg.txt|column -t 姓 名 号码 捐款记录 Zhang Dandan 41117397 :250:100:175 Zhang Xiaoyu 390320151 :155:90:201 Meng Feixue 80042789 :250:60:50 Wu Waiwai 70271111 :250:80:75 Liu Bingbing 41117483 :250:100:175 Wang Xiaoai 3515064655 :50:95:135 Zi Gege 1986787350:00 Li Youjiu 918391635 :175:75:300 Li Youjiu Xiaoyu :175:75:300 用于计算: [root@www ~]# awk (NF-1)}' reg.txt --- 取出倒数第二列
NR: 表示行信息
FS: 指定列分隔符, 默认识别空格为分割符
[root@www ~]# awk 'BEGIN{FS="[: ]+"}{print 1,4}' reg.txt Zhang 250 Zhang 155 Meng 250 Wu 250 Liu 250 Wang 50 Zi 00 Li 175 Li 175 END{动作}: 在处理文件之后,再做什么事情 [root@www ~]# awk 'BEGIN{print 0}END{print "学生捐款登记表"}' reg.txt|column -t
姓 名 号码 捐款记录
Zhang Dandan 41117397 :250:100:175
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
Liu Bingbing 41117483 :250:100:175
Wang Xiaoai 3515064655 :50:95:135
Zi Gege 1986787350:00
Li Youjiu 918391635 :175:75:300
Li Youjiu Xiaoyu :175:75:300
学生捐款登记表
实际作用:
可以将统计后的最终结果进行输出

  1. awk对文件进行统计分析

    1. awk统计运算公式
      a 文本信息累加运算
      i=i+1
      统计文件行数
      awk '{i=i+1}END{print i}' test.txt
      [root@www ~]# awk '/oldboy/{i=i+1}END{print i}' reg.txt
      9
      [root@www ~]# awk '/oldboy/{i++}END{print i}' reg.txt
      9
      数值信息求和运算
      sum=sum+n 你要对文件第几列信息做求和运算

    seq 10|awk '{sum=sum+$1}END{print sum}'

    55

    找出有faild信息, 总共出现了多少次 (awk统计)
    难点: windows文件如何传输到linux系统
    yum install -y lrzsz --- 实现windows和linux系统之间数据传输
    rz -- 将windows数据 ---> linux系统
    sz -- 将linux数据 ---> windows系统

    awk '/Failed/{i++}END{print i}' secure-20161219
    awk '$6~/Failed/{i++}END{print i}' secure-20161219'

课程知识重点
1) awk命令概念介绍: 语法 原理 BEGIN 处理文件 END
2) awk命令操作说明: 作用 查询 排除 替换
参数:
-F : 指定列分割符号
-v : 指定变量信息
动作:
print : 输出指定信息
gsub : 替换指定信息
符号:
~ : 匹配信息 按照指定列进行匹配
!~ : 将匹配的信息取反
// : 指定匹配信息
3) awk命令模式分类
BEGIN{}: 处理文件前, 执行什么动作
END{}: 处理文件后, 执行什么动作
内置变量: FS NF NR --n

你可能感兴趣的:(2019-07-day19)

  • 2019-07-day19 寻找_f34c
    三剑客之awk的基础用法1.awk命令的概述：gawk:patternscanningandprocessinglanguage可以进行模式扫描和是一门语言2.awk语法:awk[参数]'模式{动作}'文件sed语法：sed[参数]'条件指令'文件信息3.awk命令的作用处理文件信息：文本文件信息日志文件信息配置文件信息处理文件方式:排除信息查询信息统计信息替换信息对文件列进行处理原理图：QQ图片
  • 多线程编程之卫生间 周凡杨 java并发卫生间线程厕所
    如大家所知，火车上车厢的卫生间很小，每次只能容纳一个人，一个车厢只有一个卫生间，这个卫生间会被多个人同时使用，在实际使用时，当一个人进入卫生间时则会把卫生间锁上，等出来时打开门，下一个人进去把门锁上，如果有一个人在卫生间内部则别人的人发现门是锁的则只能在外面等待。问题分析：首先问题中有两个实体，一个是人，一个是厕所，所以设计程序时就可以设计两个类。人是多数的，厕所只有一个（暂且模拟的是一个车厢）。
  • How to Install GUI to Centos Minimal sunjing linuxInstallDesktopGUI
    http://www.namhuy.net/475/how-to-install-gui-to-centos-minimal.html   I have centos 6.3 minimal running as web server. I’m looking to install gui to my server to vnc to my server. You can insta
  • Shell 函数 daizj shell函数
    Shell 函数 linux shell 可以用户定义函数，然后在shell脚本中可以随便调用。 shell中函数的定义格式如下： [function] funname [()]{ action; [return int;] } 说明： 1、可以带function fun() 定义，也可以直接fun() 定义,不带任何参数。 2、参数返回
  • Linux服务器新手操作之一 周凡杨 Linux 简单 操作
    1.whoami      当一个用户登录Linux系统之后，也许他想知道自己是发哪个用户登录的。      此时可以使用whoami命令。      [ecuser@HA5-DZ05 ~]$ whoami       e
  • 浅谈Socket通信（一） 朱辉辉33 socket
    在java中ServerSocket用于服务器端，用来监听端口。通过服务器监听，客户端发送请求，双方建立链接后才能通信。当服务器和客户端建立链接后，两边都会产生一个Socket实例，我们可以通过操作Socket来建立通信。    首先我建立一个ServerSocket对象。当然要导入java.net.ServerSocket包    ServerSock
  • 关于框架的简单认识 西蜀石兰 框架
    入职两个月多，依然是一个不会写代码的小白，每天的工作就是看代码，写wiki。 前端接触CSS、HTML、JS等语言，一直在用的CS模型，自然免不了数据库的链接及使用，真心涉及框架，项目中用到的BootStrap算一个吧，哦，JQuery只能算半个框架吧，我更觉得它是另外一种语言。 后台一直是纯Java代码，涉及的框架是Quzrtz和log4j。 都说学前端的要知道三大框架，目前node.
  • You have an error in your SQL syntax; check the manual that corresponds to your 林鹤霄
    You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'option,changed_ids  ) values('0ac91f167f754c8cbac00e9e3dc372
  • MySQL5.6的my.ini配置 aigo mysql
    注意：以下配置的服务器硬件是：8核16G内存    [client]   port=3306   [mysql]   default-character-set=utf8     [mysqld]   port=3306   basedir=D:/mysql-5.6.21-win
  • mysql 全文模糊查找 便捷解决方案 alxw4616 mysql
    mysql 全文模糊查找 便捷解决方案 2013/6/14 by 半仙 [email protected] 目的: 项目需求实现模糊查找. 原则: 查询不能超过 1秒. 问题: 目标表中有超过1千万条记录. 使用like '%str%' 进行模糊查询无法达到性能需求. 解决方案: 使用mysql全文索引. 1.全文索引 : MySQL支持全文索引和搜索功能。MySQL中的全文索
  • 自定义数据结构 链表(单项 ,双向,环形) 百合不是茶 单项链表双向链表
         链表与动态数组的实现方式差不多,    数组适合快速删除某个元素    链表则可以快速的保存数组并且可以是不连续的       单项链表;数据从第一个指向最后一个   实现代码:        //定义动态链表 clas
  • threadLocal实例 bijian1013 javathreadjava多线程threadLocal
    实例1： package com.bijian.thread; public class MyThread extends Thread { private static ThreadLocal tl = new ThreadLocal() { protected synchronized Object initialValue() { return new Inte
  • activemq安全设置—设置admin的用户名和密码 bijian1013 javaactivemq
            ActiveMQ使用的是jetty服务器, 打开conf/jetty.xml文件，找到 <bean id="adminSecurityConstraint" class="org.eclipse.jetty.util.security.Constraint"> <p
  • 【Java范型一】Java范型详解之范型集合和自定义范型类 bit1129 java
    本文详细介绍Java的范型，写一篇关于范型的博客原因有两个，前几天要写个范型方法(返回值根据传入的类型而定)，竟然想了半天，最后还是从网上找了个范型方法的写法；再者，前一段时间在看Gson, Gson这个JSON包的精华就在于对范型的优雅简单的处理，看它的源代码就比较迷糊，只其然不知其所以然。所以，还是花点时间系统的整理总结下范型吧。   范型内容 范型集合类 范型类
  • 【HBase十二】HFile存储的是一个列族的数据 bit1129 hbase
    在HBase中，每个HFile存储的是一个表中一个列族的数据，也就是说，当一个表中有多个列簇时，针对每个列簇插入数据，最后产生的数据是多个HFile，每个对应一个列族，通过如下操作验证   1. 建立一个有两个列族的表   create 'members','colfam1','colfam2'   2. 在members表中的colfam1中插入50*5
  • Nginx 官方一个配置实例 ronin47 nginx 配置实例
    user www www; worker_processes 5; error_log logs/error.log; pid logs/nginx.pid; worker_rlimit_nofile 8192; events { worker_connections 4096;} http { include conf/mim
  • java-15.输入一颗二元查找树，将该树转换为它的镜像， 即在转换后的二元查找树中，左子树的结点都大于右子树的结点。 用递归和循环 bylijinnan java
    //use recursion public static void mirrorHelp1(Node node){ if(node==null)return; swapChild(node); mirrorHelp1(node.getLeft()); mirrorHelp1(node.getRight()); } //use no recursion bu
  • 返回null还是empty bylijinnan javaapachespring编程
    第一个问题，函数是应当返回null还是长度为0的数组（或集合）？ 第二个问题，函数输入参数不当时，是异常还是返回null？ 先看第一个问题 有两个约定我觉得应当遵守： 1.返回零长度的数组或集合而不是null（详见《Effective Java》） 理由就是，如果返回empty，就可以少了很多not-null判断： List<Person> list
  • [科技与项目]工作流厂商的战略机遇期 comsci 工作流
          在新的战略平衡形成之前，这里有一个短暂的战略机遇期，只有大概最短6年，最长14年的时间，这段时间就好像我们森林里面的小动物，在秋天中，必须抓紧一切时间存储坚果一样，否则无法熬过漫长的冬季。。。。         在微软，甲骨文，谷歌，IBM,SONY
  • 过度设计-举例 cuityang 过度设计
    过度设计，需要更多设计时间和测试成本，如无必要，还是尽量简洁一些好。 未来的事情，比如 访问量，比如数据库的容量，比如是否需要改成分布式  都是无法预料的 再举一个例子，对闰年的判断逻辑： 　　1、 if($Year%4==0) return True; else return Fasle; 　　2、if (   ($Year%4==0  &am
  • java进阶，《Java性能优化权威指南》试读 darkblue086 java性能优化
    记得当年随意读了微软出版社的.NET 2.0应用程序调试，才发现调试器如此强大，应用程序开发调试其实真的简单了很多，不仅仅是因为里面介绍了很多调试器工具的使用，更是因为里面寻找问题并重现问题的思想让我震撼，时隔多年，Java已经如日中天，成为许多大型企业应用的首选，而今天，这本《Java性能优化权威指南》让我再次找到了这种感觉，从不经意的开发过程让我刮目相看，原来性能调优不是简单地看看热点在哪里，
  • 网络学习笔记初识OSI七层模型与TCP协议 dcj3sjt126com 学习笔记
      协议：在计算机网络中通信各方面所达成的、共同遵守和执行的一系列约定 　　计算机网络的体系结构：计算机网络的层次结构和各层协议的集合。 　　两类服务： 　　面向连接的服务通信双方在通信之前先建立某种状态，并在通信过程中维持这种状态的变化，同时为服务对象预先分配一定的资源。这种服务叫做面向连接的服务。 　　面向无连接的服务通信双方在通信前后不建立和维持状态，不为服务对象
  • mac中用命令行运行mysql dcj3sjt126com mysqllinuxmac
    参考这篇博客：http://www.cnblogs.com/macro-cheng/archive/2011/10/25/mysql-001.html  感觉workbench不好用（有点先入为主了）。 1，安装mysql 在mysql的官方网站下载 mysql 5.5.23 http://www.mysql.com/downloads/mysql/，根据我的机器的配置情况选择了64
  • MongDB查询（1）——基本查询[五] eksliang mongodbmongodb 查询mongodb find
    MongDB查询 转载请出自出处：http://eksliang.iteye.com/blog/2174452 一、find简介 MongoDB中使用find来进行查询。 API:如下 function ( query , fields , limit , skip, batchSize, options ){.....}  参数含义： query:查询参数 fie
  • base64，加密解密 经融加密，对接 y806839048 经融加密对接
    String data0 = new String(Base64.encode(bo.getPaymentResult().getBytes(("GBK")))); String data1 = new String(Base64.decode(data0.toCharArray()),"GBK"); // 注意编码格式，注意用于加密，解密的要是同
  • JavaWeb之JSP概述 ihuning javaweb
      什么是JSP？为什么使用JSP？ JSP表示Java Server Page，即嵌有Java代码的HTML页面。使用JSP是因为在HTML中嵌入Java代码比在Java代码中拼接字符串更容易、更方便和更高效。   JSP起源    在很多动态网页中，绝大部分内容都是固定不变的，只有局部内容需要动态产生和改变。  如果使用Servl
  • apple watch 指南 啸笑天 apple
    1. 文档 WatchKit Programming Guide（中译在线版 By @CocoaChina） 译文 译者 原文 概览 - 开始为 Apple Watch 进行开发 @星夜暮晨 Overview - Developing for Apple Watch 概览 - 配置 Xcode 项目 - Overview - Configuring Yo
  • java经典的基础题目 macroli java编程
    1.列举出 10个JAVA语言的优势 a:免费，开源，跨平台(平台独立性)，简单易用，功能完善，面向对象，健壮性，多线程，结构中立，企业应用的成熟平台, 无线应用 2.列举出JAVA中10个面向对象编程的术语 a:包，类，接口，对象，属性，方法，构造器，继承，封装，多态，抽象，范型 3.列举出JAVA中6个比较常用的包 Java.lang;java.util;java.io;java.sql;ja
  • 你所不知道神奇的js replace正则表达式 qiaolevip 每天进步一点点学习永无止境纵观千象regex
    var v = 'C9CFBAA3CAD0'; console.log(v); var arr = v.split(''); for (var i = 0; i < arr.length; i ++) { if (i % 2 == 0) arr[i] = '%' + arr[i]; } console.log(arr.join('')); console.log(v.r
  • [一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics) superlxw1234 hivehive分析表hive统计信息hive Statistics
    关键字：Hive统计信息、分析Hive表、Hive Statistics   类似于Oracle的分析表，Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。   表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大小、最后一次操作时间等；   14.1 新表的统计信息 对于一个新创建
  • Spring Boot 1.2.5 发布 wiselyman spring boot
        Spring Boot 1.2.5已在7月2日发布，现在可以从spring的maven库和maven中心库下载。   这个版本是一个维护的发布版，主要是一些修复以及将Spring的依赖提升至4.1.7(包含重要的安全修复)。   官方建议所有的Spring Boot用户升级这个版本。   项目首页 | 源
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他