马哥linux+python——2015年9月13日课程作业

一、作业（练习）内容：

1、描述shell程序的运行原理（可附带必要的图形说明）；

什么是shell
      shell是用户和Linux操作系统之间的接口。Linux中有多种shell，其中缺省使用的是Bash。Linux系统的shell作为操作系统的外壳，为用户提供使用操作系统的接口。它是命令语言、命令解释程序及程序设计语言的统称。shell是一个命令语言解释器，它拥有自己内建的shell命令集，shell也能被系统中其他应用程序所调用。用户在提示符下输入的命令都由shell先解释然后传给Linux核心。

      对用户而言，不必关心一个命令是建立在shell内部还是一个单独的程序。shell首先检查命令是否是内部命令，若不是再检查是否是一个应用程序（这里的应用程序可以是Linux本身的实用程序，如ls和rm，也可以是购买的商业程序，如xv，或者是自由软件，如emacs）。然后shell在搜索路径里寻找这些应用程序（搜索路径就是一个能找到可执行程序的目录列表）。如果键入的命令不是一个内部命令并且在路径里没有找到这个可执行文件，将会显示一条错误信息。如果能够成功找到命令，该内部命令或应用程序将被分解为系统调用并传给Linux内核。

 

 

2、总结shell编程中所涉及到的所有知识点（如：变量、语法、命令状态等等等，要带图的哟）；

shell编程：
            顺序执行：逐个执行
            选择执行：只执行其中一个分支
            循环执行：一段代码要执行0,1或多遍

编程元素：变量、流程、函数

    变量：可变化的量，命名内存空间
        bash环境：
            本地变量：当前shell进程；
            环境变量：当前shell进程及其子进程；
            局部变量：某个函数执行过程；
            位置参数变量：在脚本中引用传递给脚本的参数；在函数中引用传递给函数的参数；
            特殊变量：$?, $*, $@, $#, $$

        变量类型：
            数值，字符；
                数值：
                    整数
                    浮点数
                字符：
                    ASCII

                    120：
                        字符：1, 2, 0
                        数值：120 -->

            变量类型的作用：
                存储空间
                运算
                存储格式

            语言对变量类型的支持力度：
                强类型：
                弱类型：变量类型不严格区分；
                    默认存储机制：bash为字符

            bash的变量使用特点：弱类型、无须事先声明；
        本地变量：
            name=value
                name: 变量名
                =：赋值符号
                value：值

                变量名：只能包含数字、字母和下划线；且不能以数字开头；
                引用变量：${name}, $name

            引用：
                弱引用: "", 其内部的变量引用会被替换为变量值；
                强引用：''，其变量的变量引用会保持原有字符；
                命令引用：`COMMAND`, $(COMMAND)，引用命令的执行结果；

            声明为整型：
                declare -i name[=value]
                let name=value

            查看所有变量：set

            生命周期：
                创建
                销毁：
                    自动销毁：shell进程终止；
                    手动销毁：unset name

        环境变量：
            被“导出”的本地变量
                export name[=value]
                declare -x name[=value]

            查看所有环境变量：env, printenv, export

            销毁：
                unset name

    脚本：文本文件
        运行脚本：事实上是运行一个bash进程，此进程负责从脚本文件中读取一个执行逻辑，而后由bash进程负责解析并运行此逻辑；
        启动脚本：
            (1) # bash /PATH/TO/SCRIPT_FILE
            (2) 一个执行权限,
                # ./PATH/TO/SCRIPT_FILE

                shebang：
                    #!/bin/bash

        第一行：顶格给出shebang
        注释行：#

        bash的常用选项：
            -n: 检查脚本中的语法错误；
            -x：调试执行脚本；

    命令状态结果：
        bash进程用于追踪执行的命令成功与否的状态：
            0: 成功
            1-255：失败

        特殊变量：
            $?：上一条命令的执行状态结果；

        布尔型：
            “真”：成功
            “假”：失败

        自定义脚本的状态结果：
            exit [n]

            注意：脚本中任何位置执行了exit命令即会终止当前shell进程；

3、总结课程所讲的所有循环语句、条件判断的使用方法及其相关示例；（if （jpg|png is not exist）；echo ”You say a XX“）

if [ $# -lt 5 ]; then
  echo "Please enter '$0 remote_ip remote_password remote_dest module remote_dir'"
  exit 1
fi

compressjs="1"
if [ $# -ge 7 ]; then
  $compressjs=$8
fi

if [ ! "$JOB_NAME" = '景联网' ];then
  
  if [ $compressjs == "1" ]; then
    for file in `find "$WORKSPACE" -name "*.js" | grep -v '.min.js$'`
    do
      /usr/local/bin/uglifyjs $file -o $file -m
      echo "compressed js file: $file"
    done
  fi
else
  continue
fi

#!/bin/bash
#
declare -i sum=0
declare -i i=1

while [ $i -le 50 ]; do
    let sum+=$i
    let i++
done
echo "Sum:$sum."

#!/bin/bash
#
declare -i sum=0
declare -i i=1

until [ $i -gt 50 ]; do
    let sum+=$i
    let i++
done
echo "Sum:$sum."

4、总结文本处理工具sed及awk的用法；（必须附带示例）

sed命令：

        基本正则表达式元字符：
            字符匹配：., [], [^]
            次数匹配：*, \?, \+, \{m,n\}, \{n\}
            位置锚定：^, $, \<, \>
            分组及引用：\(\), \1, \2, ...
            多选一：a|b|c

        vim编辑中文本的查找替换：
            地址定界s/要查找的内容/替换为的内容/
                要查找的内容：可使用正则表达式
                替换为的内容：不支持正则表达式，但支持引用前面正则表达式分组中的内容
                地址定界：%, startline,endline

        语法：sed [OPTION]... {script} [input-file]...

            工作机制：每次读取一行文本至“模式空间(pattern space)”中，在模式空间中完成处理；将处理结果输出至标准输出设备；

            -r: 支持扩展正则表达式；
            -n: 静默模式；
            -e script1 -e script2 -e script3：指定多脚本运行；
            -f /path/to/script_file：从指定的文件中读取脚本并运行；
            -i: 直接修改源文件；

            地址定界：
                #: 指定行；
                $: 最后一行；
                /regexp/：任何能够被regexp所匹配到的行；
                \%regexp%：同上，只不过换作%为regexp边界符；
                /regexp/| ：
                \%regexp%| ：匹配时忽略字符大小写；
                startline,endline：
                    #,/regexp/：从#行开始，到第一次被/regexp/所匹配到的行结束，中间的所有行；
                    #,#
                    /regexp1/,/regexp2/：从第一次被/regexp1/匹配到的行开始，到第一次被/regexp2/匹配到的行结束，中间的所有行；
                    #,+n：从#行开始，一直到向下的n行；
                first~step：指定起始行，以及步长；
                    1~2，2~2

            sed的编辑命令
                d: 删除模式空间中的行；
                =：显示行号；
                a \text：附加text
                i \text：插入text，支持\n实现多行插入；
                c \text：用text替换匹配到的行；
                p: 打印模式空间中的行；
                s/regexp/replacement/：替换由regexp所匹配到的内容为replacement；
                    g: 全局替换；
                w /path/to/somefile：把指定的内容另存至/path/to/somefile路径所指定的文件中；
                r /path/from/somefile：在文件的指定位置插入另一个文件的所有内容，完成文件合并；

sed示例：

 

awk基本语法
    awk [options] 'program' file file ...
    awk [options] 'PATTERN{action}' file file ...

    -F CHAR：输入分隔符

    1、awk的输出

    print item1, item2,...
    要点：
    (1) 各项目之间使用逗号分隔，而输出时则使用输出分隔符分隔；
    (2) 输出的各item可以字符串或数值、当前记录的字段、变量或awk的表达式；数值会被隐式转换为字符串后输出；
    (3) print后面item如果省略，相当于print $0；输出空白，使用pirnt ""；

    2、awk的变量
        内置变量，自定义变量

    2.1 内置变量
    FS：Field Seperator, 输入时的字段分隔符
        # awk 'BEGIN{FS=":"}{print $1,$7}' /etc/passwd

    RS：Record Seperator, 输入行分隔符
    OFS: Output Field Seperator, 输出时的字段分隔符;
    ORS: Outpput Row Seperator, 输出时的行分隔符；

    NF：Numbers of Field，字段数
    NR：Numbers of Record, 行数；所有文件的一并计数；
    FNR：行数；各文件分别计数；
    ARGV：数组，保存命令本身这个字符，awk '{print $0}' 1.txt 2.txt，意味着ARGV[0]保存awk,
    ARGC: 保存awk命令中参数的个数；
    FILENAME： awk正在处理的当前文件的名称；

    2.2 可自定义变量
        -v var_name=VALUE

        变量名区分字符大小写；

        (1) 可以program中定义变量；
        (2) 可以命令行中通过-v选项自定义变量；

    3、awk的printf命令

        命令的使用格式：printf format, item1, item2,...

        要点：
        (1) 要指定format；
        (2) 不会自动换行；如需换行则需要给出\n
        (3) format用于为后面的每个item指定其输出格式；

        format格式的指示符都%开头，后跟一个字符：
            %c: 显示字符的ASCII码；
            %d, %i: 十进制整数；
            %e, %E: 科学计数法显示数值；
            %f: 显示浮点数；
            %g, %G: 以科学计数法格式或浮点数格式显示数值；
            %s: 显示字符串；
            %u: 显示无符号整数；
            %%: 显示%自身；

        修饰符：
            #：显示宽度
            -：左对齐
            +：显示数值的符号
            .#: 取值精度

    4、awk输出重定向
        print items > output-file
        print items >> output-file
        print items | command

        特殊文件描述符：
        /dev/stdin: 标准输入
        /dev/stdout: 标准输出
        /dev/stderr: 错误输出

    5、awk的操作符

        算术操作符：
            x+y
            x-y
            x*y
            x/y
            x**y, x^y
            x%y
            -x：负值
            +x：转换为数值

        字符串操作符：连接

        赋值操作符：
            =
            +=
            -=
            *=
            /=
            %=
            ^=
            **=

            ++
            --

            如果模式自身是=号，要写为/=/

        比较操作符：
            <
            <=
            >
            >=
            ==
            !=
            ~：模式匹配，左边的字符串能够被右边的模式所匹配为真，否则为假；
            !~:

        逻辑操作符：
            &&： 与
            ||：或

        条件表达式:
        selector?if-true-expression:if-false-expression

        # awk -F: '{$3>=1000?utype="common user":utype="admin or system user";print $1,"is",utype}' /etc/passwd

        函数调用：
        function_name(argu1,argu2)

    6、模式

        (1) Regexp: 格式为/PATTERN/
            仅处理被/PATTERN/匹配到的行；
        (2) Expression: 表达式，其结果为非0或非空字符串时满足条件；
            仅处理满足条件的行；
        (3) Ranges: 行范围，此前地址定界，
            NR
            仅处理范围内的行
        (4) BEGIN/END: 特殊模式，仅在awk命令的program运行之前（BEGIN）或运行之后（END）执行一次；
        (5) Empty:空模式，匹配任意行；

    7、常用的action

        (1) Expressions
        (2) Control statements
        (3) Compound statements
        (4) input statements
        (5) output statements

    8、控制语句

        8.1 if-else
            格式：if (condition) {then body} else {else body}

            # awk -F: '{if ($3>=500) {print $1,"is a common user"} else {print $1, "is an admin or system user"}}' /etc/passwd
            # awk '{if (NF>=8) {print}}' /etc/inittab

        8.2 while
            格式：while (condition) {while body}

            # awk '{i=1; while (i<=NF){printf "%s ",$i;i+=2};print ""}' /etc/inittab
            # awk '{i=1; while (i<=NF){if (length($i)>=6) {print $i}; i++}}' /etc/inittab

            length()函数：取字符串的长度

        8.3 do-while循环
            格式：do {do-while body} while (condition)

        8.4 for循环
            格式：for (variable assignment; condition; iteration process) {for body}
            # awk '{for (i=1;i<=NF;i+=2){printf "%s ",$i};print ""}' /etc/inittab
            # awk '{for (i=1;i<=NF;i++){if (length($i)>=6) print $i}}' /etc/inittab

            for循环可用来遍历数组元素：
                语法：for (i in array) {for body}

        8.5 case语句
            语法：switch (expression) {case VALUE or /RGEEXP/: statement1;... default: stementN}

        8.6 循环控制
            break
            continue

        8.7 next
            提前结束对本行的处理进而提前进入下一行的处理；
            # awk -F: '{if($3%2==0) next;print $1,$3}' /etc/passwd
            # awk -F: '{if(NR%2==0) next; print NR,$1}' /etc/passwd

    9、数组

        传统数组：Index编号从1开始；
        关联数组：

            array[index-expression]

            index-expression: 可以使用任意字符串; 如果某数组元素事先不存在，那么在引用时，awk会自动创建此元素并将其初始化为空串；因此，要判断某数组是否存在某元素，必须使用“index in array”这种格式；

                A[first]="hello awk"
                print A[second]

            要遍历数组中的每一个元素，需要使用如下特殊结构：
                for (var in array) {for body}

                其var会遍历array的索引；

            state[LISTEN]++
            state[ESTABLISHED]++

            # netstat -tan | awk '/^tcp/{++state[$NF]}END{for (s in state) {print s,state[s]}}'

            # awk '{ip[$1]++}END{for (i in ip) {print i,ip[i]}}' /var/log/httpd/access_log

        删除数组元素：
            delete array[index]

    10、awk的内置函数

        split(string,array[,fieldsep[,seps]])：
            功能：将string表示的字符串以fieldsep为分隔符进行切片，并切片后的结果保存至array为名的数组中；数组下标从1开始；

            root:x:0:0::/root:/bin/bash

            user[1]="root", user[2]

            此函数有返回值，返回值为切片后的元素的个数

            # netstat -tn | awk '/^tcp/{lens=split($5,client,":");ip[client[1]]++}END{for (i in ip) print i,ip[i]}'

        length(string)
            功能：返回给定字串的长度

        substr(string,start[,length])
            功能：从string中取子串，从start为起始位置为取length长度的子串；

awk示例：

 

 

 

5、写一个脚本：如果某路径不存在，则将其创建为目录；否则显示其存在，并显示内容类型；（不要怀疑，就是这么简单）

#!/bin/bash
#
if [ -z $1 ];then
   echo "Usage:$0 <path>"
   exit 1
fi
if [ ! -d $1 ];then
   mkdir -p $1
else
   echo "$1 is exists."
   file $1
fi

6、写一个脚本，完成如下功能；判断给定的两个数值，孰大孰小；给定数值的方法：脚本参数，命令交互；（使用read，依然如此简单）

#!/bin/bash
#
read -p "Please input two integer:" -t 6 num1 num2
if [ -z "$num1" ]; then
   echo "Please input two integers."
   exit 1
fi
if [ -z "$num2" ]; then
   echo "Please input two integers."
   exit 1
fi
if [ $num1 -gt $num2 ]; then
   echo "$num1 > $num2"
elif [ $num1 -lt $num2 ]; then
   echo "$num1 < $num2"
else
   echo "$num2 = $num1"
fi

7、求100以内所有奇数之和（至少用3种方法。是的这是我们的作业^_^）

#!/bin/bash
#
declare -i sum=0
for i in $(seq 1 2 100);do
   sum+=$i
done
echo "Odd sum:$sum."

#!/bin/bash
#
declare -i sum=0
declare -i i=1
while [ $i -le 100 ];do
  if [ $[$i%2] -eq 1 ];then
     let sum+=$i
  fi
     let i++
done
echo "Odd sum:$sum."

#!/bin/bash
#
declare -i sum=0
declare -i i=1
until [ $i -gt 100 ];do
  if [ $[$i%2] -eq 1 ];then
     let sum+=$i
  fi
     let i++
done
echo "Odd sum:$sum."

8、写一个脚本实现如下功能：

(1) 传递两个文本文件路径给脚本；

(2) 显示两个文件中空白行数较多的文件及其空白行的个数；

(3) 显示两个文件中总行数较多的文件及其总行数；

#!/bin/bash
#
read -p "Please input two text file path:" file1 file2
if [ ! -f "$file1" ];then
   echo "Please input two text file."
   exit 1
fi
if [ ! -f "$file2" ];then
   echo "Please input two text file."
   exit 1
fi
if [ `grep '^$' $file1 | wc -l` -gt `grep '^$' $file2 | wc -l` ];then
   ls -l $file1
   echo `grep '^$' $file1 | wc -l`
else
   ls -l $file2
   echo `grep '^$' $file2 | wc -l`
fi
if [ `cat $file1 | wc -l` -gt `cat $file2 | wc -l` ];then
   ls -l $file1
   echo `cat $file1 | wc -l`
else
   ls -l $file2
   echo `cat $file2 | wc -l`
fi

9、写一个脚本

(1) 提示用户输入一个字符串；

(2) 判断：

如果输入的是quit，则退出脚本；

否则，则显示其输入的字符串内容；

#!/bin/bash
#
read -p "Please input a character string:" str1
if [ "$str1" == "quit" ];then
   exit
else
   echo "$str1"
fi

10、写一个脚本，打印2^n表；n等于一个用户输入的值；（不好意思，我调皮了）

#!/bin/bash
#
a=$1
s='1'
for((i=1;i<=$1;i++));do
   s+='*'2
   echo ${s:2}'='$((2**$i))
done

11、写一个脚本，写这么几个函数：函数1、实现给定的两个数值的之和；函数2、取给定两个数值的最大公约数；函数3、取给定两个数值的最小公倍数；关于函数的选定、两个数值都将通过脚本参数进行输入。

#!/bin/bash
#
if [ $# != 2 ];then
   echo 'Please input $0 num1 num2:'
else
   echo $#
   sum() {
         a=$[$1+$2]
         echo "The sum is $a."
   }
   sum $1 $2
fi

if [ $# != 2 ];then
   echo 'Please input $0 num1 num2:'
else
   divisor() {
   awk -va=$1 -vb=$2 'BEGIN{s=1;c=(a>b)?b:a;for(i=1;i<=c;i++){ if((a % i ==0 ) && ( b % i == 0 )){s=i;} } printf("%s,%s 最大公约数%s\n",a,b, s);}'
   }
   divisor $1 $2
fi