echo -e "\e[1;42m this is test \e[0m" 'this is test'会被彩色打印,其中颜色由42m决定
echo -n this is test 'this is test'不会被换行
printf "%-4s %-5.1f\n" wade 3.1 wade 3.1分别按照左对齐打印出来,并采用4s和5.1f格式
pgrep gedit 可以查看到gedit的进程ID
export命令用来设置环境变量。至此以后,从当前shell脚本执行的任何程序都会继承这个变量
export PATH="$PATH:/home/user/bin" 在PATH中新加一条路径
var=1234567890
length=${#var}
echo $length 获得变量的长度
echo $SHELL或者echo $0 识别当前的shell版本
echo $UID 如果结果为0,标示当前为root用户
echo $PS1 显示当前bash的提示字符串,其中\u为用户名,\h为主机名,\w为当前的工作目录。
可以利用\e[1;32m设置彩色提示字符串
算数操作:
no1=4
no2=5
let result=no1+no2 let命令可以直接执行基本的算数操作
let no1+=6
echo $result
echo $no1
result=$[no1+no2]
result=$[no1+100] 可以使用[]操作符,和let命令类似
result=$((no1+10)) 也可以使用(())操作符,但是变量名之前需要加上$
result=`expr 3 + 4`
result=$(expr $no1+5) expr也可以用作类似算数操作
echo "4 * 0.45" | bc bc执行浮点数运算
echo "scale=2;3/8" | bc scale设置小数精度,scale=2表示将小数位个数设置为2
no=100
echo "obase=2;$no" | bc 利用obase进行进制转换
no=1100100
echo "obase=10;ibase=2;$no" | bc obase和ibase配合进行进制转换
echo "sqrt(100)" | bc sqrt计算平方根
echo "10^10" | bc ^计算平方
文本描述符:
0 stdin
1 stdout
2 stderr
echo "this is test" >temp.txt
echo "this is test 1" >>temp.txt >等同于1>;>>等同于1>>
当命令输出错误信息时,stderr信息就会被打印出来。当一个命令发生错误并退回时,它会返回一个非0的退出状态;而当命令成功完成后,它会返回数字0。
退出状态可以从特殊变量$?中获得。
ls + 2>out.txt 将错误输出到out.txt文件中
cmd 2>stderr.txt 1>stdout.txt 将stderr单独定向到一个文件中,将stdout重定向到另一个文件中
cmd &>output.txt 将stderr和stdout都被重定向到同一个文件中
command | tee [-a] FILE1 FILE2 在终端中打印,并将它重定向到文件FILE1和FILE2.-a表示为追加内容选项
exec 3
数组和关联数组
array_var=(1,2,3,4,5) 定义数组,以0位起始索引
array_var[0]="test" 自定义数组
echo ${array_var[0]} 打印出特定索引的数组元素内容
echo ${array_var[*]} 打印所有数组的内容
echo ${#array_var[*]} 打印数组长度
declare -A ass_array 定义关联数组
ass_array=([index1]=val1 [index2]=val2) 内嵌索引-值列表法
ass_array[index1]=val3 独立的索引-值
echo ${ass_array[index1]} 打印index1索引对应的值
echo ${!ass_array[*]} 列出数组索引
alias new_command='command sequence' 创建新的别名。要想永久保存,需要将其放入到~/.bashrc文件中。若想删除只需要使
用unalias命令或者从~/.bashrc中删除
tput cols 获取终端的行数
tput lines 获取终端的列数
tput longname 打印出当前终端名
tput setb [0-7] 设置终端背景色
tput bold 设置字体为粗体
echo -e "Enter password: "
stty -echo 禁止将输出发送到终端
read password
stty echo 允许发送到终端
echo
echo Password read
date 显示日期
date +%s 以纪元时显示时间,主要用途是做时间差的秒数
date --date "jan 20 2011" +%s 按照给定日期显示纪元时
date --date "jan 20 2011" +%A 按照给定日期显示是星期几
%A 星期
%B 月
%d 日
%D 固定格式日期(mm/dd/yy)
%Y 年
%H 小时
%M 分钟
%S 秒
%N 纳秒
%s 纪元时
date "+%d %B %Y" 按照指定格式打印时间
date -s "21 june 2015 11:12:23" 设置日期和时间
bash -x script.sh 使用-x选项,启动跟踪调试shell脚本。打印出所执行的每一行命令以及当前状态
set -x 在执行时显示参数和命令
set +x 禁止调试
set -v 当命令进行读取时显示输入
set +v 禁止打印输入
#!/bin/bash -xv 在/bin/bash启动xv,可以启用调试功能
function fname()
{
statements; 自定义函数。或者去掉function也可以
}
fname 执行函数
fname arg1 arg2 执行函数,传递参数
$1是函数的第一个参数
$2是函数的第二个参数
$@是打印所有参数
$*是以单个实体的方式打印所有参数
递归函数
F()
{
echo $1;
F HELLO;
SLEEP 1; SLEEP表示休眠1秒钟
}
导出函数
export -f fname 导出函数,扩展函数的作用域。可以扩展到子进程
FORK×××
:() {:|:&};: 该函数能够调用自身,不断的生成新的进程,最终造成DDOS***
ls | cat -n >out.txt 列出当前目录下的内容,cat -n追加行号存到out.txt文件中
pwd
(cd /bin;ls) 利用()定义一个子shell
pwd
read -n 2 var 读取2个字符并存入变量var中
read -s var 以不回显的方式存入变量
read -p "enter input:" var 显示提示信息
read -t timeout var 在特定时限内读取输入
read -d "定界符" var 用定界符结束输入行
IFS(内部字段分隔符) 默认为空
for循环
for var in list;
do
commands
done
for ((i=1;i<10;i++));
do
commands
done
echo {1..50} 生成一个1到50的数字列表
echo {a..z} 生成a..z的列表
while循环
while condition
do
commands
done
until循环
x=0;
until [$x -eq 9]
do
let x++;echo $x
done
if 条件;then
commands;
fi
if 条件;then
commands;
elif conditions;
then
commands;
else
commands;
fi
[condition] && action 如果条件为真,则执行action
[condition] || action 如果条件为假,则执行action
条件判断:
算术比较
-eq 等于
-ne 不等于
-gt 大于
-lt 小于
-ge 大于或等于
-le 小于或等于
-a 逻辑与
-o 逻辑或
文件系统相关测试
-f $var 判断var变量是否有文件
-x 判断是否有可执行文件
-d 目录
-e 文件是否存在
-c 字符设备文件
-b 块设备文件
-w 文件是否可写
-r 文件是否可读
-L 是否有符号链接
字符串比较
[[ $str1 = $str2 ]] 当str1等于str2时,返回真。就是str1和str2包含的文本是一模一样的
[[ $str1 == $str2 ]] 检查字符串是否相等
[[ $str1 != $str2 ]] 字符串不同则返回真
[[ $str1 > $str2 ]] 字符串1的字母序大于字符串2,返回真
[[ $str1 < $str2 ]] 字符串1的字母序小于字符串2,返回真
[[ -z $str1 ]] 若str1为空,返回真
[[ -n $str1 ]] 若str1内容为非空,则为真
if [ $var -eq 0 ];then echo "true";fi
can be written as
if test $var -eq 0;then echo "true";fi 可以用test命令替代[]符号
cat 1.sh 2.sh 拼接1.sh和2.sh文件内容
cat -s 1.sh -s选项压缩1.sh中的连续的空白行
cat 1.sh | tr -s '\n' 利用tr移除空白行
cat -T 1.sh 将1.sh中的制表符标记成^|
script -t 2> timing.log -a output.session timing.log用于存储时序信息,描述命令在何时运行。output.session用于存储命令输出
exit 退出录制终端会话
scriptreplay timing.log output.session 播放录制终端会话
Terminal1输入以下命令:
mkfifo scriptfifo
Terminal2输入以下命令:
cat scriptfifo
返回terminal1,输入以下命令:
script -f scriptfifo
commands;
exit 当退出时,终端1变成广播员,终端2变成听众
find . -print 当前目录下打印出匹配文件的文件名(路径)。其中'\n'作为用于分隔文件的定界符
find . -print0 '\0'作为定界符
find . -iname "example*" -print 寻找当前目录下example开头的文件,忽略大小写,并打印出来
find . \( -name "*.txt" -o -name "*.pdf" \) -print 寻找匹配多个条件中的一个并打印
find . -path "*slynus*" -print 寻找符合slynus路径
find . -regex "*slynus*" -print 以正则表达式的方式寻找路径
find . ! -name "*.txt" -print 当前目录下不是以txt为后缀的文件
find . -maxdepth 1 -type f -print maxdepth参数指定寻找最大深度
find . -mindepth 2 -type f -print mindepth参数指定寻找最小深度
-atime 访问时间 用户最近一次访问文件的时间
-mtime 修改时间 文件内容最后一次被修改的时间
-ctime 变化时间 文件元数据(例如权限或所有权)最后一次被改变的时间
其中-表示小于,+表示大于
-amin 访问时间 以分钟为计时
-mmin 修改时间
-cmin 变化时间
-newer 比较时间 需找比指定文件更新的所有文件
find . -type f -size +2k 寻找当前目录下文件大小大于2k的文件.
find . -type f -size -2k
find . -type f -size 2k
还可以用b/c/w/k/m/g代替k
find . -type f -name "*.txt" -delete 删除匹配的文件
find . -type f -perm 644 -print 基于文件权限匹配
find . -type f -user slynux -print 基于文件所有权匹配
find . -type f -user root -exec chown slynux {} \; 利用exec和{}可以结合find执行命令或动作
本例的意思是将所有的符合文件全部更改其所有权为slynux用户.其中{}表示为所有符合条件的集合
find . -type f -mtime +10 -name "*.txt" -exec cp {} OLD \;
find devel/source_path \( -name ".git" -pruns \) -o \( -type f -print \) 该命令表示打印出不包括在.git目录中的所有文件的名称(路径).使用关键字pruns
xargs命令把从stdin接收到的数据重新格式化,再将其作为参数提供给其他命令
cat example.txt | xargs xargs将多行输入转换成单行输出。将'\n'符转换成" "(空格)
cat example.txt | xargs -n 3 指定每行最大的参数数量n,每个参数都是由" "(空格)隔开
echo "splitXsplitXsplitXsplit" | xargs -d X -n 2 利用-d选项指定分隔符,默认为IFS作为分隔符
#cecho.sh
echo $*'#' 定义一个文件,当参数被传递给文件后,它会将这些参数打印出来,并以#字符作为结
尾
#args.txt
args1
args2
args3
cat args.txt | xargs -n 1 ./cecho.sh 当需要每次提供一个参数时,指定n=1
cat args.txt | xargs ./cecho.sh 当需要每次提供所有参数时
INPUT | xargs -n X 每次执行脚本需要X个参数的命令时
./cecho.sh -p arg1 -l
./cecho.sh -p arg2 -l arg部分是唯一的可变文本
cat args.txt | xargs -I {} ./cecho.sh -p {} -l 利用-I选项配合{}指定了替换字符串,可以实现上面的执行命令
find . -type f -name "*.txt" -print0 | xargs -0 rm -f 删除匹配的文件,其中\0作为输入定界符。
find source_code_dir_path -type f -name "*.c" -print0 | xargs -0 wc -l 统计源代码目录中所有C程序文件的行数
tr只能通过stdin,而无法通过命令行参数来接受输入。
tr [options] set1 set2
将来自stdin的输入字符从set1映射到set2,并输出到stdout。若set2的长度小于set1,则set2会不断重复其最后一个字符,直到长度与set1相同。如果set2的
长度大于set1,那么在set2中超出set1长度的那部分字符则完全被忽略
echo "HELLO WORLD WHO IS THIS" | tr 'A-Z' 'a-z' 将输入字符由大写转换成小写
echo 12345 | tr '0-9' '9876543210' 加密
echo 87654 | tr '9876543210' '0-9' 解密
echo "hello 123 world 456" | tr -d '0-9' 利用-d选项删除字符。本例结果为hello world
echo hello 1 char 2 next 4 | tr -d -c '0-9 \n' 利用-c选项使用字符的补集,将去除非set1中出现的所有字符。本例结果为 1 2 4
echo "ssssss" | tr -s 's' 利用-s选项压缩字符。本例压缩s,结果为s
字符类
alnum 字母和数字
alpha 字母
cntrl 控制(非打印)字符
digit 数字
graph 图形字符
lower 小写字母
print 可打印字符
punct 标点符号
space 空白字符
upper 大写字母
xdigit 十六进制字符
tr '[:lower:]' '[:upper:]'
md5sum 1.sh > 1.md5 计算1.sh的校验和(32字符,十六进制)并保存到1.md5文件中
md5sum -c 1.md5 利用生成的文件核实数据完整性
md5sum *.md5 用所有的.md5信息来检查所有的文件
sha1sum 1.sh > 1.sha1 计算1.shd点校验和(40字符,16进制)
md5deep -rl directory_path > directory.md5 计算目录的校验和。r表示递归,l表示使用相对路径。需要安装md5deep软件包
md5sum -c directory.md5 核实目录
sort file1.txt file2.txt > sort.txt 利用sort将一组文件进行排序
cat sort.txt | uniq > uniq.txt 利用uniq找出已排序文件中不重复的行
sort -n file.txt 按数字进行排序
sort -r file.txt 按逆序进行排序
sort a.txt -o a.txt 对a.txt的文件排序
sort -M months.txt 按月份进行排序
sort -nC file.txt 检查是否按照数字进行排序
sort -m sorted1 sorted2 合并两个排过序的文件,而且不需要对合并后的文件再进行排序
sort -nrk 1 data.txt -k指定了排序应该按照哪一个键(列号)来进行排序。
sort -u unsort.txt 只显示唯一的行
uniq -u unsort.txt 只显示唯一的行
sort unsort.txt | uniq -c 统计各行在文件中出现的次数
sort unsort.txt | uniq -d 找出文件中重复的行
sort data.txt | uniq -s 2 -w 2 -s指定可以跳过前n个字符,-w指定用于比较的最大字符数
uniq -z file.txt 用uniq命令生成包含0值字节终止符的输出
uniq -z file.txt | xargs -0 rm 删除指定的文件
temp_file=$(tempfile) 为变量temp_file赋值了一个临时文件名
temp_file="/tmp/file-$RANDOM" 加带了随机数的文件名作为临时文件名
echo $RANDOM 总是返回一个随机数
temp_file="/tmp/var.$$" 生成带当前运行脚本的进程ID的临时文件
dd if=/dev/zero bs=100k count=1 of=data.file 生成一个大小为100KB的测试文件
split -b 10k data.file 将文件分割为多个大小为10k的文件
split -b 10k data.file -d -a 4 -d参数指定以数字为后缀,-a参数指定后缀长度
split -b 10k data.file -d -a 4 split_file 指定每个分割文件的前缀为split_file
split -l 10 data.file -l选项指定分割文件仅有10行
csplit server.log /SERVER/ -n 2 -s {*} -f server -b "%02d.log";rm server00.log
/SERVER/ 用来匹配某一行,分割过程即从此开始
{*} 表示根据匹配重复执行分割,直到文件末尾为止。{整数}指定分割执行的次数
-s 使命令进入静默模式,不打印其他信息
-n 指定分割后的文件名后缀的数字个数
-f 指定分割后的文件名前缀
-b 指定后缀格式
因为分割后的第一个文件没有任何内容,所以删除第一个文件
file_jpg="sample.jpg"
name=${file_jpg%.*} 利用$操作符可以将名称部分从“名称.扩展名”这种格式的文件名中提取出来
echo File name is :$name
var=hack.fun.book.txt
echo ${var%.*} -->hack.fun.book 从右到左
echo ${var%%.*} -->hack %%符号执行非贪婪匹配
echo ${var#*.} -->fun.book.txt 从左到右
echo ${var##*.} -->txt ##符号执行非贪婪匹配
extension=${file_jpg#*.} 利用#操作符可以将扩展名部分提取出来
echo Extension is : $extension
rename *.jpg *.JPG 将*.jpg更名为*.JPG
目录/usr/share/dict包含了一些词典文件
命令aspell来核查某个单词是否在字典中
look android filepath 返回filepath路径中以android开头的文件/目录
read -p "Enter number:" no 将输入内容赋值给变量no
交互式自动化:expect
#!/bin/bash
#文件名:interactive.sh
read -p "Enter number:" no
read -p "Enter name:" name
echo you have entered $no,$name;
#!/usr/bin/expect
#文件名:automate_expect.sh
spawn ./interactive.sh spawn参数指定需要自动化哪一个命令
expect "enter number:" expect参数提供需要等待的消息
send "1\n" send是要发送的消息
expect "enter name:"
send "hello\n"
expect eof expect eof指明命令交互结束
comm a.txt b.txt 比较A.TXT和B.TXT的文件。输出的第一列包含只在a.txt中出现的行,第二列只包含在b.txt中出
现的行,第三列包含共同出现的行
comm a.txt b.txt -1 -2 -1从输出中删除第一列,-2从输出中删除第二列,-3从输出中删除第三列
用户特殊权限:S
setuid权限允许用户以其拥有者的权限来执行可执行文件,即使这个可执行文件是由其他用户运行的
用户组特殊权限:S
setgid位允许以同该目录拥有者所在组相同的有效组权限来允许可执行文件,但是这个组和实际发起命令的用户组未必相同
其他用户特殊权限:T/t
粘滞位(sticky bit)。当一个目录设置了粘滞位,只有创建该目录的用户才能删除目录中的文件,即使用户组和其他用户也有写权限
如果没有设置执行权限,但是设置了粘滞位,那么使用t;如果同时设置了执行权限和粘滞位就使用T
chmod a+t directory_name 设置粘滞位
chmod 777 . -R 以递归的方式设置权限
chown user.group . -R 以递归的方式设置所有权
chmod +s executable_file 以不同的用户运行可执行文件
chmod u+s file 置位setuid
chmod g+s file 置位setgid
chattr +i file 将文件file设置为不可修改
chattr -i file 将文件file重新设置为可修改
touch -a file 只更改文件访问时间
touch -m file 只更改文件内容修改时间
touch -d "Fri Jun 25 10:20:12 IST 2012" file -d为时间戳指定特定的时间和日期
ln -s target symbolic_link_name 创建软连接symbolic_link_name-->target
file filename 显示文件类型信息
file -b filename 显示不包括文件名在内的文件类型信息
环回文件系统是指那些在文件中而非物理设备中创建的文件系统
创建一个1G大小的文件
dd if=/dev/zero of=loopbackfile.img bs=1G count=1
格式化这个文件
mkfs.ext4 loopbackfile.img
检查文件系统
file loopbackfile.img
挂载环回文件
mkdir /mnt/loopback
mount -o loop loopback/img /mnt/loopback
在内部,这个环回文件连接到一个名为/dev/loop1或者loop2的设备上,手动操作如下
losetup /dev/loop1 loopback.img
mount /dev/loop1 /mnt/loopback
将ISO文件作为环回文件挂载
mkdir /mnt/iso
mount -o loop linux.iso /mnt/iso
通过sync立即应用更改
sync
创建ISO镜像
从/dev/cdrom创建一个ISO镜像
cat /dev/cdrom > p_w_picpath.iso
创建镜像的最好方法是用dd工具
dd if=/dev/cdrom of=p_w_picpath.iso
mkisofs命令创建iso文件系统
mkisofs -V "Label" -o p_w_picpath.iso source_dir/
-V指定了ISO文件的的卷标,source_dir是作为ISO文件内容来源的目录路径
能够启动闪存或硬盘的混合ISO
isohybrid命令把标准ISO文件转换成混合ISO
isohybrid p_w_picpath.iso ->可用于写入USB存储设备
将ISO写入USB存储设备
dd if=p_w_picpath.iso of=/dev/sdb1
命令行刻录ISO
cdrecord -v dev=/dev/cdrom p_w_picpath.iso
-speed 速度 指定刻录速度
-multi 刻录方式采用多区段
玩转CD ROM托盘
eject 弹出光驱托盘
eject -t 合上光驱托盘
查找文件差异并进行修补
diff -u version1.txt version2.txt 以一体化形式输出差距,version2.txt中没有version1.txt的文件被显示。+表示是新加入的行,-表示是删除的行
diff -u version1.txt version2.txt > version.patch 将diff的输出重定向到一个文件
patch命令配合version.patch,当应用与version1时,就可以得到version2
patch -p1 version1.txt < version.patch 此时version1的内容和version2相同
patch -p1 version1.txt < version.patch 再次输入该命令撤销修改
生成目录的差异信息
diff -Naur directory1 directory2
-N:将所有缺失的文件视为空文件
-a:将所有文件视为文本文件
-u:生成一体化输出
-r:遍历目录下的所有文件
head -n 4 file 指定打印前几行
head -n -N file 打印除了最后N行之外的所有行
seq 11 | head -n -5 打印除了最后五行之外的所有行
seq 100 | head -n 5 打印前五行
tail -n 5 file 打印后五行
tail -n +(N+1) 打印除了前N行之外的所有行
seq 100 | tail -n +6 打印第六行到第一百行
tail -f file 动态显示文件
查看当前路径下的目录
ls -d */
用pushd和popd快速定位
pushd和popd可以用于在多个目录之间进行切换而无需复制粘贴。pushd和popd是以栈的方式来运作,后进先出。
pushd /var/www 压入路径
pushd /usr/src 压入路径
pushd /etc 压入路径
查看栈内容
dirs
切换目录
pushd +3 每条路径的编号是以0开始,从左到右
移除栈内容
popd 当前目录被移除
popd +3 将第三个移除
cd - 切换到上个目录
统计行数
wc -l file
统计单词数
wc -w file
统计字符数
wc -c file
默认显示行数、单词数和字符数
wc file
打印最长行的长度
wc file -L
打印目录树
tree -/unixfs 树状UNIX文件系统
tree path -P pattern 用通配符描述样式
tree path -I pattern 只重点标出除符合样式之外的文件
tree -h 同时打印出文件和目录的大小
tree PATH -H http://localhost -o out.html 以html形式输出目录树
grep match_pattern filename 从文件中搜索
grep word filename --color 重点标记处匹配到的单词
grep -E "[A-Z]+" 或者 egrep "[A-Z]+" 正则表达式查找
grep word -o file -o选项只输出匹配到文本部分
grep -v word file -v选项打印除了匹配外的所有行
grep -c word file -c统计匹配行的数量
grep -c word file | wc -l wc -l配合-c可以统计匹配项的数量
grep -n word file -n选项包含匹配字符串的行数
grep word file -R -n -R递归搜索
grep -i word file -i忽略大小写
grep -e word1 word2 file -e匹配多个样式
grep dir --include word --include搜索中包含文件
grep dir --exclude word --exclude搜索排除文件
--exclude-dir
--exclude-from FILE
cut按列切分文件
cut -f 2,3 filename 提取filename文件中2、3列
cut -f 3 --complement file 提取除了第三列外的所有列
cut -f 3 -d ";" file -d指定了定界符
cut -c 1-5 file 打印前5个字符
cut -c -5 file 打印前5个字符
-c 表示字符
-b 表示字节
-f 表示定义字段
N- 从第N个字节到行尾
N-M 从第N个到第M个
-M 从第一个到第M个
cut -c1-3,6-9 file --output-delimiter "," 指定输出定界符
sed入门
sed 's/pattern/replace_string/' file 替换给定文本中的字符串
sed -i 's/pattern/replace_string/' file 将替换结果应用于原文件
sed '/s/pattern/replace_string/g' file 替换所有符合内容
sed 's/pattern/replace/Ng' file 从第N+1处替换
sed '/^$/d' file 移除空白行
sed 's/\w\+/[&]/g' &对应于之前所匹配到的单词
sed 'expr1' | 'expr2' 组合多个表达式
awk入门
awk 'BEGIN{print "start"} pattern {commands} END {print "end"}' file
工作方式:
1,执行BEGIN {commands}语句块中的语句
2,从文件中或stdin中读取一行,然后执行pattern {commands}。重复这个过程,直到文件全部被读取完毕
3,当读至输入流末尾时,执行END {commands} 语句块
三个语句块都是可选的
echo -e "line1\nline2" | awk 'BEGIN{print "start"} {print} END{print "END"}' 结果如下:
start
line1
line2
end
特殊变量
NR:表示记录数量
NF:表示字段数量
$0:这个变量包含执行过程中当前行的文本内容
$1:这个变量包含第一个字段的文本内容
$2:这个变量包含第二个字段的文本内容
迭代文件中的每一行
while read line;
do
echo $line;
done < file.txt
或者
cat file.txt | (while read line;do echo $line;done)
迭代一行中的每一个单词
for word in $line;
do
echo $word;
done
迭代文件中的每一行的每一个单词
while read line;
do
for word in $line;
do
echo $word;
done
done < file.txt
迭代一个单词中的每一个字符
for ((i=0;i<${#word};i++))
do
echo ${word:i:1};
done
按列合并文件
paste file1 file2
paste file1 file2 -d "," 指定定界符,默认为制表符
按行合并文件
cat file1 file2
打印文件或行中的第n个单词或列
awk '{print $1}' file
ls -l | awk '{print $1 ":" $4}'
打印不同行或样式之间的文本
awk 'NR==M,NR==N' filename 打印m行到n行文本
awk '/start_pattern/, /end_pattern/' filename 打印pattern之间的文本
邮件的正则表达式
[a-zA-Z0-9.]+@[a-zA-Z0-9.]+\.[a-zA-Z]{2,4}
文本切片与参数操作
var="this is a line"
echo ${var/line/replace} -->this is a replace
${variable_name:start_position:length} -->指定字符串的起始位置和长度来生成子串
string=abcdefghijklmnopqrstuvwxyz
echo ${string:4} -->efghijklmnopqrstuvwxyz
echo ${string:4:8} -->efghijkl
echo ${string:(-1)} -->x
echo ${string:(-2):2} -->yx
网站下载
wget url 下载网页或远程文件
wget url1 url2
wget ftp://baidu.com/somfile.jpg
wget ftp://baidu.com/somfile.jpg -o log -O 1.jpg -o表示日志,-O表示指定输出文件名
wget -t 5 rul -t指定重试次数
wget --limit-rate 20k url 限速下载
wget -Q 100m url 指定下载最大限额
wget -c url 断点续传
curl url 下载网页
wget --mirror url 复制或镜像整个网站
wget --user username --password pass url 访问需要认证的HTTP或FTP页面
以格式化纯文本形式下载网页
lynx -dump url > webpage_as_text.txt 将网页以ASCII字符的形式下载到文本文件中
用curl设置cookie
curl url --cookie "user=slynx;pass=hack"
将cookie另存为一个文件
curl url --cookie-jar cookie-file
用curl设置用户代理字符串
curl url --user-agent "Mozilla/5.0" 设置用户代理为IE
限定curl可占用的带宽
curl url --limit-rate 20k
指定最大下载量
crul url --max-filesize 30k
用curl进行认证
curl -u user:pass url
tar -cvf output.tar source1 source2 创建包
tar -rvf output.tar new_file 追加文件
tar -tvf output.tar 列出包里的内容
tar -xvf output.tar 提取包里的内容
tar -Af file1.tar file2.tar 拼接两个包文件
tar -f output.tar --delete file1 file2 从包文件中删除文件
tar -zcvf output.tar.gz source gzip格式压缩
tar -jcvf output.tar.bz2 source bz2格式压缩
tar -cvf --lzma output.tar.lzma lzma格式压缩
tar -cf output.tar * --execlude "*.txt" 从归档中排除部分文件
用cpio归档
echo file1 file2 | cpio -ov > archive.cpio
gzip filename 压缩文件,只能压缩一个文件
gunzip filename.gz 解压缩文件
zcat filename.gz 读取压缩文件内容
gzip -9 filename 压缩率
1级的压缩率最低,但是压缩速度最快
9级的压缩率最高,但是压缩率最慢
bzip2 filename 压缩文件
bunzip2 filename.bz2 解压缩文件
bunzip2 filename.bz2 -k 解压缩文件,保留原文件
bzip2 filename -k 压缩文件,保留原文件
lzma filename 压缩文件
unlzma filename.lzma 解压缩文件
lzma filename -k 压缩保留原文件
lzma -9 filename 压缩率
超高压缩率的squashfs文件系统
mksquashfs sources compressedfs.squashfs 创建squashfs文件
mkdir /mnt/squash
mount -o loop compressedfs.squashfs /mnt/squash
加密工具与散列
crypt input_file output_file 接受文件以及口令
crypt passphrase inputfile encrypted_file
crypt passphrase -d encrypted_file > outputfile 解密文件
gpg -c filename 加密文件
gpg filename.gpg 解密文件
列出网络上的所有活动主机
方法一:
for ip in 192.168.0.{1..255};
do
ping $ip -c 2 &> /dev/null;
if [ $? -eq 0 ];
then
echo $ip is alive
fi
done
方法二:
fping -a 192.168.0.1/24 -g 2> /dev/null
或者
fping -a 192.168.0.1 192.168.0.255 -g
传输文件
lftp username@ftphost
cd directory 改变目录
lcd 改变本地主机的目录
mkdir 创建目录
get filename 下载文件
put filename 上传文件
sftp username@domainname
sftp -oPort=422 user@domainname SSH端口不是默认的22时,需要指定端口
scp source destination 安全复制文件
scp filename user@remotehost:/path
其中src和dst都可以采用形如username@localhost:/path的形式
scp -r filename user@remotehost:/path 递归复制
iwconfig命令用来为无线网卡配置合适的无线网络
iwlist scan命令可以扫描并列出可用的无线网络
lsof -i 列出系统中的开放端口以及运行在端口上的服务的详细信息
netstat -lntp 查看开放端口与服务
计算命令执行时间
time command 计算命令的执行时间
real时间表示挂钟时间,命令开始到结束的时间
user时间是指进程花费在用户模式中的cpu时间,真正用于执行进程的时间
sys时间是指进程花费在内核模式中的cpu时间
watch监视命令
watch ls 在某段时期内以固定的间隔时间不断监视某个命令的输出
watch -n 5 'ls -l' -n指定输出的时间间隔
watch -d 'ls -l' -d指定命令输出差异
对文件及目录访问进行记录
inotifywait -m -r -e create,move,delete /dev/ -q
wall命令用来向所有当前登陆用户的终端写入消息
echo "test123" | wall
wall < message
查看主机名
hostname 或者uname -n
打印linux内核版本、硬件架构等详细信息
uname -a
打印内核发行版本
uname -r
打印主机类型
uname -m
打印CPU相关信息
cat /proc/cpuinfo
打印内存的详细信息
cat /proc/meminfo
打印系统的分区信息
cat /proc/partions
cron表的格式,从左到右依次是
分钟(0-59)、小时(0-23)、天(1-31)、月份(1-12)、工作日(0-6)、命令
创建cron表:
crontab -e -u user
查看cron表:
crontab -l
移除cron表:
crontab -u user -r
$0 查看当前shell
$? 命令的返回状态,正常退出为0;非正常退出为非0
$1 执行脚本时的参数
$PS1 当前bash提示字符串
$$ 当前进程ID
$UID 为0表示为root