转载自 https://github.com/jlevy/the-art-of-command-line
涵盖范围:
注意事项:
apt-get
/yum
/dnf
/pacman
/pip
/brew
(以及其它合适的包管理器)来安装新程序。学习 Bash 的基础知识。具体来说,输入 man bash
并至少全文浏览一遍; 它很简单并且不长。其他的 shell 可能很好用,但 Bash 功能强大且几乎所有情况下都是可用的 ( 只学习 zsh,fish 或其他的 shell 的话,在你自己的电脑上会显得很方便,但在很多情况下会限制你,比如当你需要在服务器上工作时)。
学习并掌握至少一个基于文本的编辑器。通常 Vim (vi
) 会是你最好的选择,因为在终端里进行随机编辑 Vim 真的毫无敌手,哪怕是 Emacs、某大型 IDE 甚至时下非常流行的编辑器。
学会如何使用 man
命令去阅读文档。学会使用 apropos
去查找文档。了解有些命令并不对应可执行文件,而是Bash内置的,可以使用 help
和 help -d
命令获取帮助信息。
学会使用 >
和 <
来重定向输出和输入,学会使用 |
来重定向管道。明白 >
会覆盖了输出文件而 >>
是在文件末添加。了解标准输出 stdout 和标准错误 stderr。
学会使用通配符 *
(或许再算上 ?
和 [
…]
) 和引用以及引用中 '
和 "
的区别。
熟悉 Bash 任务管理工具:&
,ctrl-z,ctrl-c,jobs
,fg
,bg
,kill
等。
了解 ssh
,以及学会通过使用 ssh-agent
,ssh-add
等命令来实现基本的无密码认证。
学会基本的文件管理:ls
和 ls -l
(了解 ls -l
中每一列代表的意义),less
,head
,tail
和 tail -f
(甚至 less +F
),ln
和 ln -s
(了解硬链接与软链接的区别),chown
,chmod
,du
(硬盘使用情况概述:du -hs *
)。 关于文件系统的管理,学习 df
,mount
,fdisk
,mkfs
,lsblk
。知道 inode 是什么(与 ls -i
和 df -i
等命令相关)。
学习基本的网络管理:ip
或 ifconfig
,dig
。
熟悉正则表达式,以及 grep
/egrep
里不同参数的作用,例如 -i
,-o
,-v
,-A
,-B
和 -C
,这些参数是值得学习并掌握的。
学会使用 apt-get
,yum
,dnf
或 pacman
(取决于你使用的 Linux 发行版)来查找或安装软件包。并确保你的环境中有 pip
来安装基于 Python 的命令行工具 (接下来提到的部分程序使用 pip
来安装会很方便)。
在 Bash 中,可以使用 Tab 自动补全参数,使用 ctrl-r 搜索命令行历史(在按下之后,键入便可以搜索,重复按下 ctrl-r 会在更多匹配中循环,按下 Enter 会执行找到的命令,按下右方向键会将结果放入当前行中,使你可以进行编辑)。
在 Bash 中,可以使用 ctrl-w 删除你键入的最后一个单词,使用 ctrl-u 删除整行,使用 alt-b 和 alt-f 以单词为单位移动光标,使用 ctrl-a 将光标移至行首,使用 ctrl-e 将光标移至行尾,使用 ctrl-k 删除光标至行尾的所有内容,使用 ctrl-l 清屏。键入 man readline
查看 Bash 中的默认快捷键,内容很多。例如 alt-. 循环地移向前一个参数,以及 alt-* 展开通配符。
你喜欢的话,可以键入 set -o vi
来使用 vi 风格的快捷键,而 set -o emacs
可以把它改回来。
为了方便地键入长命令,在设置你的编辑器后(例如 export EDITOR=vim
),键入 ctrl-x ctrl-e 会打开一个编辑器来编辑当前命令。在 vi 模式下则键入 escape-v 实现相同的功能。
键入 history
查看命令行历史记录。其中有许多缩写,例如 !$
(最后键入的参数)和 !!
(最后键入的命令),尽管通常被 ctrl-r 和 alt-. 取代。
回到上一个工作路径:cd -
如果你输入命令的时候改变了主意,按下 alt-# 来在行首添加 #
,或者依次按下 ctrl-a, #, enter。这样做的话,之后你可以很方便的利用命令行历史回到你刚才输入到一半的命令。
使用 xargs
( 或 parallel
)。他们非常给力。注意到你可以控制每行参数个数(-L
)和最大并行数(-P
)。如果你不确定它们是否会按你想的那样工作,先使用 xargs echo
查看一下。此外,使用 -I{}
会很方便。例如:
find . -name '*.py' | xargs grep some_function
cat hosts | xargs -I{} ssh root@{} hostname
pstree -p
有助于展示进程树。
使用 pgrep
和 pkill
根据名字查找进程或发送信号(-f
参数通常有用)。
了解你可以发往进程的信号的种类。比如,使用 kill -STOP [pid]
停止一个进程。使用 man 7 signal
查看详细列表。
使用 nohup
或 disown
使一个后台进程持续运行。
使用 netstat -lntp
或 ss -plat
检查哪些进程在监听端口(默认是检查 TCP 端口; 使用参数 -u
检查 UDP 端口)。
有关打开套接字和文件,请参阅 lsof
。
使用 uptime
或 w
来查看系统已经运行多长时间。
使用 alias
来创建常用命令的快捷形式。例如:alias ll='ls -latr'
使你可以方便地执行ls -latr
命令。
在 Bash 脚本中,使用 set -x
去调试输出,尽可能的使用严格模式,使用 set -e
令脚本在发生错误时退出而不是继续运行,使用 set -u
来检查是否使用了未赋值的变量,使用 set -o pipefail
严谨地对待错误(尽管问题可能很微妙)。当牵扯到很多脚本时,使用 trap
。一个好的习惯是在脚本文件开头这样写,这会使它检测一些错误,并在错误发生时中断程序并输出信息:
set -euo pipefail
trap "echo 'error: Script failed: see failed command above'" ERR
(...)
)是一种组织参数的便捷方式。一个常见的例子是临时地移动工作路径,代码如下: # do something in current dir
(cd /some/other/dir && other-command)
# continue in original dir
在 Bash 中,要注意其中有许多形式的扩展。检查变量是否存在:${name:?error message}
。例如,当 Bash 脚本需要一个参数时,可以使用这样的代码 input_file=${1:?usage: $0 input_file}
。数学表达式:i=$(( (i + 1) % 5 ))
。序列:{1..10}
。截断字符串:${var%suffix}
和 ${var#prefix}
。例如,假设 var=foo.pdf
,那么 echo ${var%.pdf}.txt
将输出 foo.txt
。
使用括号扩展({
…}
)来减少输入相似文本,并自动化文本组合。这在某些情况下会很有用,例如 mv foo.{txt,pdf} some-dir
(同时移动两个文件),cp somefile{,.bak}
(会被扩展成 cp somefile somefile.bak
)或者 mkdir -p test-{a,b,c}/subtest-{1,2,3}
(会被扩展成所有可能的组合,并创建一个目录树)。
通过使用 <(some command)
可以将输出视为文件。例如,对比本地文件 /etc/hosts
和一个远程文件:
diff /etc/hosts <(ssh somehost cat /etc/hosts)
了解 Bash 中的“here documents”,例如 cat <
在 Bash 中,同时重定向标准输出和标准错误,some-command >logfile 2>&1
。通常,为了保证命令不会在标准输入里残留一个打开了的文件句柄导致你当前所在的终端无法操作,添加 是一个好习惯。
使用 man ascii
查看具有十六进制和十进制值的ASCII表。man unicode
,man utf-8
,以及 man latin1
有助于你去了解通用的编码信息。
使用 screen
或 tmux
来使用多个屏幕,当你在使用 ssh 时(保存 session 信息)将尤为有用。另一个轻量级的解决方案是 dtach
。
ssh 中,了解如何使用 -L
或 -D
(偶尔需要用 -R
)去开启隧道是非常有用的,例如当你需要从一台远程服务器上访问 web。
对 ssh 设置做一些小优化可能是很有用的,例如这个 ~/.ssh/config
文件包含了防止特定环境下断开连接、压缩数据、多通道等选项:
TCPKeepAlive=yes
ServerAliveInterval=15
ServerAliveCountMax=6
Compression=yes
ControlMaster auto
ControlPath /tmp/%r@%h:%p
ControlPersist yes
部分其他的关于 ssh 的选项是安全敏感且应当小心启用的。例如在可信任的网络中:StrictHostKeyChecking=no
,ForwardAgent=yes
考虑使用 mosh
作为 ssh 的替代品,它使用 UDP 协议。
获取文件的八进制格式权限,使用类似如下的代码:
stat -c '%A %a %n' /etc/timezone
使用 percol
或者 fzf
可以交互式地从另一个命令输出中选取值。
使用 fpp
(PathPicker)可以与基于另一个命令(例如 git
)输出的文件交互。
将 web 服务器上当前目录下所有的文件(以及子目录)暴露给你所处网络的所有用户,使用:
python -m SimpleHTTPServer 7777
(使用端口 7777 和 Python 2)或python -m http.server 7777
(使用端口 7777 和 Python 3)。
以某种权限执行命令,使用sudo
(root 权限)或sudo -u
(其他用户)。使用su
或者sudo bash
来启动一个以对应用户权限运行的 shell。使用su -
模拟其他用户的登录。
在当前路径下通过文件名定位一个文件,find . -iname '*something*'
(或类似的)。在所有路径下通过文件名查找文件,使用 locate something
(但请记住 updatedb
可能没有对最近新建的文件建立索引)。
使用 ag
在源代码或数据文件里检索(比 grep -r
更好)。
将 HTML 转为文本:lynx -dump -stdin
Markdown,HTML,以及所有文档格式之间的转换,试试 pandoc
。
如果你不得不处理 XML,xmlstarlet
宝刀未老。
使用 jq
处理 JSON。
使用 shyaml
处理 YAML。
Excel 或 CSV 文件的处理,csvkit 提供了 in2csv
,csvcut
,csvjoin
,csvgrep
等工具。
关于 Amazon S3,s3cmd
很方便而 s4cmd
更快。Amazon 官方的 aws
以及 saws
是其他 AWS 相关工作的基础。
了解如何使用 sort
和 uniq
,包括 uniq 的 -u
参数和 -d
参数,详见后文单行脚本节。另外可以了解一下 comm
。
了解如何使用 cut
,paste
和 join
来更改文件。很多人都会使用 cut
,但几乎都不会使用 join
。
了解如何运用 wc
去计算新行数(-l
),字符数(-m
),单词数(-w
)以及字节数(-c
)。
了解如何使用 tee
将标准输入复制到文件甚至标准输出,例如 ls -al | tee file.txt
。
了解语言环境对许多命令行工具的微妙影响,包括排序的顺序和性能。大多数 Linux 的安装过程会将 LANG
或其他有关的变量设置为符合本地的设置。意识到当你改变语言环境时,排序的结果可能会改变。明白国际化可能会使 sort 或其他命令运行效率下降许多倍。某些情况下(例如集合运算)你可以放心的使用 export LC_ALL=C
来忽略掉国际化并使用基于字节的顺序。
了解 awk
和 sed
关于数据的简单处理的用法。例如,将文本文件中第三列的所有数字求和:awk '{ x += $3 } END { print x }'
. 这可能比同等作用的 Python 代码快三倍且代码量少三倍。
替换一个或多个文件中出现的字符串:
perl -pi.bak -e 's/old-string/new-string/g' my-files-*.txt
repren
来批量重命名,或是在多个文件中搜索替换。(有些时候 rename
命令也可以批量重命名,但要注意,它在不同 Linux 发行版中的功能并不完全一样。) # Full rename of filenames, directories, and contents foo -> bar:
repren --full --preserve-case --from foo --to bar .
# Recover backup files whatever.bak -> whatever:
repren --renames --from '(.*)\.bak' --to '\1' *.bak
# Same as above, using rename, if available:
rename 's/\.bak$//' *.bak
rsync
真的是一个快速且非常灵活的文件复制工具。它通常被用于机器间的同步,但在本地也同样有用。它同时也是删除大量文件的最快方法之一:mkdir empty && rsync -r --delete empty/ some-dir && rmdir some-dir
使用 shuf
从一个文件中随机选取多行。
了解 sort
的参数。处理数字方面,使用 -n
或者 -h
来处理可读性数字(例如 du -h
的输出)。明白键的工作原理(-t
和 -k
)。例如,注意到你需要 -k1,1
来仅按第一个域来排序,而 -k1
意味着按整行排序。稳定排序(sort -s
)在某些情况下很有用。例如,以第二个域为主关键字,第一个域为次关键字进行排序,你可以使用 sort -k1,1 | sort -s -k2,2
。
如果你想在 Bash 命令行中写 tab 制表符,按下 ctrl-v [Tab] 或键入 $'\t'
(后者可能更好,因为你可以复制粘贴它)。
标准的源代码对比及合并工具是 diff
和 patch
。使用 diffstat
查看变更总览数据。注意到 diff -r
对整个文件夹有效。使用 diff -r tree1 tree2 | diffstat
查看变更总览数据。
对于二进制文件,使用 hd
使其以十六进制显示以及使用 bvi
来编辑二进制。
同样对于二进制文件,strings
(包括 grep
等等)允许你查找一些文本。
二进制文件对比(Delta 压缩),使用 xdelta3
。
使用 iconv
更改文本编码。而更高级的用法,可以使用 uconv
,它支持一些高级的 Unicode 功能。例如,这条命令将所有元音字母转为小写并移除了:
uconv -f utf-8 -t utf-8 -x '::Any-Lower; ::Any-NFD; [:Nonspacing Mark:] >; ::Any-NFC; ' < input.txt > output.txt
拆分文件,查看 split
(按大小拆分)和 csplit
(按模式拆分)。
用 dateutils
中的 dateadd
, datediff
, strptime
等工具操作日期和时间表达式。
使用 zless
,zmore
,zcat
和 zgrep
对压缩过的文件进行操作。
curl
和 curl -I
可以便捷地被应用于 web 调试中,它们的好兄弟 wget
也可以,或者是更潮的 httpie
。
使用 iostat
、netstat
、top
(htop
更佳)和 dstat
去获取硬盘、cpu 和网络的状态。熟练掌握这些工具可以使你快速的对系统的当前状态有一个大概的认识。
使用 netstat
和 ss
查看网络连接的细节。
若要对系统有一个深度的总体认识,使用 glances
。它在一个终端窗口中向你提供一些系统级的数据。这对于快速的检查各个子系统非常有帮助。
若要了解内存状态,运行并理解 free
和 vmstat
的输出。尤其注意“cached”的值,它指的是 Linux 内核用来作为文件缓存的内存大小,因此它与空闲内存无关。
Java 系统调试则是一件截然不同的事,一个可以用于 Oracle 的 JVM 或其他 JVM 上的调试的技巧是你可以运行 kill -3
同时一个完整的栈轨迹和堆概述(包括 GC 的细节)会被保存到标准输出/日志文件。JDK 中的 jps
,jstat
,jstack
,jmap
很有用。SJK tools 更高级.
使用 mtr
去跟踪路由,用于确定网络问题。
用 ncdu
来查看磁盘使用情况,它比常用的命令,如 du -sh *
,更节省时间。
查找正在使用带宽的套接字连接或进程,使用 iftop
或 nethogs
。
ab
工具(捆绑于 Apache)可以简单粗暴地检查 web 服务器的性能。对于更复杂的负载测试,使用 siege
。
wireshark
,tshark
和 ngrep
可用于复杂的网络调试。
了解 strace
和 ltrace
。这俩工具在你的程序运行失败、挂起甚至崩溃,而你却不知道为什么或你想对性能有个总体的认识的时候是非常有用的。注意 profile 参数(-c
)和附加到一个运行的进程参数 (-p
)。
了解使用 ldd
来检查共享库。
了解如何运用 gdb
连接到一个运行着的进程并获取它的堆栈轨迹。
学会使用 /proc
。它在调试正在出现的问题的时候有时会效果惊人。比如:/proc/cpuinfo
,/proc/meminfo
,/proc/cmdline
,/proc/xxx/cwd
,/proc/xxx/exe
,/proc/xxx/fd/
,/proc/xxx/smaps
(这里的 xxx
表示进程的 id 或 pid)。
当调试一些之前出现的问题的时候,sar
非常有用。它展示了 cpu、内存以及网络等的历史数据。
关于更深层次的系统分析以及性能分析,看看 stap
(SystemTap),perf
,以及sysdig
。
查看你当前使用的系统,使用 uname
, uname -a
(Unix/kernel 信息) 或者 lsb_release -a
(Linux 发行版信息)。
无论什么东西工作得很欢乐时试试 dmesg
(可能是硬件或驱动问题)。
一些命令组合的例子:
sort
/uniq
很有帮助。假设 a
与 b
是两内容不同的文件。这种方式效率很高,并且在小文件和上G的文件上都能运用 (sort
不被内存大小约束,尽管在 /tmp
在一个小的根分区上时你可能需要 -T
参数),参阅前文中关于 LC_ALL
和 sort
的 -u
参数的部分。 cat a b | sort | uniq > c # c is a union b
cat a b | sort | uniq -d > c # c is a intersect b
cat a b b | sort | uniq -u > c # c is set difference a - b
使用 grep . *
(每行都会附上文件名)或者 head -100 *
(每个文件有一个标题)来阅读检查目录下所有文件的内容。这在检查一个充满配置文件的目录(如 /sys
、/proc
、/etc
)时特别好用。
计算文本文件第三列中所有数的和(可能比同等作用的 Python 代码快三倍且代码量少三倍):
awk '{ x += $3 } END { print x }' myfile
ls -l
但比 ls -lR
更易于理解: find . -type f -ls
acct_id
参数在URI中。如果你想计算出每个 acct_id
值有多少次请求,使用如下代码: cat access.log | egrep -o 'acct_id=[0-9]+' | cut -d= -f2 | sort | uniq -c | sort -rn
function taocl() {
curl -s https://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README.md |
pandoc -f markdown -t html |
xmlstarlet fo --html --dropdtd |
xmlstarlet sel -t -v "(html/body/ul/li[count(p)>0])[$RANDOM mod last()+1]" |
xmlstarlet unesc | fmt -80
}
expr
:计算表达式或正则匹配
m4
:简单地宏处理器
yes
:多次打印字符串
cal
:漂亮的日历
env
:执行一个命令(脚本文件中很有用)
printenv
:打印环境变量(调试时或在使用脚本文件时很有用)
look
:查找以特定字符串开头的单词
cut
、paste
和 join
:数据修改
fmt
:格式化文本段落
pr
:将文本格式化成页/列形式
fold
:包裹文本中的几行
column
:将文本格式化成多列或表格
expand
和 unexpand
:制表符与空格之间转换
nl
:添加行号
seq
:打印数字
bc
:计算器
factor
:分解因数
gpg
:加密并签名文件
toe
:terminfo entries 列表
nc
:网络调试及数据传输
socat
:套接字代理,与 netcat
类似
slurm
:网络可视化
dd
:文件或设备间传输数据
file
:确定文件类型
tree
:以树的形式显示路径和文件,类似于递归的 ls
stat
:文件信息
time
:执行命令,并计算执行时间
lockfile
:使文件只能通过 rm -f
移除
logrotate
: 切换、压缩以及发送日志文件
watch
:重复运行同一个命令,展示结果并高亮有更改的部分
tac
:反向输出文件
shuf
:文件中随机选取几行
comm
:一行一行的比较排序过的文件
pv
:监视通过管道的数据
hd
,hexdump
,xxd
,biew
和 bvi
:保存或编辑二进制文件
strings
:从二进制文件中抽取文本
tr
:转换字母
iconv
或 uconv
:简易的文件编码
split
和 csplit
:分割文件
sponge
:在写入前读取所有输入,在读取文件后再向同一文件写入时比较有用,例如 grep -v something some-file | sponge some-file
units
:将一种计量单位转换为另一种等效的计量单位(参阅 /usr/share/units/definitions.units
)
apg
:随机生成密码
7z
:高比例的文件压缩
ldd
:动态库信息
nm
:提取 obj 文件中的符号
ab
:性能分析 web 服务器
strace
:系统调用调试
mtr
:更好的网络调试跟踪工具
cssh
:可视化的并发 shell
rsync
:通过 ssh 或本地文件系统同步文件和文件夹
wireshark
和 tshark
:抓包和网络调试工具
ngrep
:网络层的 grep
host
和 dig
:DNS 查找
lsof
:列出当前系统打开文件的工具以及查看端口信息
dstat
:系统状态查看
glances
:高层次的多子系统总览
iostat
:硬盘使用状态
mpstat
: CPU 使用状态
vmstat
: 内存使用状态
htop
:top 的加强版
last
:登入记录
w
:查看处于登录状态的用户
id
:用户/组 ID 信息
sar
:系统历史数据
iftop
或 nethogs
:套接字及进程的网络利用
ss
:套接字数据
dmesg
:引导及系统错误信息
sysctl
: 在内核运行时动态地查看和修改内核的运行参数
hdparm
:SATA/ATA 磁盘更改及性能分析
lsb_release
:Linux 发行版信息
lsblk
:列出块设备信息:以树形展示你的磁盘以及磁盘分区信息
lshw
,lscpu
,lspci
,lsusb
和 dmidecode
:查看硬件信息,包括 CPU、BIOS、RAID、显卡、USB设备等
lsmod
和 modinfo
:列出内核模块,并显示其细节
fortune
,ddate
和 sl
:额,这主要取决于你是否认为蒸汽火车和莫名其妙的名人名言是否“有用”
以下是仅限于 MacOS 系统的技巧
用 brew
(Homebrew)或者 port
(MacPorts)进行包管理。这些可以用来在 Mac 系统上安装以上的大多数命令。
用 pbcopy
复制任何命令的输出到桌面应用,用 pbpaste
粘贴输入。
若要在 Mac OS 终端中将 Option 键视为 alt 键(例如在上面介绍的 alt-b, alt-f 等命令中用到),打开 偏好设置 -> 描述文件 -> 键盘 并勾选“使用 Option 键作为 Meta 键”。
用 open
或者 open -a /Applications/Whatever.app
使用桌面应用打开文件。
Spotlight: 用 mdfind
搜索文件,用 mdls
列出元数据(例如照片的 EXIF 信息)。
注意 MacOS 系统是基于 BSD UNIX 的,许多命令(例如 ps
,ls
,tail
,awk
,sed
)都和 Linux 中有些微的不同,这些极大的被 System V-style Unix 和 GNU 工具影响。你可以通过标题为 “BSD General Commands Manual” 的 man 页面发现这些不同。在有些情况下 GNU 版本的命令也可能被安装(例如 gawk
和 gsed
对应 GNU 中的 awk 和 sed )。如果要写跨平台的 Bash 脚本,避免使用这些命令(例如,考虑 Python 或者 perl
)或者经过仔细的测试。
用 sw_vers
获取 MacOS 的版本信息。
除去特别微小的任务,编写代码是出于方便阅读的目的。能力往往伴随着责任。你 可以 在 Bash 中做一些事并不意味着你应该去做!;)
本文使用授权协议 Creative Commons Attribution-ShareAlike 4.0 International License。