man - 获得帮助
man ls #可以通过man查看使用帮助
ls --help # 通过-h,--help 查看使用帮助
ls - 显示目录内容
ls #显示目录内容
ls -F #查看目录中的文件
ls -l #以列表的形式显示目录内容，通常在~/.bashrc文件中增加一行：alias ll='ls -l'
ll -h #以更可读的方式显示文件大小
ll -t #以文件的修改时间顺序， 最新修改文件在最前面
ll -tr #以文件的修改时间顺序， 最新修改的在最后面
ls -a #显示隐藏文件
ls *[0-9]* #显示包含数字的文件名和目录名
tree #显示文件和目录由根目录开始的树形结构(1)
lstree #显示文件和目录由根目录开始的树形结构(2
watch -n 3 -dc ls -l #追踪目录内容的变化， 每3秒刷新一次
pwd - 显示当前目录
pwd #显示当前目录的绝对路径
cd - 切换目录**
cd dir # 切换到目录dir
cd #切换到用户的home目录
cd ~ #同cd
cd .. #切换到上一级目录， 一个点表示当前目录， 两个点.. 表示上一级目录
cd ../.. #返回上两级目录
cd - # 切换到进入当前目录之前所在的目录
mkdir - 创建目录
mkdir dir # 创建dir目录
mkdir dir1 dir2 #同时创建两个目录
mkdir -p dir1/dir2 # 递归创建目录， 如dir1不存在， 会先创建dir1
cat -合并文件（按行）
cat file # 合并一个或多个文件至标准输出， 当只有一个文件时， 相当于显示所有文件内容
cat file1 file2 #合并file1和file2的内容， 并在屏幕上输出
cat rq1.gz rq2.gz #可以合并gzip压缩文件， 如测序数据原始reads的合并
paste - 合并文件（按列）
paste -d ' ' file1 file2 # 按列对列的方式一行一行合并文件。默认列中间加TAB键， -d参数可以改变列之间的分隔符
split - 分割文件
split -d -l 10000 file chunk_ # 按行数分割文件，每个文件最多10000行，分割成的文件名为chunk_01, chunk_02。。。
split -d -b 100m file chunk_ # 按大小分割文件，每个文件最多100m，分割成的文件名为chunk_01, chunk_02。。。
cut - 剪切文件
cut -f 1 file # 剪切文件的第1列
cut -f 1,2 # 剪切文件的第1，2列
cut -f 3- # 剪切第3列及之后的所有列
cut -d ' ' -f 1 file # 剪切第1列，但以空格作为列与列之间的分隔符。默认以TAB作为分隔符
grep '^>' test.fa | cut -c 2- # 得到fasta文件中的序列名称（去掉了>符号）
less, head, tail - 显示文件内容
less file # 分屏显示文件内容，按空格键显示下一页，按下/后可以搜索内容
# 浏览模式快捷键
↑ #上一行
↓ #下一行
G #最后一页
g #第一页
空格 #下一页
/关键词 #搜索关键词
# 退出浏览模式，回到Linux命令行模式
q #退出
less -SN file # 显示文件的行号，并且截断太长的行
head file # 默认显示文件前10行
head -n 20 file # 显示文件前20行
tail file # 默认显示文件后10行
tail -n 20 file # 显示文件后20行
tail -n +2 file # 跳过第1行，显示从第2行开始的所有行，可用于跳过文件的标题行
tail -f file # 当文件的内容还在增加时，实时显示末尾增加的内容，常用于查看日志文件的更新情况
wc - 统计文件内容
wc -l file # 统计文件行数
touch - 创建文件
touch file # 创建一个空文件
touch {file1,file2,file3} # 同时创建3个文件
cp, mv, rm- 文件/目录的复制，移动，删除
scp file1 file2 # 将file1复制一份，命名为file2，复制目录要加-r参数：scp -r
cp file1 file2 #复制一个文件
cp dir/* . #复制一个目录下的所有文件到当前工作目录
cp -a /tmp/dir1 . #复制一个目录到当前工作目录，相当于将原数据原封不动的拷贝过来，不改变里面的任何信息
cp -a dir1 dir2 #复制一个目录 相当于将原数据原封不动的拷贝过来，不改变里面的任何信息
cp -r dirold dirnew #拷贝文件夹 拷贝的结果是生成新的时间戳等信息
mv file1 dir1/ # 将file1移动到dir1/目录下
mv file1 file2 # 重命名：即将file1移动成为file2
rm -f file1 #删除一个叫做 'file1' 的文件'
rmdir dir1 #删除一个叫做 'dir1' 的目录'
rm -rf dir1 #删除一个叫做 'dir1' 的目录并同时删除其内容
rm -rf dir1 dir2 #同时删除两个目录及它们的内容
rm file # 删除文件，删除目录要加-r参数：rm -r
rm -f file # 文件若不存在，删除时会报错，加-f参数就不会报错
rm -rf file
tar - 文件打包/压缩
# 平时tar基本上就能完成打包、压缩、解压的任务了
bunzip2 file1.bz2 #解压一个叫做 'file1.bz2'的文件
bzip2 file1 #压缩一个叫做 'file1' 的文件
gunzip file1.gz #解压一个叫做 'file1.gz'的文件
gzip file1 #压缩一个叫做 'file1'的文件
gzip -9 file1 #最大程度压缩
rar a file1.rar test_file #创建一个叫做 'file1.rar' 的包
rar a file1.rar file1 file2 dir1 #同时压缩 'file1', 'file2' 以及目录 'dir1'
rar x file1.rar #解压rar包
unrar x file1.rar #解压rar包
tar -cvf archive.tar file1 #创建一个非压缩的 tarball
tar -cvf archive.tar file1 file2 dir1 #创建一个包含了 'file1', 'file2' 以及 'dir1'的档案文件
tar -tf archive.tar #显示一个包中的内容
tar -xvf archive.tar #释放一个包
tar -xvf archive.tar -C /tmp #将压缩包释放到 /tmp目录下
tar -cvfj archive.tar.bz2 dir1 #创建一个bzip2格式的压缩包
tar -jxvf archive.tar.bz2 #解压一个bzip2格式的压缩包
tar -cvfz archive.tar.gz dir1 #创建一个gzip格式的压缩包
tar czvf file.tar.gz files # 打包并压缩
tar -zxvf archive.tar.gz #解压一个gzip格式的压缩包
tar xvf file.tar.gz # 解包，解压缩
#压缩语法：tar -zcvf 压缩后文件名 被压缩文件
#解压缩语法 tar -zxvf 压缩文件名 -C 解压后文件所在目录
#参数1：
#参数 描述
# -z 操作tar.gz文件需要使用
#-x 解压缩
#-c 压缩
#-v 显示压缩或者解压缩的执行过程信息
#-f 要处理的文件file，必须放在最后
#参数2：-C 指定解压后的文件存放的位置
zip file1.zip file1 #创建一个zip格式的压缩包
zip -r file1.zip file1 file2 dir1 #将几个文件和目录同时压缩成一个zip格式的压缩包
unzip file1.zip #解压一个zip格式压缩包
文件的权限 改变文件/目录权限
使用 "+" 设置权限，使用 "-" 用于取消
ls -lh #显示权限
ls /tmp | pr -T5 -W$COLUMNS #将终端划分成5栏显示
chmod ugo+rwx directory1 #设置目录的所有人(u)、群组(g)以及其他人(o)以读（r ）、写(w)和执行(x)的权限
chmod go-rwx directory1 #删除群组(g)与其他人(o)对目录的读写执行权限
chown user1 file1 #改变一个文件的所有人属性
chown -R user1 directory1 #改变一个目录的所有人属性并同时改变改目录下所有文件的属性
chgrp group1 file1 #改变文件的群组
chown user1:group1 file1 #改变一个文件的所有人和群组属性
find / -perm -u+s #罗列一个系统中所有使用了SUID控制的文件
chmod u+s /bin/file1 #设置一个二进制文件的 SUID 位 - 运行该文件的用户也被赋予和所有者同样的权限
chmod u-s /bin/file1 #禁用一个二进制文件的 SUID位
chmod g+s /home/public #设置一个目录的SGID 位 - 类似SUID ，不过这是针对目录的
chmod g-s /home/public #禁用一个目录的 SGID 位
chmod o+t /home/public #设置一个文件的 STIKY 位 - 只允许合法所有人删除文件
chmod o-t /home/public #禁用一个目录的 STIKY 位
chmod +x file # 增加[本人]可执行权限
chmod -x file # 取消[本人]可执行权限
chmod a+x file # 增加[所有人]可执行权限
chmod a-x file # 取消[所有人]可执行权限
sort, uniq - 排序，去重
sort file # 默认按字典序对文件进行排序
sort -k2,2 -k3,3 file # 先按第2列排序，第2列相同，再按第3列排序
sort -k2,2n file # 按第2列排序，且第2列是数字，升序
sort -k2,2nr file # 按第2列排序，且第2列是数字，降序
sort -u file # 先排序文件，然后去除相邻的重复行，只保留一条记录
sort file | uniq # 去除相信的重复行，只保留一条记录，相当于： sort -u file
# 利用sort, uniq取两个文件的交、并、补集
sort a b | uniq # 并集
sort a b | uniq -d > c # 交集
sort a c | uniq -u # 补集
wget - 下载文件
wget https://repo.anaconda.com/archive/Anaconda3-2020.07-Linux-x86_64.sh # 下载文件到当前目录，文件名保持不变
top, htop, ps, kill - 任务管理
top -c # 查看CPU，内存的使用情况
# 实时查看系统进程
top
# 快捷键
↑ 下翻
↓ 上翻
q 退出
htop # top的完美替代品，Linux系统不自带，需要安装， ubuntu系统：apt install htop
ps aut # 查看后台任务运行情况，第2列是任务的PID号
kill -9 PID # 删除编号为PID的任务
killall -9 bwa # 删除所有名称为 bwa 的任务
killall -u username # 删除用户 username 的所有任务
find, locate, which - 文件查找
find / -name file1 #从 '/' 开始进入根文件系统搜索文件和目录
find dir/ -name file # 在dir/目录下查找名为file的文件
find dir/ -name '*file*' # 在dir/目录下查找包含file关键词的文件，-name参数支持正则表达式
find dir/ -name file -delete # 查找文件并删除
find / -user user1 #搜索属于用户 'user1' 的文件和目录
find /home/user1 -name \*.bin #在目录 '/ home/user1' 中搜索带有'.bin' 结尾的文件
find /usr/bin -type f -atime +100 #搜索在过去100天内未被使用过的执行文件
find /usr/bin -type f -mtime -10 #搜索在10天内被创建或者修改过的文件
find / -name \*.rpm -exec chmod 755 '{}' \; #搜索以 '.rpm' 结尾的文件并定义其权限
find / -xdev -name \*.rpm #搜索以 '.rpm' 结尾的文件，忽略光驱、捷盘等可移动设备
whereis halt #显示一个二进制文件、源码或man的位置
which halt #显示一个二进制文件或可执行文件的完整路径
which command # 显示命令的绝对路径
locate \*.ps #寻找以 '.ps' 结尾的文件 - 先运行 'updatedb' 命令
locate file # 查找文件
ssh - 远程登录
ssh username@host # ssh 远程连接至服务器
scp - 远程文件传输
scp username@host:/path/to/file . # 将远程服务器上的文件传输到当前目录，文件名保持不变，复制目录加参数-r
scp file username@host:/path/to/dir/ # 将本地文件复制到远程服务器，文件名保持不变，复制目录加参数-r
rsync - 远程文件拷贝
rsync与scp不同，它只是做增量更新且支持断点续传，也就是要复制的文件存在于目标文件夹且内容与当前要复制的相同，则不会复制。
rsync -azvP dir1 dir2 # 将dir1的内容同步至dir2
rsync -azvP --delete dir1 dir2 # 同步dir2与dir1，dir1中删除的文件，dir2中也要跟着删除
rsync -azvP --exclude 'file' dir1 dir2 # 同步dir2与dir2，且将file排除在外
df, du, free - 查看磁盘/内存使用情况
df -h # 查看磁盘使用情况，-h表示以人类可读的方式显示容量大小
du -sh # 查看当前目录使用了多少磁盘空间
du -sh * # 查看当前目录下各文件或文件夹使用的磁盘空间
free -h # 查看内存使用情况
grep
用于查找文件里符合条件的字符串。
grep [-abcEFGhHilLnqrsvVwxy][-A<显示列数>][-B<显示列数>][-C<显示列数>][-d<进行动作>][-e<范本样式>][-f<范本文件>][--help][范本样式][文件或目录...]
grep pattern files # 搜索文件中包含pattern的行
grep -v pattern files # 搜索文件中不包含pattern的行
grep -f pattern.txt files # 搜索的pattern来自于文件中
grep -i pattern files # 不区分大小写。默认搜索是区分大小写的
grep -i pattern files # 只匹配整个单词，而不是字符串的一部分（如搜索hello，不会匹配到helloworld）
grep -n pattern files # 显示行号信息
grep -c pattern files # 显示匹配的行数
grep -l pattern files # 只显示匹配的文件名
grep -L pattern files # 显示不匹配的文件名
grep -C number pattern files # 额外显示匹配行的上下[number]行
grep pattern1 | grep pattern2 files # 显示既匹配pattern1，又匹配pattern2的行
grep -E "pattern1|pattern2" files # 显示匹配pattern1或者pattern2的行, grep -E相当于egrep
# 用于搜索的特殊字符
^: 表示行前
$: 表示行尾
grep '^#' result.vcf # 显示VCF文件的表头信息
grep '^hello$' files # 显示只包含hello的行
grep -v '^\s*$' file # 删除空白行
文本处理
cat file1 file2 ... | command <> file1_in.txt_or_file1_out.txt general syntax for text manipulation using PIPE, STDIN and STDOUT
cat file1 | command( sed, grep, awk, grep, etc...) > result.txt #合并一个文件的详细说明文本，并将简介写入一个新文件中
cat file1 | command( sed, grep, awk, grep, etc...) >> result.txt #合并一个文件的详细说明文本，并将简介写入一个已有的文件中
grep Aug /var/log/messages #在文件 '/var/log/messages'中查找关键词"Aug"
grep ^Aug /var/log/messages #在文件 '/var/log/messages'中查找以"Aug"开始的词汇
grep [0-9] /var/log/messages #选择 '/var/log/messages' 文件中所有包含数字的行
grep Aug -R /var/log/* #在目录 '/var/log' 及随后的目录中搜索字符串"Aug"
sed 's/stringa1/stringa2/g' example.txt #将example.txt文件中的 "string1" 替换成 "string2"
sed '/^$/d' example.txt #从example.txt文件中删除所有空白行
sed '/ *#/d; /^$/d' example.txt #从example.txt文件中删除所有注释和空白行
echo 'esempio' | tr '[:lower:]' '[:upper:]' #合并上下单元格内容
sed -e '1d' result.txt #从文件example.txt 中排除第一行
sed -n '/stringa1/p' #查看只包含词汇 "string1"的行
sed -e 's/ *$//' example.txt #删除每一行最后的空白字符
sed -e 's/stringa1//g' example.txt #从文档中只删除词汇 "string1" 并保留剩余全部
sed -n '1,5p;5q' example.txt #查看从第一行到第5行内容
sed -n '5p;5q' example.txt #查看第5行
sed -e 's/00*/0/g' example.txt #用单个零替换多个零
cat -n file1 #标示文件的行数
cat example.txt | awk 'NR%2==1' #删除example.txt文件中的所有偶数行
echo a b c | awk '{print $1}' #查看一行第一栏
echo a b c | awk '{print $1,$3}' #查看一行的第一和第三栏
paste file1 file2 #合并两个文件或两栏的内容
paste -d '+' file1 file2 #合并两个文件或两栏的内容，中间用"+"区分
sort file1 file2 #排序两个文件的内容
sort file1 file2 | uniq #取出两个文件的并集(重复的行只保留一份)
sort file1 file2 | uniq -u #删除交集，留下其他的行
sort file1 file2 | uniq -d #取出两个文件的交集(只留下同时存在于两个文件中的文件)
comm -1 file1 file2 #比较两个文件的内容只删除 'file1' 所包含的内容
comm -2 file1 file2 #比较两个文件的内容只删除 'file2' 所包含的内容
comm -3 file1 file2 #比较两个文件的内容只删除两个文件共有的部分
sed
sed是stream editor的缩写，中文称之为“流编辑器”。
sed command file
- command部分，针对每行要进行的处理
- file，要处理的文件
Actions
- d：删除该行
- p：打印该行
- i：在行的前面插入新行
- a：在行的后面插入新行
- r：读取指定文件的内容。
- w：写入指定文件。
sed -n '10p' file # 显示第10行
sed -n '10,20p' file # 显示第10到20之间的行
sed -n '/pattern/p' file# 显示含有pattern的行
sed -n '/pattern1/,/pattern2/p' file # 显示patter1与pattern2之间的行
sed '10d' file # 删除第10行
sed '10,20d' file # 删除第10到20之间的行
sed '/pattern/d' # 删除匹配pattern的行
sed '/^\s*$/d' file # 删除空白行
sed 's/^\s*//' file # 删除行前的空白：空格，制表符
sed 's/\s*$//' file # 删除行尾的空白：空格，制表符
sed 's/^\s*//;s/\s*$//' file # 删除行首和行尾的空白：空格，制表符
sed 's/AA/BB/' file # 将文件中的AA替换成BB，只替换一行中第一次出现的AA，替换后的结果输出到屏幕
sed 's/AA/BB/g' file # 将文件中的所有AA都替换成BB，替换后的结果输出到屏幕
sed -i 's/AA/BB/g' file # 将文件中的所有AA都替换成BB，直接更改文件的内容
sed '/CC/s/AA/BB/g' file# 只替换那些含有CC的行
sed 's/pattern/&XXXX/' file # 在pattern之后加上XXXX。&表示之前被匹配的内容
sed 's/pattern.*/&XXXX' file# 在匹配pattern的行尾加上XXXX。pattern.*表示包含pattern的整行内容
sed -n '1~4s/^@/>/p;2~4p' file.fq > file.fa # Fastq文件转Fasta文件
sed -n '2~4p' file.fq # 提取Fastq文件的序列
sed 'y/ABC/XYZ/' file # 将ABC逐字替换成XYZ
sed '1i\hello' file # 在第1行前面插入一行，内容为hello，通常用来为文件增加标题
sed '1a\hello' file # 在第1行后面插入一行，内容为hello
sed '1r file2' file1 # 在第1行后面读入file2的内容
sed '/pattern/w file2' file1 # 将匹配的行写入file2中
用户和群组
groupadd group_name #创建一个新用户组
groupdel group_name #删除一个用户组
groupmod -n new_group_name old_group_name #重命名一个用户组
useradd -c "Name Surname " -g admin -d /home/user1 -s /bin/bash user1 #创建一个属于 "admin" 用户组的用户
useradd user1 #创建一个新用户
userdel -r user1 #删除一个用户 ( '-r' 排除主目录)
usermod -c "User FTP" -g system -d /ftp/user1 -s /bin/nologin user1 #修改用户属性
passwd #修改口令
passwd user1 #修改一个用户的口令 (只允许root执行)
chage -E 2005-12-31 user1 #设置用户口令的失效期限
pwck #检查 '/etc/passwd' 的文件格式和语法修正以及存在的用户
grpck #检查 '/etc/passwd' 的文件格式和语法修正以及存在的群组
newgrp group_name #登陆进一个新的群组以改变新创建文件的预设群组
JPS
jps存放在JAVA_HOME/bin/jps，使用时为了方便请将JAVA_HOME/bin/加入到Path.
$> jps
23991 Jps
23789 TimorMain
23651 Demo
比较常用的参数：
#-q 只显示pid，不显示class名称,jar文件名和传递给main 方法的参数
$> jps -q
28680
23789
23651
#-m 输出传递给main 方法的参数，在嵌入式jvm上可能是null
$> jps -m
28715 Jps -m
23789 TimorMain
23651 Demo -socketwait 32768 -stdout /data/aoxj/resin/log/stdout.log -stderr /data/aoxj/timor/log/stderr.log
#-l 输出应用程序main class的完整package名 或者 应用程序的jar文件完整路径名
$> jps -l
28729 sun.tools.jps.Jps
23789 com.timor.TimorMain
23651 com.timor.cn.Demo
#-v 输出传递给JVM的参数
$> jps -v
23789 TimorMain
28802 Jps -Denv.class.path=/data/timor/cn/twsecurity/java/trustwork140.jar:/data/timor/cn/twsecurity/java/:/data/timor/cn/twsecurity/java/twcmcc.jar:/data/timor/jdk15/lib/rt.jar:/data/timor/jd
k15/lib/tools.jar -Dapplication.home=/data/timor/jdk15 -Xms8m
23651 Resin -Xss1m -Dresin.home=/data/timor/resin -Dserver.root=/data/timor/resin -Djava.util.logging.manager=com.caucho.log.LogManagerImpl -
Djavax.management.builder.initial=com.caucho.jmx.MBeanServerBuilderImpl
jps 192.168.1.200
#列出远程服务器192.168.1.200机器所有的jvm实例，采用rmi协议，默认连接端口为1099（前提是远程服务器提供jstatd服务）
#注：jps命令有个地方很不好，似乎只能显示当前用户的java进程，要显示其他用户的还是只能用unix/linux的ps命令。