大数据中常用的linux知识

1.mkdir和rmdir命令
mkdir用于创建文件夹,创建文件夹时应确保与它所在的目录下的没有同名文件夹。
mkdir A
一次创建多个文件夹：
mkdir B C D
加上-p参数可以创建带有子目录的文件夹：
mkdir -p dira/dirb/dirc
删除目录：
rmdir abc
递归删除带有子目录的文件夹:
rmdir -p dira/dirb/dirc
2.cp命令
cp命令是Linux的拷贝文件命令. 
拷贝A目录下的a.txt到B目录：
cp A/a.txt B/
如果B目录下已存在a.txt，拷贝前询问是否覆盖，加上-i参数：
cp -i A/a.txt B/
overwrite B/a.txt? (y/n [n])
拷贝整个文件夹：
cp -R A B
拷贝前询问是否覆盖：
cp -R -i A B
3.mv命令
mv命令常用对文件或目录进行移动、文件重命名或者备份，mv是move的缩写。 
把A目录下的a.txt移动到B文件夹下:
mv A/a.txt B
如果B目录下已经存在同名文件，询问是否备份:
 mv -i A/a.txt B
 overwrite B/a.txt? (y/n [n]) 
重命名操作，把a.txt改名为a1.txt:
mv A/a.txt A/a1.txt
把A目录下的所有文件移到B:
mv A/* B
4.rm命令
rm命令用于删除文件或者目录，可以删除一个目录下的一个或多个文件或目录，也可以删除整个目录及其下的所有文件和子目录。rm是remove的缩写。rm是一个危险命令，使用的时候要特别小心，在执行rm之前要确认所在目录以及要删除的操作，不要误删。 
删除一个文件:
rm A/a.txt
删除不为空的文件夹:
rm -r A/B
删除前询问:
rm -i A/a.txt
5.cat命令
cat命令的用途是连接文件或者标准输入并打印，该命令常用来显示文件内容，或者将几个文件连接起来显示。cat有三大功能
一次显示整个文件:
cat filename     
从键盘创建一个文件
cat >filename
将几个文件合并为1个文件
cat file1 file2>file
6.tac命令
cat命令可以显示文件的内容，它反过来写就是tac，而tac恰巧也是一个Linux命令，它的功能就是把文件内容反过来显示，文件内容的最后一行先显示，第一行最后显示。
7.more命令
cat命令会显示整个文件的内容，more命令会一页一页的显示方便阅读。按空白键(space)显示下一页，b键会返回前一页。
more filename
命令参数：
+n:从第n行开始显示
-n：定义屏幕大小为n行
－c：从顶部清屏然后显示
8.head命令
head命令用于显示文档的开头至标准输出。 
显示文件的前6行：
head -n 6   filename
显示文件前n个字节的内容：
head -c 20   filename
9.tail命令
tail和head类似，只不过是从尾部显示文件内容. 
显示文件的最后10行:
t或者：
tail -n 10 filenameail -10 filename
10.chown命令
chown命令用于设置文件的所有者属性。 
把文件的所有者改为root帐号：
chown root filename
把文件夹的所有者改为root帐号：
chown -R root A
11.find命令
文件查找命令。 
找出当前目录下所有的.txt格式文件
find  . -name "*.txt" -print
12.grep命令
grep命令是一种强大的文本搜索工具，使用正则表达式匹配文本并将搜索结果打印出来. 
从多个文件中查找关键词:
grep 'linux' test1.txt test2.txt
找出以h开头的行内容:
cat test.txt |grep ^h
找出不以h开头的行内容：
cat test.txt |grep ^[^h]
找出以de结尾的行内容：
cat  test.txt|grep de$
显示包含he或者sh的行内容：
cat test.txt|grep -E "he|sh"
显示当前目录下以.txt结尾且每个字符串至少包含7个小写字母的的行内容：
grep  '[a-z]\{7\}' *.txt
13.重启
重启命令:
reboot
立即重启:
shutdown -r now
10分钟之后立即重启:
shutdown -r 10
设置指定时间重启：
shutdown -r 20:10
如果是通过shutdown命令设置重启的话，可以用shutdown -c命令取消重启
14.关机
立刻关机:
halt
或者：
poweroff
或者：
shutdown －h now
10分钟之后自动关机
shutdown －h 10
如果是通过shutdown命令设置关机的话，可以用shutdown -c命令取消重启
15.查看磁盘空间使用情况
df -h
16.根据文件名查找文件
sudo find / -name a.txt
17.查看文件大小
du -sh *
18.
    压缩：
gzip：对文件的最后进行操作，增加/删除.gz后缀名。
选项：
-d：解压
-v：压缩时显示压缩比。
-c: 将压缩的数据输出到标准输出（stdout）上 
1..9：1最快，压缩比最差，9则反之。默认为6.
-t：用来检查压缩文件的数据一致性。
如果想要压缩时保留原文件：
gzip -c File > File.gz

zcat 可以查看被压缩后的文本文件。

bzip2：
选项：
-d：解压
-v：压缩时显示压缩比。
-c: 将压缩的数据输出到标准输出（stdout）上 
1..9：1最快，压缩比最差，9则反之。默认为6.
-t：用来检查压缩文件的数据一致性。
-z :压缩的参数(有无均可)
-k :保留源文件,而不会删除原始的文件 
-f :强制执行压缩/解压
19.如何安装：rpm -ivh packageName
-i：安装
-v：啰嗦模式，显示软件安装的各种信息。
-h：进度条。

多个安装包之间使用空格隔开。
网络安装需要使用正确的网址。
如何卸载：rpm -e packageName
rpm -e  jdk-8u111-linux-x64.rpm 会提示卸载失败，因为此包名称并不是系统中的安装名称。
    缺点：RPM软件包之间的依赖关系，太过于复杂/密切。 20.YUM：通过分析RPM的标头资料后,根据各软件的相关性制作出属性相依时的解决方案，然后可以自动处理软件的依赖问题,以解决软件安装、移除、升级     中遇到的繁琐操作的问题。
优点：操作简单，傻瓜式安装
缺点：yum源的问题。一般系统自带的yum源(CentOS)。如果想要自己配置一个yum源也比较麻烦。证书问题。

安装、升级、卸载：
yum install/update/remove 
无论在安装、升级、卸载哪一种操作下直接跟-y的话就表示全部过程中的所有确认均执行yes操作。

21.shell脚本

22.把一个流中所有字符转换成大写字符，可以使用下面哪个命令？ tr a-z A-Z

23.如何快速切换到用户John的主目录下？ cd ~John

24.运行一个脚本，用户不需要什么样的权限？b  运行脚本，不需要对脚本进行写操作 d：浏览目录
A. read
B. write
C. execute
D. browse on the directory

25.了解您在当前目录下还有多大空间的命令（   ） c
A. Use df    B. Use du /     C. Use du .    D. Use df . 

参考答案：C

26.man 5 passwd 含义是（b   ） 
A. 显示 passwd 命令的使用方法       B. 显示 passwd 文件的结构
C. 显示 passwd 命令的说明的前五行   D. 显示关于passwd的前五处说明文档。

参考答案：B

27.对于日期，如果不想手写的话，可以通过linux的指令来获取：
> date "+%G-%m-%d"