hadoop、spark学习中常用的linux命令
（
设置服务开机启动：chkconfig 服务名 on
值得注意的是，如果这个服务尚未被添加到 chkconfig 列表中，则现需要使用 --add 参数将其添加进去：chkconfig --add 服务名
查询当前所有自动启动的服务，可以输入：chkconfig --list
）
1、
IP
查看
：
ifconfig
，若未配置环境变量，则执行：
/sbin/ifconfig
2、
wget
下载路径：
linux
系统下资源下载
3、
中文乱码问题：修改路径
/etc/sysconfig/i18n
，修改内容为：
LANG= "zh_CN.GB18030"
LANGUAGE= "zh_CN.GB18030:zh_CN.GB2312:zh_CN"
SUPPORTED= "zh_CN.GB18030:zh_CN:zh:en_US.UTF-8:en_US:en"
SYSFONT= "lat0-sun16"
4、
更改主机名：修改路径
/etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME= master
修改路径： /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 master master
::1 localhost6.localdomain6 localhost6
5、
vi
：
编辑模式变命令模式，直接按
Esc
。
保存退出：（： wq! ）
改动不保存：（： q! ）
6、
重启：
reboot
立即重启： shutdown -r now (root 用户使用 )
关机： poweroff
立即关机： shutdown -h now(root 用户使用 )
7、
用户创建：
useradd
用户名
用户密码设置： passwd 用户名
8、
cp
：
主要是用于在同一台电脑上，在不同的目录之间来回
copy
文件
scp ：主要是在不同的 Linux 系统之间来回 copy 文件
9
、
关
闭防火墙(iptables)：
重启后永久性生效：
开启： chkconfig iptables on
关闭： chkconfig iptables off
即时生效，重启后失效：
开启： service iptables start
关闭： service iptables stop
LANG= "zh_CN.GB18030"
LANGUAGE= "zh_CN.GB18030:zh_CN.GB2312:zh_CN"
SUPPORTED= "zh_CN.GB18030:zh_CN:zh:en_US.UTF-8:en_US:en"
SYSFONT= "lat0-sun16"
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME= master
修改路径： /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 master master
::1 localhost6.localdomain6 localhost6
保存退出：（： wq! ）
改动不保存：（： q! ）
立即重启： shutdown -r now (root 用户使用 )
关机： poweroff
立即关机： shutdown -h now(root 用户使用 )
用户密码设置： passwd 用户名
scp ：主要是在不同的 Linux 系统之间来回 copy 文件
重启后永久性生效：
开启： chkconfig iptables on
关闭： chkconfig iptables off
即时生效，重启后失效：
开启： service iptables start
关闭： service iptables stop
关闭selinux服务：
查看selinux状态：
getenforce或sestatus -v
设置文件vim /etc/selinux/config
注释掉：
SELINUX=enforcing
新增：SELINUX=disabled
设置selinux服务临时关闭（无需重启）：
setenforce 0
(
CentOS 7.0 默认使用的是 firewall 作为防火墙，使用 iptables 必须重新设置一下
1 、直接关闭防火墙
停止 firewall :systemctl stop firewalld.service
禁止 firewall 开机启动 :systemctl disable firewalld.service
2 、设置 iptables service
yum -y install iptables-services
)
修改密码： passwd tommy
../ : 是上一级目录
~/：表示的是个人目录，例如你的账户是student,那么~/代表的是/home/student/
/:表示的是根目录。 cd / ,即进入根目录.
方法一：
在 /etc/profile 文件中添加变量【对所有用户生效（永久的）】
用 VI 在文件 /etc/profile 文件中增加变量，该变量将会对 Linux 下所有用户有效，并且是“永的”。
要让刚才的修改马上生效，需要执行以下代码
# source /etc/profile
在 /etc/profile 文件中添加变量【对所有用户生效（永久的）】
用 VI 在文件 /etc/profile 文件中增加变量，该变量将会对 Linux 下所有用户有效，并且是“永的”。
要让刚才的修改马上生效，需要执行以下代码
# source /etc/profile
方法二：
在用户目录下的 .bash_profile 文件中增加变量【对单一用户生效（永久的）】
用 VI 在用户目录下的 .bash_profile 文件中增加变量，改变量仅会对当前用户有效，并且是“永久的”。
要让刚才的修改马上生效，需要在用户目录下执行以下代码
# source .bash_profile
方法三：
直接运行 export 命令定义变量【只对当前 shell （ BASH ）有效（临时的）】
在 shell 的命令行下直接使用 [export 变量名 = 变量值 ] 定义变量，该变量只在当前的 shell （ BASH ）或其子 shell （ BASH ）下是有效的， shell 关闭了，变量也就失效了，再打开新 shell 时就没有这个变量，需要使用的话还需要重新定义。
export PATH=/usr/local/webserver/php/bin:$PATH
21、
显示当前
shell
的变量，包括当前用户的变量：
set;
显示当前用户的变量： env;
清除环境变量： unset 变量名 ;
22、
有时候，对文件进行执行或修改的时候报错，有可能是对文件的权限不足
。
23、
文件删除：
rm –rf;
-r, -R, --recursive 递归删除目录及其内容 ;
-f, --force 强制删除。忽略不存在的文件，不提示确认 ;
24、
awk
：
一个强大的文本分析工具，相对于
grep
的查找，
sed
的编辑，
awk
在其对数据分析并生成报
告时，显得尤为强大。简单来说 awk 就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开
的部分再进行各种分析处理。
三种方式调用 awk ：
1. 命令行方式
awk [-F field-separator] 'commands' input-file(s)
其中， commands 是真正 awk 命令， [-F 域分隔符 ] 是可选的。 input-file(s) 是待处理的文件。
在 awk 中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名 -F 域分隔符的情况下，默认的域分隔符是空格。
2.shell 脚本方式
将所有的 awk 命令插入一个文件，并使 awk 程序可执行，然后 awk 命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。相当于 shell 脚本首行的： #!/bin/sh ，可以换成： #!/bin/awk
3. 将所有的 awk 命令插入一个单独文件，然后调用：
awk -f awk-script-file input-file(s)
其中， -f 选项加载 awk-script-file 中的 awk 脚本， input-file(s) 跟上面的是一样的。
25、
rpm:
类似
Windows
里面的
“
添加
/
删除程序
－ ivh ：安装显示安装进度 --install--verbose--hash
－ Uvh ：升级软件包 --Update ；
－ qpl ：列出 RPM 软件包内的文件信息 [Query Package list] ；
－ qpi ：列出 RPM 软件包的描述信息 [Query Package install package(s)] ；
－ qf ：查找指定文件属于哪个 RPM 软件包 [Query File] ；
－ Va ：校验所有的 RPM 软件包，查找丢失的文件 [View Lost] ；
－ e ：删除包
26、
运行
yum
命令出现：
Loaded plugins: fastestmirror Determining fastest mirrors
问题分析： fastestmirror 是 yum 的一个加速插件，这里是插件提示信息是插件不能用了。
问题解决：修改插件的配置文件 /etc/yum/pluginconf.d/fastestmirror.conf
enabled = 1// 由 1 改为 0 ，禁用该插件
修改 yum 的配置文件 /etc/yum.conf
plugins=1// 改为 0 ，不使用插件
27、
运行yum系统提示Existing lock /var/run/yum.pid: another copy is running as pid
问题分析： 主要原因就是 yum 在自动更新，所以再运行 yum 就会报这个错。
问题解决： 只要关掉正在执行的 yum 更新就可以了，停止正在运行的 yum 进程，或者禁用开机自动 启动 yum 进程
停止 yum 进程 : rm -f /var/run/yum.pid
停止自动更新 : /etc/init.d/yum-updatesd stop
我们不需要自动更新服务，可以直接删除它 : yum remove yum-updatesd
28、
centOR7
安装
bind:
yum -y install bind bind-utils
29、
scp ./id_rsa.pub [email protected]:/home/grid/.ssh/authorized_keys
30、
linux
系统
jdk
环境变量配
置： vim /etc/profile
在用户目录下的 .bash_profile 文件中增加变量【对单一用户生效（永久的）】
用 VI 在用户目录下的 .bash_profile 文件中增加变量，改变量仅会对当前用户有效，并且是“永久的”。
要让刚才的修改马上生效，需要在用户目录下执行以下代码
# source .bash_profile
方法三：
直接运行 export 命令定义变量【只对当前 shell （ BASH ）有效（临时的）】
在 shell 的命令行下直接使用 [export 变量名 = 变量值 ] 定义变量，该变量只在当前的 shell （ BASH ）或其子 shell （ BASH ）下是有效的， shell 关闭了，变量也就失效了，再打开新 shell 时就没有这个变量，需要使用的话还需要重新定义。
export PATH=/usr/local/webserver/php/bin:$PATH
显示当前用户的变量： env;
清除环境变量： unset 变量名 ;
-r, -R, --recursive 递归删除目录及其内容 ;
-f, --force 强制删除。忽略不存在的文件，不提示确认 ;
告时，显得尤为强大。简单来说 awk 就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开
的部分再进行各种分析处理。
三种方式调用 awk ：
1. 命令行方式
awk [-F field-separator] 'commands' input-file(s)
其中， commands 是真正 awk 命令， [-F 域分隔符 ] 是可选的。 input-file(s) 是待处理的文件。
在 awk 中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名 -F 域分隔符的情况下，默认的域分隔符是空格。
2.shell 脚本方式
将所有的 awk 命令插入一个文件，并使 awk 程序可执行，然后 awk 命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。相当于 shell 脚本首行的： #!/bin/sh ，可以换成： #!/bin/awk
3. 将所有的 awk 命令插入一个单独文件，然后调用：
awk -f awk-script-file input-file(s)
其中， -f 选项加载 awk-script-file 中的 awk 脚本， input-file(s) 跟上面的是一样的。
－ ivh ：安装显示安装进度 --install--verbose--hash
－ Uvh ：升级软件包 --Update ；
－ qpl ：列出 RPM 软件包内的文件信息 [Query Package list] ；
－ qpi ：列出 RPM 软件包的描述信息 [Query Package install package(s)] ；
－ qf ：查找指定文件属于哪个 RPM 软件包 [Query File] ；
－ Va ：校验所有的 RPM 软件包，查找丢失的文件 [View Lost] ；
－ e ：删除包
问题分析： fastestmirror 是 yum 的一个加速插件，这里是插件提示信息是插件不能用了。
问题解决：修改插件的配置文件 /etc/yum/pluginconf.d/fastestmirror.conf
enabled = 1// 由 1 改为 0 ，禁用该插件
修改 yum 的配置文件 /etc/yum.conf
plugins=1// 改为 0 ，不使用插件
问题分析： 主要原因就是 yum 在自动更新，所以再运行 yum 就会报这个错。
问题解决： 只要关掉正在执行的 yum 更新就可以了，停止正在运行的 yum 进程，或者禁用开机自动 启动 yum 进程
停止 yum 进程 : rm -f /var/run/yum.pid
停止自动更新 : /etc/init.d/yum-updatesd stop
我们不需要自动更新服务，可以直接删除它 : yum remove yum-updatesd
export JAVA_HOME=/usr/java/jdk1.8.0_73
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
ssh的安装：yum install ssh
ssh的启动：service sshd start
设置开机启动：chkconfig sshd on