大数据开发成长之路——Linux基础

Linux基础

这里主要介绍学习大数据过程中用到的Linux基础知识，现在主攻的方向是大数据开发，欢迎大家共同交流。

环境

• 推荐安装VMware虚拟机并安装CentOS操作系统，具体资源的下载和安装可以查到，如果踩到坑可以留言讨论。
  
• 通过远程连接工具可以直接操作虚拟机中的Linux系统，比如Xshell、SecureCRT等，熟悉Linux指令后推荐使用
  注：这里需要将虚拟机网络设置为NAT模式：[编辑——>虚拟网络编辑器]
  
  在主机电脑的[ 网络共享中心 ]可以查看到VMnet8网络适配器，其中IPv4地址与虚拟机网络在同一网段下即可
  最后在虚拟机中使用ifconfig命令查看IP地址，使用远程连接工具即可连接

常见的Linux指令

1. history显示历史命令，可使用!命令序号再次执行
2. ctrl+a/e让光标移动到首尾部
3. pwd查看当前目录
4. ls列出当前目录文件
   -l除文件名称外，亦将文件型态、权限、拥有者、文件大小等资讯详细列出
   -r将文件以相反次序显示
   -t将文件依建立时间之先后次序列出
   -a显示所有文件及目录，开头为"."的视为隐藏档

• vim编辑器的使用
  

5. vim test编辑名为test的文档，如果不存在则创建
   a/i进入插入模式开始编辑
   ESC键返回到命令行模式
   在命令模式下：
   :q/:q!不保存退出/强制退出
   :wq保存并退出
   :set nu显示行号 set nonu不显示行号
   gg回到首行
   G跳到尾行
   dd删除光标所在行
   yy复制光标所在行 p粘贴在下一行，4yy向下复制四行
   wc即word count命令，可以查阅脚本的行数字节数等信息，可以使用wc --help查看具体命令

• 文件管理命令：

15. cat test1 test2 > test3将文件拼接到另一个文件中
16. cat -n test3带行号打印显示
17. touch新建文件touch newFile 更改文件编辑时间为当前touch test3
18. chmod更改文件操作权限，可以使用ll命令查看当前目录下的个文件权限，依次是文件拥有者、群组、其他，权限级别分为w可写、r可读、x可执行，可分别用数字4 2 1代表，例如chmod 777 test3
19. chown更改文件拥有者，文件拥有者分为用户和组
    注：在root用户权限下才可执行上述两条命令 su root
    
20. find查找命令，find -name '*.txt'查找txt文件，通常可以配合管道命令查询
21. more类似cat，但一页一页展示，使用ctrl+f向下翻页
22. less类似more，但是可以向上翻页ctrl+b
23. head -n 5 test3查看test3文件的前5行，tail -n 5 test3查看后五行
24. mv重命名文件mv test1 test4 移动文件或目录mv test4 /opt即剪切功能
25. cp复制文件或目录，参数-r表示递归复制
26. mkdir创建目录 mkdir -p a/b/c递归创建目录a/b/c
27. tar解压缩文件
    -f<备份文件>或–file=<备份文件> 指定备份文件
    -v或–verbose 显示指令执行过程
    -x或–extract或–get 从备份文件中还原文件
    -z或–gzip或–ungzip 通过gzip指令处理备份文件
    -C<目的目录>或–directory=<目的目录> 切换到指定的目录
    一般我们使用tar -zxvf XXXX -C /usr/即可

• 磁盘管理：

28. df -h磁盘使用情况
29. mount挂载Linux系统外的文件 ，umount卸除文件系统，一般系统外文件挂载在/mnt下

• 用户管理

30. useradd建立用户账号
    -m自动建立用户的登录目录
    -g指定用户所属的群组
    -d指定用户登入时的家目录
    -u 600 在0——499之间表示系统用户，500——2³²之间表示普通用户
31. passwd更改使用者的密码
32. kill杀死执行中的程序或工作，使用kill -l查看所有进程，kill -9 pid强制杀死此pid的进程

ssh操作

为后面的集群搭建做准备，需要掌握虚拟机之间通过ssh登录的方法，准备两台虚拟机操作系统。

1. 使用ifconfig命令查看IP地址
2. 使用ping命令查看是否连通
3. 使用ssh root@IP登录，root为登录时的用户名，由于没有使用免密操作需要输入密码，可以使用exit退出

• 免密操作

4. 打开ssh功能 systemctl start sshd.service，一般默认是打开的
5. 启动root用户su root
6. 使用命令ssh-keygen -t rsa，一路回车，会创建公钥和私钥文件
7. 将公钥文件拷给主虚拟机：ssh-copy-id -i ~/.ssh/id_rsa.pub 目标IP（注：主虚拟机也要执行此操作，否则无法主从互相免密登录，相当于向authorized_keys中注册）
8. 在主虚拟机的.ssh目录下可以看到authorized_keys，拷贝到各虚拟机即可：scp authorized_keys IP:$PWD
9. 现在可以直接使用ssh 'IP'登录另一台虚拟机
   注：由于我们刚才切换到root用户进行操作，所以免密登录对root用户有效，同理可切换到其他用户创建密钥链接

scp远程拷贝

scp命令用于Linux之间复制文件和目录
使用scp -r 本地路径 目标路径即可，例如：scp -r test3 '192.168.154.11':/tmp，-r表示递归