大数据 Centos基础

前言

• 大数据 基础概念
• 大数据 Centos基础
• 大数据 Shell基础
• 大数据 ZooKeeper
• 大数据 Hadoop介绍、配置与使用
• 大数据 Hadoop之HDFS
• 大数据 MapReduce
• 大数据 Hive
• 大数据 Yarn
• 大数据 MapReduce使用
• 大数据 Hadoop高可用HA

介绍

简单学学常见的一些指令。

• 宿主环境：Ubuntu18.04
• 虚拟环境：VMWare
• 虚拟机：Centos7

修改基本配置

首先，我们在VMWare中安装一个Centos的虚拟机，安装完毕之后是没有网络，我们需要配置下网络。

修改主机的名称

• vim /etc/sysconfig/network
• 在该文件中添加一下内容

NETWORKKING=yes
HOSTNAME=hadoop # 主机名称

• reboot重启主机。

配置网络

• 这里就不描述在VMWare中安装Centos的过程了。
• 打开VMWare，Edit->Virtual NetWork Editor

底下的Subnet IP和Subnet mask是后边配置需要的。

• 进入到网络配置的目录
  • cd /etc/sysconfig/network-scripts/
• 查看
  • ls /etc/sysconfig/network-scripts/
  • 
• 修改ifcfg-ens33
  • vim ifcfg-ens33
  • 修改项：
    • BOOTPROTO=static
    • ONBOOT=yes
  • 添加项如下：

# 这里需要根据上述的SubnetIP和SubnetMask来修改。
IPADDR=192.168.80.8 
GATEWAY=192.168.80.2
NETMASK=255.255.255.0
DNS1=192.168.80.2

最后，还需要配置下虚拟网卡，选择Manual，之后配置Address、Netmask、Gateway。

防火墙

• 可以参见于：虚拟化Kimchi使用笔记

terminal shortcut

• Ctrl+c：终止进程
• ctrl+l：清屏
• ctrl+r：搜索历史命令
• ctrl+q：退出
• ctrl+d：退出当前用户

指令

请注意使用man 查询的指令来查看攻略O(∩_∩)O哈哈~
比如man ls

简单指令

• pwd
  • 查看当前绝对路径
• date
  • 查看当前系统时间
• who
  • 查看当前谁在线
• last
  • 查看最近的登陆历史记录
• reboot
  • 重启
• halt
  • 关闭虚拟机
• touch
  • 创建一个文件
• echo
  • 输出信息
• gzip
  • 压缩：gzip aaa.txt
  • 解压：gzip -d aaa.txt.gz
• tar
  • 压缩：tar -zcvf aaa.tar.gz aaa/
  • 解压缩：tar -zxvf aaa.tar.gz
  • 递归解压缩到其他目录：tar -zxvf aaa.tar.gz -C aaa/
• last 和 lastlog
  • 查看用户最近的登陆情况
• df
  • 查看硬盘的使用情况
• du
  • 查看文件的大小
• free
  • 查看内存使用情况
• /proc
  • 查看文件系统
• ls /var/log/
  • 查看日志
• tail /var/log/messages
  • 查看系统报错日志

复杂指令

• cd

  • cd ~：进入用户根目录
  • cd -：返回用户上一个所在路径

• ls

  • ls -l：单行显示
  • ls -A：显示除了隐藏文件的所有文件
  • ls -a：显示隐藏文件
  • ls -F：显示文件类型

• mv

  • mv aa.txt /tmp：移动文件到tmp目录
  • mv aa.txt bb.txt：将aa.txt改名为bb.txt

• cat

  • 输出文本
  • 拼接文件
    

• grep【全称：Global Regular Expression Print】

  • 是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来。
  • grep "good.*good" test.txt：从test.txt中查找符合表达式good.*good的内容。

• find

  • 在目录结构中搜索文件，并执行指定的操作。
  • find / -name "aaa"：在根目录下查找名称是aaa的文件。

重定向

• >：将流导向到其他位置，比如文本中。覆盖模式
  • echo "Hello world!" > what.txt
• >>：将流导向到其他位置，比如文本中。追加模式
  • • echo "Hello world!" >> what.txt

文件权限

首先，我们需要简要了解下Linux中对于文件的权限控制和表示。

类型表示

参数	说明
d	文件夹
-	文件
l	链接

权限表示

权限	说明
r	可读
w	可写
x	可执行

实战

下面，我们使用一个drwxr-xr-x来分析：

组别	说明
第一组rwx	表示这个文件的拥有者对它的权限：可读、可写、可执行。
第二组r-x	表示这个文件的所属组对它的权限：可读、不可写、可执行。
第三组r-x	表示这个文件的其他用户（相对于上面两类用户）对它的权限：可读、不可写、可执行。

修改权限：

指令	说明
chmod g-rw aaa.txt	将aaa.txt对所属组的取消 rw权限。
chmod o-rw aaa.txt	将aaa.txt对其他人取消 rw权限。
chmod u+x aaa.txt	将aaa.txt对所属用户的权限增加 x权限。
chmod 664 aaa.txt	将aaa.text的权限修改权限为rw-rw-r--。
chmod -R 770 aaaa/	使用-R参数将一个文件夹的所有内容权限统一修改。

高级指令

介绍Linux的一些高级指令，详见于：大数据 Shell基础

附录

• Linux 知识收集
• Linux安装常用软件