Hadoop平台搭建与维护中相关Linux知识

一、 磁盘在Linux中的表示

1. Linux所有设备都被抽象为一个文件，保存在dev目录下

2. 设备名称一般为hd[a-z]或sd[a-z]（[a-z为分区号]），如：hda、hdb、sda、sdb

3. IDE设备的名称为hd[a-z]，SATA、SCSI、SAS、USB等设备的名称为sd[a-z]

4. 不同的分区用：设备名称+分区号 的方式表示，如sda1、sda2

5. 主流的分区机制分为MBR和GPT两种

    MBR（Master Boot Record）

        传统的分区机制，应用于绝大多数使用BIOS的PC设备

        MBR支持分区数量有限，且只支持不超过2T的硬盘，超过2T的硬盘将只能使用2T空间（有第三方解决办法），使用MBR分区机制，其硬盘的前512个字节被MBR相关信息占用

        主分区：只能创建4个主分区

        扩展分区：一个扩展分区会占用一个主分区位置

        逻辑分区：Linux最多支持63个IDE分区和15个SCSI分区（即SATA、SAS、USB等都是使用的SCSI驱动）

    GPT（GUID Partition Table）

        是一个较新的分区机制，解决了MBR的很多缺点

        支持超过2T的磁盘

        向后兼容MBR

        必须支持UEFI的硬件上才能使用

        必须使用64bit系统

        Mac、Linux系统都能支持GPT分区格式

        Win 7 64bit、windowsServer 2008 64bit支持GPT

        

一、Linux系统目录架构

1. bin

    存放可执行的二进制文件，也就是命令

2. boot

    引导目录，存放所有跟引导和启动有关系的文件。如操作系统的启动，vmlinux为内核文件，操作系统在启动时第一个加载的就是内核

3. dev

    将计算机上的硬件设备都被抽象为一个文件，存放在dev下

4. etc

    操作系统所有相关的配置文件

5. home

    家目录，操作系统的所有用户命名的文件夹存放于home下，用于保存所有用户的私有文件，相当于windows中的我的文档，但root用户是直接存在于 / 下的

6. lib

    linux程序运行所有相关的库文件

7. media

    自动挂载用的

8. mnt

    也是挂载用的，所有的操作系统都会有mnt，但不一定会有media

9. opt

    通常用来装一些大型的软件，但并不是强制的

10. proc

    只存在于内存当中的虚拟文件，不存在于系统的硬盘上，其中存放一些系统的实时信息

11. sbin

    和bin目录一样，都是存放可执行的二进制文件，但bin目录中是所有用户都可执行的文件，而sbin是root用户可执行的文件

12. sys

    存放系统底层的一些信息

13. tmp

    存放临时文件的目录，隔段时间tmp目录会自动删除其中内容

14. usr

    保存安装的应用软件，通常情况下软件安装在usr下

15. var

    保存一些经常变化的信息，  通常是服务器的一些信息、操作系统的所有日志信息、邮件信息等

16. lost+found

    在格式化磁盘时会出现lost+found目录，对于损坏的找不到路径的文件，会将其放入lost+found

二、文件系统

    操作系统通过文件系统管理文件及数据，磁盘或分区需要创建文件系统之后才能够为操作系统使用，创建文件系统的过程又称之为格式化。

    · 没有文件系统的设备又称之为裸(raw)设备

    · 常见的文件系统有fat32、NTFS、ext2、ext3、ext4、xfs、HFS等

    · 文件系统之间的区别：日志、支持的分区大小、支持的单个文件大小、性能等

    · windows下的主流文件系统是：NTFS

    · Linux下的主流文件系统是：Ext3、Ext4

    

三、JOURNAL日志

    带日志的文件系统(ext3、ext4)拥有较强的稳定性，在出现错误时可以进行恢复。

    使用带日志的文件系统，文件系统会使用一个叫做“两阶段提交”的方式进行磁盘操作，当进行磁盘操作时，文件系统进行以下操作：

    (1)  文件系统将准备执行的事务的具体内容写入日志

    (2)  文件系统进行操作

    (3)  操作成功后，将事务的具体内容从日志中删除

    这样做的好处是，当事务执行的时候如果出现意外(如断电或磁盘故障)，可以通过查询日志进行恢复操作。缺点是会丧失一定的性能(额外的日志读写操作)。

四、一般操作

    1. rm -rf linked_name        删除符号软连接名

    2. hadoop fs -rmr file_name        删除hadoop中的文件

    3. 设置hadoop环境变量

        (1) 对所有用户生效(永久的)

                root权限下VI 文件 /etc/profile，在最后添加新的一行：

                export HADOOP_HOME=/usr/local/hadoop  (hadoop文件夹存放于此)

                export PATH=$HADOOP_HOME/bin:$PATH

                保存并退出，执行source /etc/profile使文件立即生效

        (2) 对单一用户生效(永久的)

                当前用户下VI当前用户中的.bash_profile文件(以用户hadoop为例)  /home/hadoop/.bash_profile,剩下操作同(1)

                最后source /home/hadoop/.bash_profile

    4. 删除centOS7下原生的mariadb:

        查找已安装的：

                rpm -qa | grep mariadb(或mysql)

        删除安装包：

                yum remove mariadb*(或mysql*，依据查找到的名字删除)

    5. 使hadoop用户拥有sudo权限且不用输入密码

        1. root用户下 vi /etc/sudoers

        2. 参考sudoers文件中已有的一行：root  ALL=(ALL:ALL) ALL，

第一个ALL是指可以在所有ip下使用，括号里的ALL应该是可以以哪些帐号来使用，括号后面的ALL是可以在执行哪些命令时不输入密码。ALL是指所有，也可以根据需要来具体配置,比如像下面这样：

deployment ALL=(ALL) NOPASSWD: /bin/rm, /bin/mkdir, /usr/bin/rsync

    6. IP地址介绍

        DNS：把IP和域名相互解析的工具

        HWaddr：Mac地址

        lo：回环接口，地址一般为127.0.0.1

        重启网络（使修改后的网络配置生效）        

            /etc/init.d/network restart 比service network restart要好

        通过lspci命令可以查看网卡硬件信息（如果是usb网卡，则可能需要使用lsusb，命令）

        命令ifconfig用来查看接口信息

            ifconfig -a    查看所有接口

            ifconfig eth0    查看特定接口

        命令ifup、ifdown用来启用、禁用一个接口

            ifup eth0

            ifdown eth0

        7. 网络相关配置文件

            网卡配置文件    /etc/sysconfig/network-scripts/ifcfg-eth0

            DNS配置文件    /etc/resolv.conf

            主机名配置文件    /etc/sysconfig/network

            静态主机名配置文件    /etc/hosts

        8. 网络测试命令

            测试网络连通性：

                ping 192.168.1.1

                ping www.baidu.com

            测试DNS解析：

                host www.baidu.com

                dig www.baidu.com

            显示路由表：

                ip route

            追踪到达目的地址的网络路径（即到达目标地址所经过的路由设备）：

                traceroute www.baidu.com

            使用mtr进行网络质量测试（结合traceroute和ping）：

                mtr www.baidu.com

        9. 网络故障排查

            遵循从底层到高层、从吱声到外部的流程进行

            先查看网络配置信息是否正确

                    -IP地址

                    -子网掩码

                    -网关

                    -DNS

            查看到达网关是否联通

                    ping 网关IP地址

            查看DNS解析是否正常

                    host www.baidu.com

                    host www.126.com

                    host www.douban.com

        10. linux下，如何把整个文件夹上传到服务器（另一台linux）             

              Linux下目录复制：本机->远程服务器

              scp  -r /home/shaoxiaohu/test1  [email protected]:/home/test2

              注：如果端口号有更改，需在scp 后输入：-P 端口号 （注意是大写，ssh的命令中 -p是小写）

   (!!!)11. SSH之间互通

[root@master-hadoop ~]# su - hadoop

[hadoop@master-hadoop ~]$ ssh-keygen -t rsa     #一直回车生成密钥

[hadoop@master-hadoop ~]$ cd/home/hadoop/.ssh/

[hadoop@master-hadoop .ssh]$ ls

id_rsa  id_rsa.pub

[hadoop@slave1-hadoop ~]$ mkdir /home/hadoop/.ssh   #登录两台创建.ssh目录

[hadoop@slave2-hadoop ~]$ mkdir /home/hadoop/.ssh

[hadoop@master-hadoop .ssh]$ scp id_rsa.pub hadoop@slave1-hadoop:/home/hadoop/.ssh/

[hadoop@master-hadoop .ssh]$ scp id_rsa.pub hadoop@slave2-hadoop:/home/hadoop/.ssh/

[hadoop@slave1-hadoop ~]$ cd/home/hadoop/.ssh/

[hadoop@slave1-hadoop .ssh]$ cat id_rsa.pub >> authorized_keys

[hadoop@slave1-hadoop .ssh]$ chmod 600 authorized_keys

[hadoop@slave1-hadoop .ssh]$ chmod 700 ../.ssh/   #目录权限必须设置700

[root@slave1-hadoop ~]# vi /etc/ssh/sshd_config   #开启RSA认证

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile      .ssh/authorized_keys

[root@slave1-hadoop ~]# service sshd restart

 

       12. 定时时间校准

                    以192.168.100.233为时间服务器，其他服务器对其定时校对时间:

                    其他服务器在root用户下输入crontab -e进入界面

                    输入：10 1 * * * /usr/sbin/ntpdate 192.168.100.233

                    表示：1点十分 年 月 日 ntpdate指令 时间服务器

        13. hadoop离开安全模式

                hadoop dfsadmin -safemode leave

        

        14.Linux连接wifi

    1. 查看是否需要安装固件

大多无线网卡还需要固件。内核一般会自动探测并加载两者，如果您得到类似 SIOCSIFFLAGS: No such file or directory 的输出，意味着您得手动加载固件。若不确定，用 dmesg 查询内核日志，看看有没有来自无线网卡的固件请求。比如您有 Intel 芯片组，输出大概是这样：
# dmesg | grep firmware
firmware: requesting iwlwifi-5000-1.ucode
若无输出，表明系统的无线芯片不需要固件。

    2. 查看无线网口：

#iw dev(interface后面即为无线网口号)

    3. 激活无线网络接口：

# ip link set wls1 up 
为了检验接口是否激活成功，您可以查看以下命令的输出：
# ip link show wls1
3: wls1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state DOWN mode DORMANT group default qlen 1000 link/ether 00:11:22:33:44:55 brd ff:ff:ff:ff:ff:ff 
<BROADCAST,MULTICAST,UP,LOWER_UP> 中的UP 表明该接口激活成功，后面的 state DOWN 无关紧要。

    4. 查看无线网络连接情况：

#iw wls1 link
刚开始应该会显示无连接

    5. 扫描可连接的wifi

#iw wls1 scan | grep SSID

扫描可用的网络

    6. 连接指定的SSID

# wpa_supplicant -B -i wlp3s0 -c <(wpa_passphrase "ssid" "psk") 
将ssid 替换为实际的网络名称，psk 替换为无线密码，请保留引号。

    7. 用dhcp 获得 IP 分配：

# dhclient wlp3s0 

    8. 测试是否成功地从路由器获取了ip(重要)

#ip addr  show wls1

如果分配有ip，即可上网，也可以有ping直接测试