大数据系列——shell的简单语法

1. Linux 简介

• Linux内核最初只是由芬兰人李纳斯·托瓦兹（Linus Torvalds）在赫尔辛基大学上学时出于个人爱好而编写的
• Linux是一套免费使用和自由传播的类Unix操作系统
• Linux能运行主要的UNIX工具软件、应用程序和网络协议

2. Linux的发行版

• Linux的发行版说简单点就是将Linux内核与应用软件做一个打包
• Ubuntu(图形化接口,个人用户操作比较良好)
• RedHat(企业使用的比较多,图形化接口比较low,收费)
• CentOS(免费 开源 图形化接口比较low)
• Debian、Fedora、SuSE、OpenSUSE、Arch Linux、SolusOS

3. Linux应用领域

• 作为企业服务器
• 嵌入式

4. Linux vs Windows

比较	Windows	Linux
界面	界面统一，外壳程序固定所有Windows程序菜单几乎一致，快捷键也几乎相同	图形界面风格因发行版不同而不同，可能互不兼容。GNU/Linux的终端机是从UNIX传承下来，基本命令和操作方法也几乎一致。
驱动程序	驱动程序丰富，版本更新频繁。默认安装程序里面一般包含有该版本发布时流行的硬件驱动程序，之后所出的新硬件驱动依赖于硬件厂商提供。对于一些老硬件，如果没有了原配的驱动有时很难支持。另外，有时硬件厂商未提供所需版本的Windows下的驱动，也会比较头痛。	由志愿者开发，由Linux核心开发小组发布，很多硬件厂商基于版权考虑并未提供驱动程序，尽管多数无需手动安装，但是涉及安装则相对复杂，使得新用户面对驱动程序问题（是否存在和安装方法）会一筹莫展。但是在开源开发模式下，许多老硬件尽管在Windows下很难支持的也容易找到驱动。HP、Intel、AMD等硬件厂商逐步不同程度支持开源驱动，问题正在得到缓解。
使用	使用比较简单，容易入门。图形化界面对没有计算机背景知识的用户使用十分有利。	图形界面使用简单，容易入门。文字界面，需要学习才能掌握。
学习	系统构造复杂、变化频繁，且知识、技能淘汰快，深入学习困难。	系统构造简单、稳定，且知识、技能传承性好，深入学习相对容易。
软件	每一种特定功能可能都需要商业软件的支持，需要购买相应的授权。	大部分软件都可以自由获取，同样功能的软件选择较少。

5. Linux的安装

刚开始已经安装过centeros6.5

6. Linux 系统启动过程

• 内核的引导

  • 当计算机打开电源后，首先是BIOS开机自检，按照BIOS中设置的启动设备（通常是硬盘）来启动。

    操作系统接管硬件以后，首先读入 /boot 目录下的内核文件。

• 运行 init

  • init 进程是系统所有进程的起点，你可以把它比拟成系统所有进程的老祖宗，没有这个进程，系统中任何进程都不会启动。

    init 程序首先是需要读取配置文件 /etc/inittab

• 系统初始化

  • 在init的配置文件中有这么一行： si::sysinit:/etc/rc.d/rc.sysinit　它调用执行了/etc/rc.d/rc.sysinit，而rc.sysinit是一个bash shell的脚本，它主要是完成一些系统初始化的工作，rc.sysinit是每一个运行级别都要首先运行的重要脚本

• 建立终端

  • rc执行完毕后，返回init。这时基本系统环境已经设置好了，各种守护进程也已经启动了。

    init接下来会打开6个终端，以便用户登录系统。在inittab中的以下6行就是定义了6个终端：

• 用户登录系统

  • 命令行登录
  • ssh登录
  • 图形界面登录

7. Linux 系统目录结构

• /bin bin是Binary的缩写, 这个目录存放着最经常使用的命令
• /boot 这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件
• /dev dev是Device(设备)的缩写, 该目录下存放的是Linux的外部设备，在Linux中访问设备的方式和访问文件的方式是相同的
• /etc 这个目录用来存放所有的系统管理所需要的配置文件和子目录
• /home 用户的主目录，在Linux中，每个用户都有一个自己的目录，一般该目录名是以用户的账号命名的
• /lib 这个目录里存放着系统最基本的动态连接共享库，其作用类似于Windows里的DLL文件。几乎所有的应用程序都需要用到这些共享库
• /lost+found 这个目录一般情况下是空的，当系统非法关机后，这里就存放了一些文件
• /media inux系统会自动识别一些设备，例如U盘、光驱等等，当识别后，linux会把识别的设备挂载到这个目录下。
• /mnt 系统提供该目录是为了让用户临时挂载别的文件系统的，我们可以将光驱挂载在/mnt/上，然后进入该目录就可以查看光驱里的内容了
• /opt 这是给主机额外安装软件所摆放的目录。比如你安装一个ORACLE数据库则就可以放到这个目录下。默认是空的
• /proc 这个目录是一个虚拟的目录，它是系统内存的映射，我们可以通过直接访问这个目录来获取系统信息。
• /root 该目录为系统管理员，也称作超级权限者的用户主目录
• /sbin s就是Super User的意思，这里存放的是系统管理员使用的系统管理程序
• /selinux  这个目录是Redhat/CentOS所特有的目录，Selinux是一个安全机制，类似于windows的防火墙，但是这套机制比较复杂，这个目录就是存放selinux相关的文件的
• /srv 该目录存放一些服务启动之后需要提取的数据
• /sys  这是linux2.6内核的一个很大的变化。该目录下安装了2.6内核中新出现的一个文件系统 sysfs 。
• /tmp 这个目录是用来存放一些临时文件的。
• /usr 这是一个非常重要的目录，用户的很多应用程序和文件都放在这个目录下，类似于windows下的program files目录。
• /usr/bin 系统用户使用的应用程序
• /usr/sbin 超级用户使用的比较高级的管理程序和系统守护程序
• /usr/src 内核源代码默认的放置目录。
• /var 这个目录中存放着在不断扩充着的东西，我们习惯将那些经常被修改的目录放在这个目录下。包括各种日志文件

8. Linux中忘记密码

• ！进入单用户模式更改一下root密码即可
• 3 秒之内要按一下回车
• 然后输入a
• 在 末尾输入 (single s S)其中的一个，有一个空格
• 最后按回车启动，启动后就进入了单用户模式了
• 此时已经进入到单用户模式了，你可以更改root密码了。更密码的命令为 passwd

9. Linux的远程登录

• ssh(putty mutty Secure CRT xshell)

10. Linux 文件基本属性

• 当为[ d ]则是目录
• 当为[ - ]则是文件；
• 若是[ l ]则表示为链接文档(link file)； ln -s 源文件 连接文件

11. 文件的权限

• chmod u+x file
• chmod u=wx file
• chmod 421 file

12. Shell简介

• Shell 是一个用 C 语言编写的程序,它是用户使用 Linux 的桥梁
• Shell 既是一种命令语言，又是一种程序设计语言
• Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务

13. Shell脚本

• Shell 脚本（shell script），是一种为 shell 编写的脚本程序。

14. Shell 环境

• 编辑器+解释器

• 解释器

  • Bourne Shell（/usr/bin/sh或/bin/sh）
  • Bourne Again Shell（/bin/bash）
  • C Shell（/usr/bin/csh )
  • K Shell（/usr/bin/ksh）
  • Shell for Root（/sbin/sh）

15. Shell变量

• 定义变量

  • 操作符左右不能有空格

• 使用变量

  • 在变量名称之前添加$

• 变量类型

  • 局部变量
  • 环境变量
  • shell变量

16. Shell 字符串

• 单引号

  • 单引号中的变量都会原样输出,不会进行解析

• 双引号

  • 双引号中的变量都会被解析

17. Shell 数组

• 定义数组

  • ages=(12,14,16)

18.Shell参数传递

• $n ---->n为参数的下标,从0开始,0代表脚本本身的名称
• $# 参数的个数
• $? 上一条命令执行的结果 返回0代表成功,其他代表失败

19. Shell中的运算符

• 算术运算符

运算符	说明	举例
+	加法	expr $a + $b 结果为 30。
-	减法	expr $a - $b 结果为 -10。
*	乘法	expr $a \* $b 结果为 200。
/	除法	expr $b / $a 结果为 2。
%	取余	expr $b % $a 结果为 0。
=	赋值	a=$b 将把变量 b 的值赋给 a。
==	相等。用于比较两个数字，相同则返回 true。	[ $a == $b ] 返回 false。
!=	不相等。用于比较两个数字，不相同则返回 true。	[ $a != $b ] 返回 true。

条件表达式要放在方括号之间，并且要有空格，例如: [$a==$b] 是错误的，必须写成 [ $a == $b ]

• 关系运算符

运算符	说明	举例
-eq	检测两个数是否相等，相等返回 true。	[ $a -eq $b ] 返回 false。
-ne	检测两个数是否不相等，不相等返回 true。	[ $a -ne $b ] 返回 true。
-gt	检测左边的数是否大于右边的，如果是，则返回 true。	[ $a -gt $b ] 返回 false。
-lt	检测左边的数是否小于右边的，如果是，则返回 true。	[ $a -lt $b ] 返回 true。
-ge	检测左边的数是否大于等于右边的，如果是，则返回 true。	[ $a -ge $b ] 返回 false。
-le	检测左边的数是否小于等于右边的，如果是，则返回 true。	[ $a -le $b ] 返回 true。

• 布尔运算符

运算符	说明	举例
!	非运算，表达式为 true 则返回 false，否则返回 true。	[ ! false ] 返回 true。
-o	或运算，有一个表达式为 true 则返回 true。	[ $a -lt 20 -o $b -gt 100 ] 返回 true。
-a	与运算，两个表达式都为 true 才返回 true。	[ $a -lt 20 -a $b -gt 100 ] 返回 false。

• 逻辑运算符

运算符	说明	举例
&&	逻辑的 AND	[[ $a -lt 100 && $b -gt 100 ]] 返回 false
\	\		逻辑的 OR	[[ $a -lt 100		$b -gt 100 ]] 返回 true

20. Shell 流程控制

• if语句

if condition
then
    command1 
    command2
    ...
    commandN 
fi

• if.else语句

if condition
then
    command1 
    command2
    ...
    commandN
else
    command
fi

• if..elif..else

if condition1
then
    command1
elif condition2 
then 
    command2
else
    commandN
fi

• for循环

for var in item1 item2 ... itemN
do
    command1
    command2
    ...
    commandN
done

• for循环遍历数组

#!/bin/bash
ages=(12 14 16)
for element in ${ages[@]}
do
echo $element
done

• while

while condition
do
    command
done

• 无限循环

while :
do
    command
done

或者

while true
do
    command
done

21. Shell中的函数

• 定义函数

[ function ] funname ()

{
    action;
    [return int;]
}

• 调用函数

  函数名称

22. Shell 输入/输出重定向

输出重定向: command1 > file1

输出追加: command1 >> file1

23. 常用的Shell脚本

23.1 启动zookeeper集群

#!/bin/bash
#在zkHosts中配置的主机中启动zookeeper
for zkHost in  `cat ./zkHosts`
do
#-T 进制分配伪终端 一般自动化脚本不需要分配伪终端
ssh -T  root@${zkHost}    << eeooff
         $ZOOKEEPER_HOME/bin/zkServer.sh  start
eeooff
done

23.2 停止zookeeper集群

#!/bin/bash
#在zkHosts中配置的主机中停止zookeeper
for zkHost in  `cat ./zkHosts`
do
#-T 进制分配伪终端 一般自动化脚本不需要分配伪终端
ssh -T  root@${zkHost} >/dev/null 2>&1  << eeooff
         $ZOOKEEPER_HOME/bin/zkServer.sh  stop          
eeooff
done