shell编程:对于hadoop程序员,通常需要熟悉shell编程,因为shell可以非常方便的运行程序代码。
1、shell文件格式:xxx.sh
#!/bin/sh —shell文件第一行必须这么写
#井号后面的内容是注释
echo ‘abcd’ ----echo是输出,回显
在hadoop0:
mkdir shellfile
cd shellfile
ls
vi test.sh
#!/bin/sh
echo ‘abcd’
ls
ll
tset.sh —现在执行发现没有权限,需修改权限才能执行
chmod u+x test.sh
ll —列出文件的详细信息
test.sh —现在就能执行了,输出了abcd
vi test.sh
#!/bin/sh
i=0 —变量不需要声明,初始化不需要指定类型。变量名称只能是字母、数字、下划线组成,不能使用数字开头。
echo i−−−显示变量值使用:echo i−−−显示变量值使用:echo变量名
2、变量分类:临时变量和环境变量(/etc/profile:export XXX)
3、单引号、双引号、飘号的使用:
vi test.sh
#!/bin/sh
i=0
echo ${i}1234 —输出01234,要想变量独立使用的时候,用大括号独立开
vi test.sh
#!/bin/sh
i=0
echo 'i ′ −−−输出 i′−−−输出i,单引号不解析变量
echo “$i” —输出0,双引号解析变量
vi test.sh
#!/bin/sh
i=0
echo ' i ′ e c h o " i' echo " i′echo"i"
echo $(date) —输出时间
echo date
—飘号是执行内容,类似于上面的(XXX)。这里‘data‘== (XXX)。这里‘data‘==(date)
4、位置变量:执行脚本时,传入的参数按照先后顺序使用1、 1、2等顺序引用变量值 。
vi test.sh
#!/bin/sh
i=0
echo “first param:$1”
echo “second param:$2”
执行:test.sh abc 123
输出:first param:abc
second param:123
5、使用date:(更详细的查看《date命令使用文档》)
1、可以直接执行date,输出的是系统的当前时间。
2、格式化输出,date +%Y-%m-%d —%Y 年 %m 月 %d 日 中间的是分隔符-,也可以换成别人分隔符 2017-4-10
3、date +%s —格式%s表示自1970-01-01 00:00:00以来的秒数
4、date --date=‘2017-4-10’ —指定时间输出 --date=‘2009-01-01 11:11:11’
5、指定时间输出 --date='3 days ago'
ls > a.txt —将test.sh转换到a.txt中输出了
ls 1>b.txt —将a.txt和test.sh转换到b.txt中输出了
7、使用crontab(类似于Java中的timer):
1、Linux下的定时任务
2、编辑使用crontab -e
* * * * * date>>/root/a.txt
一共六列,分别是:分 时 日 月 周 命令
(默认是按照每个小时的第一分钟输出)
要想按照每个小时的第5分钟输出,则需修改为:5 * * * * date>>/root/a.txt
要想每隔5分钟输出,则修改为:5,10,15,20,25,30 * * * * date>>/root/a.txt
3、查看使用crontab -l
8、if判断、for循环:(注意符号之间空格!每一行的结束都有一个空格!!!)
if [ … ] —if和[之间、[和条件之间、条件和]之间都有一个空格。
then
…
fi
vi if.sh
#!/bin/sh
if [ ‘a’=‘a’ ]
then
echo ‘equal’
fi
chmod u+x if.sh
if.sh —输出equal
vi for.sh
#!/bin/sh
for ((i=0;i<10;i++))
do
echo $i
done
chmod u+x for.sh
for.sh
9、自定义函数:
function 函数名(){
…
}
//最后一行语句是默认返回值
vi func.sh
#!/bin/sh
function dat(){
date +%Y-%m-%d
}
dat
vi func.sh
#!/bin/sh
function dat(){
date --date="$1 days ago" +%Y-%m-%d
}
dat 2
func.sh —输出当前时间的2天前的日期
在test.sh中引用func.sh:
vi test.sh
#!/bin/sh
source func.sh —最好指定路径
dat -2
test.sh —输出2天后的日期