大数据面试题之shell

shell面试题

1、shell常用工具
awk:文本处理工具
sed:利用脚本来处理文本文件，是一款流编辑工具，用来对文本进行过滤和替换操作
cut:选取工具，就是将一段数据经过分析，取出我们想要的数据
sort：排序工具
2、用shell写脚本
1）集群启动脚本
2）数仓与mysql的导入导出
3）数仓层级内部的导入
3、企业面试题（linux和shell）
百度
问题：Linux常用命令
参考答案：find、df、tar、ps、top、netstat等。（尽量说一些高级命令）
瓜子二手车
问题：Linux查看内存、磁盘存储、io 读写、端口占用、进程等命令
答案：
1、查看内存：top
2、查看磁盘存储情况：df -h
3、查看磁盘IO读写情况：iotop（需要安装一下：yum install iotop）、iotop -o（直接查看输出比较高的磁盘读写程序）
4、查看端口占用情况：netstat -tunlp | grep 端口号
5、查看进程：ps aux
京东
问题1：使用Linux命令查询file1中空行所在的行号
答案：

[atguigu@hadoop102 datas]$ awk '/^$/{print NR}' sed.txt 
5

问题2：有文件chengji.txt内容如下:
张三 40
李四 50
王五 60
使用Linux命令计算第二列的和并输出

[atguigu@hadoop102 datas]$ cat chengji.txt | awk -F " " '{sum+=$2} END{print sum}'
150

搜狐&和讯网
问题1：Shell脚本里如何检查一个文件是否存在？如果不存在该如何处理？

#!/bin/bash

if [ -f file.txt ]; then
   echo "文件存在!"
else
   echo "文件不存在!"
fi

13.5 新浪
问题1：用shell写一个脚本，对文本中无序的一列数字排序

[root@CentOS6-2 ~]# cat test.txt
9
8
7
6
5
4
3
2
10
1
[root@CentOS6-2 ~]# sort -n test.txt|awk '{a+=$0;print $0}END{print "SUM="a}'
1
2
3
4
5
6
7
8
9
10
SUM=55

金和网络
问题1：请用shell脚本写出查找当前文件夹（/home）下所有的文本文件内容中包含有字符”shen”的文件名称

[atguigu@hadoop102 datas]$ grep -r "shen" /home | cut -d ":" -f 1
/home/atguigu/datas/sed.txt
/home/atguigu/datas/cut.txt