hadoop运维入门总结

操作系统：CentOS7

1、用户登录：注意不同用户之间的区别（切换用户：su - hadoop）

root：很容易改变文件目录权限，hadoop下文件权限尤其重要，尤其是根目录，权限变更要慎重

权限说明：

-rw------- (600)      只有拥有者有读写权限。
-rw-r--r-- (644)      只有拥有者有读写权限；而属组用户和其他用户只有读权限。
-rwx------ (700)     只有拥有者有读、写、执行权限。
-rwxr-xr-x (755)    拥有者有读、写、执行权限；而属组用户和其他用户只有读、执行权限。
-rwx--x--x (711)    拥有者有读、写、执行权限；而属组用户和其他用户只有执行权限。
-rw-rw-rw- (666)   所有用户都有文件读、写权限。
-rwxrwxrwx (777)  所有用户都有读、写、执行权限。

权限操作：

chmod -R 755 目录名称（-R 处理指定目录以及其子目录下的所有文件）

将某一个文件夹的权限赋给某一用户（更改目录所有者）
chown -R hadoop:hadoop /hadoop   （慎用-R，hadoop:hadoop代表将目录和文件的owner和group都设成hadoop）

ls -ld /home/hadoop  查看某个文件夹的权限

2、查看hadoop版本：bin/hadoop version

3、文件上传下载

使用工具：xftp、SecureCRT

linux命令（较慢）：

yum install -y lrzsz  #安装rz  sz上传下载工具

sz命令下载文件：

# sz filename
rz命令本地上传文件到服务器,执行该命令后，在弹出框中选择要上传的文件即可。：
# rz

4、拿到一个新硬盘后挂载

（1）查看现在已有的分区状态
# df –l

（2）查看服务器安装的硬盘状态（包括格式化和未格式化）
#fdisk -l
（3）添加新分区（一个分区）
# fdisk /dev/vdh

新建分区为：/dev/vdh1
（4）格式化分区
# mkfs -t ext3 -c /dev/vdh1（注意与新建的分区名称一致）
-t 制定要把磁盘格式化成什么类型(ext3  ext4)
-c 在建立文件系统之前检查坏道，可能会很费时间，新硬盘一般不需要
（5）将其挂载到某一个目录上（根目录）
mount /dev/vdh /rawdata 挂载到/rawdata
（6）umount /dev/vdh 卸载硬盘

5、常用磁盘指令

df -hl 查看磁盘剩余空间
df -h 查看每个根路径的分区大小
du -sh [目录名] 返回该目录的大小 eg：du -sh * 
du -h [目录名] 查看指定文件夹下的所有文件

6、删除或查找

找出并删除/temp/下3天前的文件：
find /temp/ -type f -mtime +3 -print -exec rm -f {} \;

注：/temp/ 指出寻找/temp/目录下的文件
-type f 指出找系统普通文件，不包含目录文件
-mtime +n 指出找 n*24 小时前的文件
-print 将找出的文件打印出来

find . -name "[a-z][a-z][0–9][0–9].txt"    -print   #查以两个小写字母和两个数字开头的txt文件 
find . -name "*.jar"   #查找所有jar包
find /var/www/ -name index.php  #查找/var/www/目录下叫index.php的文件

rm -fr java
-i 删除前逐一询问确认。
-f 即使原档案属性设为唯读，亦直接删除，无需逐一确认。
-r 将目录及以下之档案亦逐一删除。

7、进程
top   #用来监控Linux的系统状况，比如cpu、内存的使用
kill -9 PID  #-9:必杀
ps -ef|grep 1623（根据PID查看异常进程）

8、打印输出

less   more   cat都有输出功能   less  more可以翻页搜索
eg:more +3 test.log               #从第三行开始显示日志内容 

head   tail 

head -n 5 log.txt  #显示文件的前5行    tail则将文件的最后几行显示到终端上

tree -a mydir  显示该文件夹的结构(所有)      -d:仅显示目录