Linux基本操作（包含hive和hadoop）

首先，创建一系列目录，方便说明个命令。创建完后使用 tree命令查看目录结构

image.png

一、终端命令提示符

hostname

作用：查看主机名字

image.png

.表示当前路径，..表示上级路径。此处的意思是显示date目录下的内容，如果显示date上级目录则要输入 ls ../data

二、查看文件信息：ls

ls是英文单词list的简写，其功能为列出目录的内容。

ls 

ls命令常用参数内容

输入方式：

ls -l 
ll
ll -h

第二行是第一行的简写，
作用：都可以查看目录下的内容（以及详细信息以及人性化的现实详细信息）

d开头的是文件目录，-开头的是具体文件.png

当目录的结构比较复杂时，与通配符连用以进行查找

image.png

三、切换工作目录： cd

cd home/

作用:切换工作目录，home为工作目录的名字，这里意思是切换到home目录下。

image.png

命令  含义
cd      #切换到当前用户的主目录(/home/用户目录)，用户登陆的时候，默认的目录就是用户的主目录。
cd ~    #切换到当前用户的主目录(/home/用户目录)
cd .    #切换到当前目录
cd ..   #切换到上级目录
cd -    #可进入上次所在的目录

注意：如果路径是从根路径开始的，则路径的前面需要加上 “ / ”，如 “ /mnt ”，通常进入某个目录里的文件夹，前面不用加 “ / ”。

四、创建目录：mkdir

通过mkdir命令可以创建一个新的目录。参数-p可递归创建目录。

mkdir -p a/b/c #当前目录下创建目录a，a下有一级子目录b和二级子目录c

需要注意的是新建目录的名称不能与当前目录中已有的目录或文件同名，并且目录创建者必须对当前目录具有写权限。

ls、touch、mkdir

'mkdir -p a/b/c'意思是在a文件夹中创建b文件夹，在b文件夹中创建c文件夹。mkdir加上'-p'就可以实现递归的创建文件夹

五、创建文件: touch

touch hello.txt

注意:

• 则会在当前路径下创建名字为hello.txt的空文件
• Linux系统中没有严格的后缀（格式），所以创建文件时可以命名为任意的文件名

六、拷贝命令：cp

cp命令的功能是将给出的文件或目录复制到另一个文件或目录中，相当于DOS下的copy命令。

常用选项说明： cp [options] 源文件 目标位置

常用选项

强制执行

cp强制执行，frog001.txt文件强制拷贝到frogdata目录下并改名为frog002.txt

将frogdata目录下的文件和目录复制到frogdata2文件夹内

七、移动/重命名：mv命令

常用选项

frog001.txt改名为frog002.txt

八、显示当前路径：pwd

使用pwd命令可以显示当前的工作目录，该命令很简单，直接输入pwd即可，后面不带参数。

'cd ../..' 表示返回当前目录的上上层目录，这里正好到达根目录，通过'pwd'可以看出

九、tree：查看文件结构

tree 查看路径的所有文件夹结构，会把子层目录也显示出来

tree后面可以跟目录也可以不跟

十、history：查看历史命令

使用history命令下的已经写过的命令

十一、显示当前耗时进程：top

top

ctrl+c #作用：结束当前命令

十二、输出重定向命令：> 、>>

注意：>输出重定向会覆盖原来的内容，>>输出重定向则会追加到文件的尾部。

如果> />>后面的文件不存在会首先创建

选择当前目录下的frogdata目录，将查询结果覆盖到''../pos.txt''

十三、查看或者合并文件内容

查看文件内容

给frog001 .txt中写一些内容，vi命令Enter后按i，编写完成后按Esc，再按Shift+z+z，就完成编写了

image.png

查看两个文件内容

合并成一个文件pos.txt:cat frog001.txt frog002.txt > pos.txt

十二、分屏查看：more

查看内容时，在信息过长无法在一屏上显示时，会出现快速滚屏，使得用户无法看清文件的内容，此时可以使用more命令，每次只显示一页，按下空格键可以显示下一页，按下q键退出显示，按下h键可以获取帮助。

单个命令形成文件直接使用>即可，不需要使用cat >

按Enter显示一行，按空格显示一行，按q退出

十三、管道：|

管道：一个命令的输出可以通过管道做为另一个命令的输入。

管道我们可以理解现实生活中的管子，管子的一头塞东西进去，另一头取出来，这里“ | ”的左右分为两端，左端塞东西(写)，右端取东西(读)。

按Enter显示一行，按空格显示一行，按q退出

十四、建立链接文件：ln

Linux链接文件类似于Windows下的快捷方式。

• 软链接：软链接不占用磁盘空间，源文件删除则软链接失效。
• 硬链接：硬链接只能链接普通文件，不能链接目录。

使用格式：

ln 源文件 链接文件
ln -s 源文件 链接文件
如果没有-s选项代表建立一个硬链接文件，两个文件占用相同大小的硬盘空间，即使删除了源文件，链接文件还是存在，所以-s选项是更常见的形式。

注意：

• 如果软链接文件和源文件不在同一个目录，源文件要使用绝对路径，不能使用相对路径。

• 如果源文件和软/硬链接文件的任意一个发生了修改，另一个也会自动修改。

  
  
  相对路径软链接的创建
  
  
  删除源文件，软链接无效了
  
  
  创建硬链接

十五、文本搜索：grep

Linux系统中grep命令是一种强大的文本搜索工具，grep允许对文本文件进行模式查找。如果找到匹配模式， grep打印包含模式的所有行。

grep一般格式为：
grep [-选项] ‘搜索内容串’文件名

在grep命令中输入字符串参数时，最好引号或双引号括起来。
例如：
grep 'a' 1.txt

常用选项

image.png

grep搜索内容串可以是正则表达式。

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。

grep常用正则表达式：

image.png

十六、查找：find

常见用法

777权限就是所有用户都有rwx权限

用来在特定的目录下搜索符合条件的文件，也可以用来搜索特定用户属主的文件。

查找家目录下的pos.txt文件名的文件

命令

结果

十七、压缩：zip

通过zip压缩文件的目标文件不需要指定扩展名，默认扩展名为zip。
[图片上传中...(image.png-36b9ee-1602936864166-0)]

压缩文件：zip [-r] 目标文件(没有扩展名) 源文件
解压文件：unzip -d 解压后目录文件 压缩文件

把pos.txt文件压缩成pos.zip文件

把pos.zip文件解压到pos目录中，得到pos.txt文件

十八、更改权限：zip

“rwx” 这些权限用数字来代替

chmod 751 file： rwx + r-x + --x
文件所有者：读、写、执行权限
同组用户：读、执行的权限
其它用户：执行的权限

编辑模式的提示

注意：如果想递归所有目录加上相同权限，需要加上参数“ -R ”。 如：chmod 777 test/ -R 递归 test 目录下所有文件加 777 权限

十九、编辑文件：vim

• 命令模式：打开文件，默认进入此模式，是通过命令的方式对文件进行编辑

  
  
  常用选项

vi命令进入命令模式

image.png

• 插入模式，编辑模式：在命令模式中按i或者a进入插入模式，可编辑文本。​ 按esc退出编辑模式，进入命令模式

  
  
  image.png

• 末行模式：命令模式按 : 进入末行模式，末行模式可在末行输入命令来管理文件，比如保存和退出文件

  
  
  常用选项

进入mysql数据库需要输入： 'mysql -u用户名 -p'来验证密码进入

退出

二十、hive命令以及 hadoop 命令

hadoop文件存储系统，hive记录表数据用什么方式解析变成表，数据实际是放在hadoop系统中。

作用：
hive命令：操作
hadoop命令：查看信息

1、hive

任意位置输入 hive 即可进入hive数据库

hive

show databases; #注意和linux命令不同，一定要加分号

进入hive数据库

2、hadoop

hadoop fs -ls /

查看hdfs 文件系统的目录结构

hadoop fs -ls /user/hive/warehouse #找到了.db文件所在的位置，就代表数据库存放在这里。