3.常用的linux 命令&&ssh&&跳板机

1. linux 常用命令

1. ls  列举出当前文件名或者是目录名
2. ll  列举出当前文件名或者是目录名的详细信息
3. pwd 查看当前所在的路径
4. mkdir 创建目录
5. rm 删除文件/目录   -f 强制删除  -r 递归删除（常用于目录）-i删除前提示确认
6. cd 进入到某个路径下面
7. scp   在Linux下进行远程拷贝文件的命令
8. cp  同一个服务器之前的文件移动
9. tar 压缩和解压
10. ps 显示运行的进程
11. kill 终止进程
12. chomd 修改文件、目录权限
13. chown 修改文件所有者
14. vi/vim 使用vi编辑器命令   按esc  :wq  保存并推出       按esc:q 退出
15. cat 查看内容
16. tail #从指定点开始将文件写到标准输出.使用tail命令的-f选项可以方便的查阅正在改变的日志文件,tail -f filename会把filename里最尾部的内容显示在屏幕上,并且不但刷新,使你看到最新的文件内容. 
tail[必要参数][选择参数][文件]   
17. echo 写入文件 ，追加写  echo "1111" >> test.log 
18. head命令用于显示档案的开头至标准输出中，默认head命令打印其相应文件的开头10行
19. ssh 连接远程主机
20. wget: 从远程下载
21. ifconfig： 命令用来查看和配置网络设置
22. grep 该命令常用于分析一行的信息，若当中有我们所需要的信息，就将该行显示出来，该命令通常与管道命令一起使用，用于对一些命令的输出进行筛选加工等等，比如可以加在ps, tail, cat后面
23. java -jar XXX 运行jar包    CTRL+C 停止运行jar包
24. nohup  java -jar XXX  &   后台运行jar包
15. su 切换root用户
16. su elk 切换elk用户
17. useradd elk  添加用户
    passwd elk   密码

https://www.cnblogs.com/java-h/p/11043875.html (15-18 读文件的区别)

2. linux常用命令的操作示例

ls && ll && mkdir && rm

26ff766cbba053ff29fb16f6ee4aeb9.png

ssh

image.png

cp && scp
// 将本机的当前目录下的 toyota.hadoop-0.0.1-SNAPSHOT.jar 移动到 192.168.50.4服务器的/root路径下，@前面是用户名
// 将本机的当前目录下的 toyota.hadoop-0.0.1-SNAPSHOT.jar 移动到 本机/data/mspf/toyota.hadoop/路径下面

4d0cfb50f064658528b6a0c55501a76.png

// 拉取192.168.50.7服务器的:/root/192.168.50.4-20200722.txt.gz 文件到本机的/data路径下面

image.png

从网络上下载一个文件（wget），解压到哪个文件夹下（tar），运行， 杀死进程

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.4.tar.gz   #下载
tar -zxvf logstash-6.2.4.tar.gz -C /home/admin/project/elk/  #解压到/home/admin/project/elk/ 文件下
cd /home/admin/project/elk/logstash-6.2.4  #进入到指定文件夹下
nohup ./bin/logstash -f config/test.conf &  # 在后台运行logstash  -f 指定logstash的配置文件
ps -ef | grep logstash # 查找正在后台运行的logstash程序
skill -9  XXXX   # 杀死后台正在运行的logstash程序

如果是jar包

ps -ef  查找所有的进程，如果是自己运行的jar包，如下图找到jar包对应的PID，然后使用skill杀死进程即可

image.png

补充解释：
后台运行程序：
nohup 意思是不挂断运行命令,当账户退出或终端关闭时,程序仍然运行
nohup java -jar XXX.jar &
当用 nohup 命令执行作业时，缺省情况下该作业的所有输出被重定向到nohup.out的文件中，除非另外指定了输出文件。
方法一：
1.如果没有退出客户端界面，可以先通过 “jobs” 命令查看程序是否在运行，此时只有序号没有PID号；
2.输入命令 “jobs -lps” 会显示程序的PID号，然后通过 “kill -9 PID”杀死程序；
3.输入命令 “jobs” 查看程序是否被杀死

方法二：
1.如果退出过客户端界面，输入 “jobs” 命令查不到正在运行的程序；
2.输入 “ps ux” 来查看所有程序的进程号PID，然后再通过 “kill -9 PID” 杀死程序；
3.输入 “ps ux” 来查看程序是否被杀死。

利用SSH在本机和远程服务器之间传输文件或文件夹

1、从远程服务器上下载文件到本机
scp <服务器用户名>@<服务器地址>:<服务器中要下载的文件路径> <下载到本机的绝对路径>
2、从本机上传本地文件到服务器
scp <本机文件的绝对路径> <服务器用户名>@<服务器地址>:<上传到服务器的绝对路径>
3、从远程服务器下载整个目录到本机
scp -r <服务器用户名>@<服务器地址>:<服务器中要下载的目录路径> <下载到本机的绝对路径>
4、从本机上传本地目录到服务器
scp -r <本机目录的绝对路径> <服务器用户名>@<服务器地址>:<上传到服务器的绝对路径>
注：目标服务器要开启写入权限。
for example：
从 移动文件从本地 到 远端 服务器
scp toyota.hadoop-0.0.1-SNAPSHOT.jar [email protected]:/root 

从远端服务器拉取文件到本地
scp -r [email protected]:/data/mspf/toyota.hadoop/ /data 

跳板机连接 && ssh 连接远程主机

1. 跳板机配置
   （这种情况下左侧显示的目录结构直接就是目标地址真实的目录结构）

   
   
   image.png
   
   
   image.png

但是通过 ssh 连接到远程主机的时候，左侧的目录显示的依旧是之前登陆的主机的目录结构

image.png

3.hadoop 常用的命令

hdfs dfs -ls /user/mspf/candata/daydata // 查看hdfs路径中的文件
hdfs dfs -rm /user/mspf/candata/daydata/toyota.hadoop.jar  // 删除文件
hdfs dfs -rm -r /user/mspf/candata/daydata/toyota.hadoop.jar  // 删除文件夹
hdfs dfs -mkdir /user/mspf/candata/daydata  // 创建文件夹
hdfs dfs - cat  /user/mspf/candata/daydata/toyota.text  // 查看文件、
hdfs dfs - get  /user/mspf/candata/daydata/toyota.text  // 下载文件到本地
hadoop fs -cat /shining/temp.txt.gz | gzip -d 
或
hadoop fs -cat /shining/temp.txt.gz | zcat   查看解压文件