Linux常用命令、vi编辑器命令、查看服务进程命令、Linux上网设置、复制虚拟机、时钟同步、更改主机名 07

1. 基本命令

• ls -R 树结构显示某文件夹下的所有文件（包括子文件夹 ）

• touch 文件名 创建文件

• mv 2.txt 3.txt 重命名

  mv 2.txt bbb/3.txt 2.txt剪切到bbb/目录下并重新命名为3.txt

• cp -r aaa/ bbb/ 递归复制aaa/目录到bbb/目录下

  mv aaa/ bbb/ 剪切aaa/ 目录到bbb/目录下, 不需要递归

• -打包&解包

  • c------create 创建包
  • x------unix 解压
  • z------和压缩.zip相关(变小)
  • v------显示执行过程
  • f------指定文件或目录
    • -zxvf 解压缩.zip文件
    • -zcvf 创建.zip文件(变小)
    • -xvf 解包
    • -cvf 打包.tar(变大)

• 查看文件

  • cat 1.txt 查看文件

  • tail -10 1.txt 查看最后10行内容

  • tail -50f 1.txt 50行50行的动态查看

  • grep error 1.txt --color -B5 -A5 查找1.txt中的error前5行,后5行并高亮显示

  • echo hello > 1.txt 向1.txt中 重新写入hello

    echo hello >> 1.txt 向1.txt中追加hello

• vi编辑器

  • i 进入编辑模式 end到最后一个字母

  • esc 一般模式

    • yy 赋值 p粘贴
    • dd 剪切 p粘贴
    • u 撤销 ctrl + r 恢复撤销的内容
      /文本 搜索指定文本，高亮显示，按n显示下一个，按N显示前一个

  • : 进入底行模式, 以enter结束命令

    • :wq 保存并退出

    • :q 直接退出

    • :set nu 显示行号

    • :set nonu 不显示行号

    • :s/old/new/ 用new替换old，替换当前行的第一个匹配

      :s/old/new/g 用new替换old，替换当前行的所有匹配

      :%s/old/new/ 用new替换old，替换所有行的第一个匹配

      :%s/old/new/g 用new替换old，替换整个文件的所有匹配

      :整数 快捷跳转到指定行

• 扩展

  • ps -ef 所有进程
  • grep 查找
  • | 管道 一个输入作为另一个输出 例如ps -ef | grep java

2. linux中服务&进程套路

• service xxx start 开启
  service xxx stop 停止
  service xxx restart 重启
  service xxx status 状态
• 防火墙
  • service iptables status 查转态
  • vim /etc/sysconfig/iptables 放开端口号
  • service iptables restart 重启
  • service iptables stop 关闭防火墙
  • chkconfig iptables off 关闭自启
  • chkconfig iptables --list 查看自启状态
• linux中进程相关命令
  • ps -ef 查看所有进程
  • ps -ef | grep mysql 查找mysql软件进程
  • kill pid 杀掉某一个编号的进程

3. linux上网设置

• 生成mac地址 vim /etc/udev/rules.d/70-persistent-net.rule

• linux选择net模式,

  • 设置子网ip(限制是什么网段的,192.168.137.0),
  • 子网掩码一般都是255.255.255.0
  • 网关 子网后面改为1 192.168.137.1 , 一般多是0/1结尾
  • 起始ip, 范围

• window

  • 本机ip(192.168.137.188), ===>学生
  • 子网掩码(和linux一样)
  • 网关(和linux设置的一样)==> 老师

• linux vim /etc/sysconfig/network-scripts/ifcfg-eth0

• service network restart 重启

• 测试 ping www.baidu.com 看能不能通

4.桥接 nat 仅主机 的区别

• linux ifconfig------window ipcofing

• linux设置的网卡, 每个网卡都会为本机window配置一个ip地址

  • 桥接和nat模式各自只能有一个网卡, 仅主机可以有多个网卡
  • 虚拟机中的每块网卡, windows系统都会对应一个ip地址(和本机地址是没有关系的)
    • 网卡分配给windows系统的ip地址–> 得看你虚拟机中设置的子网ip地址是什么了
    • nat模式下, 网卡会有默认网关, 一般都是子网ip后面把0设为1
    • 所以ip地址的末尾0-255 0被子网占了, 1被网关占了,255有可能被子网掩码占了

• 三种模式上网的区别

  • 桥接模式: 本机是房东, linux是租户, 租户可以不依赖于房东就能上网
  • nat模式: 本机是房东,linux是房东的儿子, 房东的儿子要依赖于本机才能上网,
  • 桥接模式: 本机是房东, linux是租户(没有户口), 所以linux不能上网

5. 复制虚拟机

• 我已复制虚拟机
  • .vmx结尾的文件, 挂载
  • 生成mac地址保存到一个txt文件中
  • 点击虚拟机—>我已复制虚拟机(需要更改ip&mac)
  • 删除一个网卡 vim /etc/udev/rules.d/70-persistent-net.rules
  • vim /etc/sysconfig/network-scripts/ifcfg-eth0 重新设置ip&hwaddr
• 我已移动虚拟机就什么都不用配置了,就改一下联网模式就行

6. 时钟同步

• date查看本机时间
• date -s “2018-08-17 20:08:09” 设置本机时间
• ntpdate us.pool.ntp.org 时间同步
• 定时任务
  • crontab -e
  • */1 * * * * /usr/sbin/ntpdate us.pool.ntp.org; 每一分钟执行一次

7. 更改主机名

• 改主机名
  • vim /etc/sysconfig/network
  • HOSTNAME=node01
• 改映射
  • vim /etc/hosts
  • 192.168.220.250 nodeo1.hadoop.com node01
• window下更改linux的映射 C:\Windows\System32\drivers\etc 和linux一样

8. ssh免密登录

• 每台虚拟机产生公用和私钥 ssh-keygen -r rsa +三个回车
• 然后将所有的公钥到发送到一台虚拟机上 ssh-copy-id 虚拟机名称 (自己也要发到自己的linux上)
• 有所以公钥的虚拟机复制好公钥,再分发给其他虚拟机 /root/.ssh目录下
  • scp authorized_keys hadoop2:$PWD
  • scp authorized_keys hadoop3:$PWD

8. 重启&关闭虚拟机

• reboot -h now（立刻重启）
• halt关机

9. 权限

• chmod -R 777 文件名称, 修改权限
• chown -R hadoop:hadoop 文件名称 修改组用户权限
• visudo 添加一行命令 hadoop ALL=(ALL) ALL —> sudo vim /etc/profile

10. 服务service 和 进程process 的区别

10.1 window

• 系统服务是一种应用程序类型，它在后台运行。服务应用程序通常可以在本地和通过网络为用户提供一些功能，例如客户端/服务器应用程序、Web服务器、数据库服务器以及其他基于服务器的应用程序。
  • 系统服务一般在后台运行。与用户运行的程序相比，服务不会出现程序窗口或对话框，只有在任务管理器中才能观察到它们的身影。
  • 系统服务在Windows 2000/XP/2003系统中，服务是指执行指定系统功能的程序、例程或进程，以便支持其他程序，尤其是低层(接近硬件)程序。
  • Service程序和普通的应用程序有一个根本的区别:Service程序可以在无用户登录和用户已经注销的情况下运行，而应用程序在没有用户注销的时候是会被终止的。
• 进程就是你在任务管理器"进程"里面看到的一个个程序，一个进程可以包含一个或者好几个Windows系统的服务.如Svchost.exe进程,有的svchost.exe只包含一个服务,有的则包含很多.服务依靠进程的进行来启动。 服务相当于支持系统运行的一些必要程序，程序里运行的则是 当前使用的软件一般来讲程序里的任务可以关闭，后台则有一些不能关闭 如果关了系统进程就不能正常运行了。
• 进程是指在系统中正在运行的一个应用程序；线程是系统分配处理器时间资源的基本单元，或者说进程之内独立执行的一个单元。对于操 作系统而言，其调度单元是线程。一个进程至少包括一个线程，通常将该线程称为主线程。一个进程从主线程的执行开始进而创建一个或多个附加线程，就是所谓基于多线程的多任务。 服务相当于支持系统运行的一些必要程序，程序里运行的则是 当前使用的软件一般来讲程序里的任务可以关闭，后台则有一些不能关闭，如果关了系统进程就不能正常运行了。

10.2 linux

• 网关/防火墙就是服务
  • service network restart 修改配置文件需要重启
  • service iptables status 查看防火墙状态
• 开启服务需要开启进程来启动它, 但是开启一个服务有可能需要开启好几个进程

11. linux增强

• 查找命令
  • ps -ef | grep java
  • find / -name hello.text
• 添加用户
  • useradd hadoop
  • passwd hadoop
  • cd ~ + pwd 就可以显示添加的用户的的根路径 /user/home
  • visodo 添加权限 hadoop ALL=(ALL) ALL
  • sudo vim /etc/profile 权限借用
• 权限
  • chmod -R 777 文件名称
  • chown -R hadoop:hadoop 文件名称
• 网络监听
  • netstat -nltp 网络监听
• 定时任务
  • crontab -l 列出当前用户所有的定时任务
  • crontable -e 添加定时任务
• 环境变量
  • vim /etc/profile
  • source /etc/profile
  • $JAV{A}_{H}OME或者$HADOOP_HOME 可以查看配置的环境变量是否生效
• 上网设置
  • 修改网卡 vim /etc/udev/rules/70-persistent-net.rules
  • 修改ip 地址 vim /etc/sysconfig/network-scripts/ifcfg-eth0 (修改7个地方)
  • 修改主机名 vim /etc/sysconfig/network
  • 修改主机名ip地址映射 vim /etc/hosts
  • 免密登录
  • reboot -h now 立刻重启
• 系统服务相关
  • jps 查看进程 kill -9 进程号 杀死进程
  • service iptables|network start|stop|status|restart 服务启动|停止|状态|重启
  • chkconfig iptables off | list 防火墙禁止自启&查看状态
  • netstat -nltp 网络端口号监听
  • jps 查看java进程

12. 杂记

• more 文件名称 查看文件超过一屏时
• vim 编辑器
  • i + end 到达最后一个字符
  • /关键字 搜索关键字
  • :setnu 显示行号
  • i + esc + u 撤销
• poweroff 关闭虚拟机
• df -lh 查看磁盘空间
  安装文件拖拽插件 ym -y install lrzsz 执行:rz
  安装解压缩zip插件 ym -y install unzip 执行:unzip 文件
• window 修改映射 C:\Windows\System32\drivers\etc
• which java | hdfs 在环境变量中搜索可执行的命令
• whereis ls pwd | java| hdfs 查找命令对应的文件 shell脚本文件
• scp -r xxx node01:$PWD

13. 杂记2

• truncate table xxx 截断表

• free -m 查看内存

  echo 1 > /proc/sys/vm/drop_caches 释放内存

• log配置文件中改为INFO,就可以打印全部日志

• wget xxx.com 就可以在虚拟机中下载资源

• sz xxxx 从虚拟中下载资源到window系统中, 下载到下载文件夹中

• home 到达文件命令行开头, end到达命令末尾

• idea alt + 自己想要复制的

• 配置环境变量

• hbase shell -->按住ctrl + backspace 删除数据

• System.in.read(); 等待键盘录入

• linux安装软件

  • rpm
  • 二进制,直接解压压缩包

• source xxx.sql 可以在mysql客户端执行某个sql脚本

14. hadoop生态圈各部分的启动

14.1 mysql

• 启动 /etc/init.d/mysql start
• 停止 /etc/init.d/mysql stop

mysql  -uroot -p
执行以下命令：
CREATE DATABASE azkaban;
CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban';    
GRANT all privileges ON azkaban.* to 'azkaban'@'%' identified by 'azkaban' WITH GRANT OPTION; 
flush privileges;
use azkaban; 
source /export/softwares/create-all-sql-0.1.0-SNAPSHOT.sql;

14.1 hadoop各个节点启动

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

14.3 hive(sql on hadoop) 依赖hdfs和mr(yarn集群) mysql

• 启动

  • cd /export/servers/hive-1.1.0-cdh5.14.0

  • nohup bin/hive --service hiveserver2 &

    nohup bin/hive --service metastore & (impala需要)

• 停止, kill -9 runjar

14.4 flume(数据采集)

• 配置文件 cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/conf

• cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin

  bin/flume-ng agent -n a1 -c conf -f conf/tail-file.conf -Dflume.root.logger=INFO,console

14.5 azkaban

• cd /export/servers/azkaban-exec-server-3.51.0

  bin/start-exec.sh

• cd /export/servers/azkaban-web-server-3.51.0/

  bin/start-web.sh

14.6 sqoop 依赖mr yarn集群

​ cd /export/servers/sqoop-1.4.6-cdh5.14.0

​ bin/sqoop-version

14.7 impala

• 启动 主节点和从节点

  service impala-state-store start

  service impala-catalog start

  service impala-server start(从节点启动)

• 停止

  ps -ef | grep impala kill 进程

  cd /tmp rm -rf hsperfdata_impala/释放内存

14.8 hue

• 启动

  cd /export/servers/hue-3.9.0-cdh5.14.0/

  build/env/bin/supervisor

• ps -ef | grep hue kill

14.9 oozie

• 启动

  cd /export/servers/oozie-4.1.0-cdh5.14.0

  bin/oozied.sh start

• 关闭

  bin/oozied.sh stop

• 执行任务

  cd /export/servers/oozie-4.1.0-cdh5.14.0

  bin/oozie job -oozie http://node03:11000/oozie -config oozie_works/shell/job.properties -run

• oozie job -kill xxxx杀死任务

14.10 kafka-eagle

• node03:8408/ke admin 123456
• cd /export/servers/kafka-eagle/bin
• 启动: sh ke.sh start
• 停止: sh ke.sh stop

14.11 kafka

• node01:9092 keadmin(移除topic)
• cd /export/servers/kafka/bin
• 启动: nohup ./kafka-server-start.sh …/config/server.properties &
• 停止 kill -9 xxxx
• topic操作
  • cd /export/servers/kafka/bin
  • 创建主题: kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 1 --partitions 1 --topic bbb
  • 生成消息: kafka-console-producer.sh --broker-list node01:9092 --topic bbb
  • 消费消息: kafka-console-consumer.sh --zookeeper node01:2181 --from-beginning --topic bbb

14.12 hbase

• 依赖hdfs, zk,而且hdfs要和hbase在同一个节点启动
• node01:16010/master-status
• cd /export/servers/hbase-1.2.1 start-hbase.sh
• 高可用HMaster hbase-daemon.sh start master
• shell —> hbase shell

14.2 spark

• HA 依赖zookeer(临时节点+watch机制)

• 启动spark sbin/start-all.sh

• 启动shell 斌/spark-shell --master local[2]

15 ELK&Strom

1. es启动

• 前台 /export/servers/es/elasticsearch-6.0.0/bin/elasticsearch
• 后台 nohup /export/servers/es/elasticsearch-6.0.0/bin/elasticsearch >/dev/null 2>&1 &