hadoop和linux命令大全

Linux的命令
 
source /etc/profile   文件生效命令 -->jsp(java)的检测
 bin/hadoop checknative   //查看hadoop的支持状态
 echo $HADOOP_HOME    //查看hadoop的安装的目录
 mysql service start   //启动MySQL的服务
 truncate table user;  //清空表user的数据格式保留
 /etc/init.d/mysqld start   //远程的mysql 的服务启动
 hdfs dfs -text /benchmarks/TestDFSIO/io_write/part-00000
 drop database 【dblab】 cascade; //强制删除dblab的库在hive中 
 ls -al  //查看隐藏文件 
 df -lh  //查看磁盘使用空间
 free -m  //查看内存剩余
 scp -r /export/servers/zookeeper-3.4.9/ node02:/export/servers/     //安全复制文件夹 到另一个虚拟机
 scp -r /conf node03:$PWD   //拷贝文件到相同文件的目录
 mv /export/servers/words.txt /export/servers/data/    //移动words.txt到/export/servers/data/目录中 不加/表示重名
 ll |grep impala   //查看impala的文件是否是文件夹的形式 是否加-r 
 invalidate metabata (在impala-shell中执行) 在hive中创建数据库在impala中不能直接查看 通过吗命令执行后可以  
 sz  tar.gz    //将tar.gz 下载到本地文件系统
 ctrl+alter+v 等价于 .var  补全信息头
 ctrl+i      //重写 定义类的方法、
 hdfs dfs -cat  /output/part-r-00000   //查看liunx系统中相应的文件内容
    Shutdown.exe -s -t 2   2秒后关闭计算机
    Shutdown.exe -r -t 0 重起计算机
  shift +z+z   保存退出编辑模式

> 文件名称    表示清空文件里面的=内容
 cat wenjian | grep -v "#"   //查看 里面不含有#的配置文件

 rz：     //文件上传 yum install lyzrz 提前安装c++的程序
 dd:       //删除当前行     非编辑模式    
 pwd       //打印当前目录
 useradd  //添加用户
 passwd  hadoop //    密码   
 hadoop All = (All)  All   //用户的切换 
 netstat –nlpt    //获取进程名、进程号以及用户 ID
 mv zookeeper zookeeper-3   //改文件名
 shell  脚本中只有变量名与等号间没有空格  ``//表示执行里面的命令 ''字符串
  
 rm -rf /var/log/httpd/   //将会删除/var/log/httpd目录以及其下所有文件、文件夹
 rmr /    //删除文件夹
 ls /     //显示当前的所有项目    
 rpm -e [package name] --nodeps    //忽略依赖关系直接卸载    空格可以多个一起删除 -e 橡皮擦
 tar -zxvf zookeeper-3.4.9.tar.gz -C ../servers/      //解压到指定的目录

 tar -zcvf FileName.tar.gz DirName      //压缩
 unzip kafka-manager-1.3.3.15.zip -d ../servers/      //解压zip的压缩包
 mkdir -p /export/servers/zookeeper-3.4.9/zkdatas/    //创建多级文件

 cat test.txt |grep ^u      //找出以 u 开头的行内容
 find -name "*.log" -ls     //在当前目录查找以.log 结尾的文件， 并显示详细信息
 find / -name      mysql      //-size  查找指定的文件    /表示根目录
 yum -y install mlocate   //安装本地的查找命令
 whereis ls   //查找所有的ls  which 指的的是系统环境变量
 chmod -R 777 tomcat-1       //表示给某个文件赋予所有人的所有权限  -R 递归改变权限    
 tail -f catalina.out  //看文件的末尾日志 在solr-->example-->resource-->cp 文件log  /solr-clould/tomcat-1/webpps/solr/WEB-INF/classes  

 
flume : 启动方式
    bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name a1 -Dflume.root.logger=INFO,console
    
kafka：启动方式
    ./kafka-server-start.sh ../config/server.properties
    nohup bin/kafka-server-start.sh config/server.properties  2>&1 &    后台启动命令（注意路径的对应）
创建topic
 kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic kafkatopic --zookeeper  node01:2181,node02:2181,node03:2181
查看已经存在的topic：    
    ./kafka-topics.sh --zookeeper node02:2181 --list
模拟生产者
    kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic kafkatopic
模拟消费者
    kafka-console-consumer.sh --from-beginning --topic kafkatopic --zookeeper node01:2181,node02:2181,node03:2181

storm启动方式:  nohup bin/storm nimbus 2>&1 &
        nohup bin/storm supervisor 2>&1 &
        nohup bin/storm ui 2>&1 &
        nohup  bin/storm  logviewer  2>&1 &  //日志
        
hive的启动方式：        
  后端启动hive 
    /export/servers/hive-1.1.0-cdh5.14.0
    nohup bin/hive --service hiveserver2  &
  链接hive
    beeline连接hiveserver2
    bin/beeline
    beeline> !connect jdbc:hive2://node03.hadoop.com:10000
    
在数据库中授予权限

rpm -qa | grep -i mysql  查看已经存在的mysql数据库进程
service mysqld stop   停止mysql的服务
rpm -e 存在的mysql* -–nodeps   删除mysql所有安装的程序
    GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'admin' WITH GRANT OPTION;
    FLUSH PRIVILEGES;
 
启动集群的命令
    cd /export/servers/hadoop-2.6.0-cdh5.14.0/
    sbin/start-dfs.sh
    sbin/start-yarn.sh
    sbin/mr-jobhistory-daemon.sh start historyserver

ha集群缓存清理的命令
    sync
    echo 1 > /proc/sys/vm/drop_caches  默认0不清理缓存–不释放  1 – 释放页缓存
    echo 2 > /proc/sys/vm/drop_caches    2 – 释放dentries和inodes
    echo 3 > /proc/sys/vm/drop_caches    3 – 释放所有缓存
    
分个启动

    cd /export/servers/hadoop-2.6.0-cdh5.14.0/
    sbin/hadoop-deamon.sh start namenode   //单个机器启动
    sbin/hadoop-deamons.sh start namenode   //多台机器同时启动namenode
    sbin/mr-jobhistory-daemon.sh start historyserver
impala 的启动  保证 启动hive的两个进程runjar开启的状态下  以及 metastore的开启 进行开启impala
    主节点node03启动以下三个服务进程
        service impala-state-store start
        service impala-catalog start
        service impala-server start
    从节点启动node01与node02启动impala-server
        service  impala-server  start
        ps -ef | grep impala   //查看进程服务

 service iptables status     //查看防火墙状态
 service  iptables stop     //关闭防火墙
 service --status-all       //查看系统所有的后台服务进程
 chkconfig iptables off    //配置防火墙开机关闭
 
 主机名配置：   vim /etc/sysconfig/network   //修改主机名(重启后永久生效）
                IP地址配置：  vim  /etc/sysconfig/network-script/ifcfg-eth0
                域名映射：    vim  /etc/hosts
                网络端口监听   netstat -nltp
                定时任务  crontab  -e     
 vim /etc/sysconfig/network-scripts/ifcfg-eth0      //修改IP地址：  启动service network restart  //查看net的状态
 rm -f /etc/udev/rules.d/70-persistent-net.rules   //可以直接删除原有的地址eth0，reboot 开机即可自动生成
 
 /export/servers/zookeeper-3.4.9/bin/zkServer.sh start     //开启zookeeper  查看进程 status
 echo 2 > /export/servers/zookeeper-3.4.9/zkdatas/myid      //管道> 将2放到指定的目录下 （more myid  查看myid的值 echo后要有空格
 
 域名的映射   windows/System32/drivers/etc/hosts  的域名映射  才能用ping  node01
 
 Hadoop 命令  
 hdfs dfs -moveFromLocal move.text /test/input   剪切
          -moveToLocal
          -appendToFile        追加内容进某个目录
          -cat                 查看hdfs路径的内容
          -put             复制本地仍然存在
          -cp              拷贝
          -mkdir  -p  /test/input 
          -rm  -r  递归的删除  文件夹也删除
          -chmod  -R 777 /test/   改变文件的所属权限
          -chown -R  hadoop:hadoop /test    更改用户名和用户组          
          -ls /    //根目录下的所有文件           
hdfs dfsadmin -setQuota 2 lisi  设置上传的数量   本身路线占一个   本设置中限制一个文件
hdfs dfs -count -q -h /user/root/lisi    查看限额数量
hdfs dfsadmin -clrQuota /user/root/lisi    清除 设置上传的数量
hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi   # 限制空间大小4KB
hdfs dfsadmin -clrSpaceQuota /user/root/lisi   #清除空间限额

hdfs  dfsadmin  -safemode  设置集群的安全期  enter  leave  get  wait
           
hive 的语句
 desc: 查看更详细的信息库和表
    service mysqld start  开启sql之前 要先启动 sql 的服务
  
创建管理表：指定字段至今的分隔符，指定数据的文件存储格式，指定表的数据存放位置
    create  table if not exists stu2(id int ,name string) row format delimited fields terminated by '\t' stored as textfile location '/user/stu2';
    
根据查询结果创建表，并且将查询结果的数据放到新建的表里面去
    create table stu3 as select * from stu2;
    
进行表的修复,说白了就是建立我们表与我们数据文件之间的一个关系映射
    msck  repair   table  score4;
    
内部分区表load data  
    load data local inpath '/export/servers/hivedatas/score.csv' into table score partition(month='201809')