大数据启动服务步骤(待更新)

hadoop

在3.2版本中 hdfs namenode -format 后,启动start-all.sh

[root@ hadoop01 ~]$jps
60498 SecondaryNameNode
60818 ResourceManager
61204 Jps
60093 NameNode

jps 查看没有 datanode ,需要使用

hdfs 命令 hdfs datanode 启动

[root@ hadoop01 ~]$jps
60498 SecondaryNameNode
60818 ResourceManager
61348 Jps
60093 NameNode
61247 DataNode

jps 查看没有 namenode ,需要使用

hdfs 命令 hdfs --daemon start namenode 启动 ,可能是hdfs文件没了,需要格式化hdfs namenode -format

  • hadoop command

hdfs dfs -ls / | hadoop fs -ls / 查看目录文件信息 。

hdfs dfs -mkdir /test 创建文件

hdfs dfs -put history.txt /test 上传文件到test目录

  • hadoop 安全模式

    hadoop dfsadmin -safemode leave 离开安全模式

    安全模式是hadoop的一种保护机制,在启动时,最好是等待集群自动退出,然后进行文件操作。

hive

前提

  • 安装JDK-略过
  • 安装Hadoop-略过
  • 安装Mysql-略过 docker 安装的数据库,docker 启动

hive map reduce

yarn --daemon start nodemanager

  • 在hive中可以查询hadoop文件目录

    dfs -ls -R /;
    
  • hive 连接用户问题

    user: ** is not allowed to impersonate anonymous,这个通常是因为Hadoop的hdfs需要配置用户代理:
    
    
      hadoop.proxyuser.**.hosts
      *
    
    
      hadoop.proxyuser.**.groups
     hadoop
    
    
  • hive启动服务端口,配置文件后 需要kill -9 ,在启动

    hive --service hiveserver2 >/dev/null  2>&1 & 
    
  • beeline

    beeline -u jdbc:hive2://192.168.31.225:10000/
    

37开 - 原创文章(已经在多平台发表),转载请标明出处

原文地址-99get81.com

你可能感兴趣的:(大数据启动服务步骤(待更新))