大数据常见问题总结:第一章节:

1.格式化:正常情况:格式化一次就好

           bin/hdfs  namenode -format

            生成fsimage

             操作hdfs之后生成的edits

       多次格式化之前,需要清空hadoop.tmp.dir参数下设置的路径下的所有文件和目录

  出现格式化以下情况:       

Usage: java NameNode [-backup] | 
[-checkpoint] | 
[-format [-clusterid cid ] [-force][-nonInteractive] ] | 
[-upgrade [-clusterid cid][-renameReserved] ] | 
[-upgradeOnly [-clusterid cid][-renameReserved] ] | 
[-rollback] | 
[-rollingUpgrade ] | 
[-finalize] | 
[-importCheckpoint] | 
[-initializeSharedEdits] | 
[-bootstrapStandby] | 
[-recover [ -force] ] | 
[-metadataVersion ]  ]


17/01/29 23:43:56 INFO namenode.NameNode:SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode atmbshqqb/127.0.1.1

************************************************************/

解决办法：

1).看看format前面的-是否忘加了

2).看看format前面的-是否是英文的

3).看看format是否拼错成formate了

2.clusterID

    dfs/name/current]：namenode
clusterID=CID-6172ab83-9c0a-4da0-8d14-d5e14a2c57cd


[dfs/data/current]：datanode

clusterID=CID-6172ab83-9c0a-4da0-8d14-d5e14a2c57cd

        集群ID不一致

          第一种:修改version文件,以namenode的ID为准,一次就好

           第二种:重新格式化生成

4.pid进程号(权限问题注意)

            系统进程每次启动之后有一个pid编号,每次启动会随机生成

            多个用户启动进程,会记录不同用户的pid进程编号

            建议不要多用户

            如果出现的话,直接删除rm /tmp/*pid

            在用用一个用户去启动

5.主机名与IP不一致:

          检查core-site

         检查/etc/hosts

        检查ip

6.去除：

WARNutil.NativeCodeLoader: Unable to load native-hadoop library for yourplatform... using builtin-java classes where applicable

Found 2 items 

问题原因：native下的包和系统所带的包不对应

重命名：mv nativebackup-native

解压native