记录hadoop一次奇怪的问题操作

今天早上,我启动Hadoop ,然后访问 9870端口,显示的却是这样的

image.png

刚开始,我以为我哪里配置有问题,于是查看日志,
例如出现这种错误,

image.png

我也尝试过去解决,这里并不是Linux 上 /tmp/logs 的目录 而是hadoop中的。
解决方式也很简单

hadoop fs -mkdir -p /tmp/logs

重新启动,即可。


注意:上面的错误还不是重点,错误确实不报了,但是重启之后,反问还是这样。
然后我将 namenode 进行了重新格式化
格式化方式可以参考:https://blog.csdn.net/xiaonuoyo/article/details/123602386


我也为我解决了,但是并没有,重启之后,还是无法正常显示。


最后我把集群上的Hadoop删了,重新装了一遍,启动起来依旧如此,我此时有点崩溃(这时候,到饭点了,我去吃了一个饭,然后回来打了一会游戏,然后睡了一会午觉,然后就下午四点了)。起来之后我又继续解决,我重新整理思路。

  1. 首先检查hdfs是否可以用
    我这里使用命令的方式向hdfs里插入一些数据
hadoop fs -put 2022-06-03 /origin_data/gmall/log/topic_log/2022-06-03

进行查看

[atguigu@hadoop102 bin]$ hadoop fs -ls /origin_data/gmall/log/topic_log
Found 1 items
drwxr-xr-x   - atguigu supergroup          0 2022-06-11 17:15 /origin_data/gmall/log/topic_log/2022-06-03
[atguigu@hadoop102 bin]$ hadoop fs -ls /origin_data/gmall/log/topic_log

发现能正常使用,我这里我确定hadoop确实没有问题。

  1. 检查yarn是否正常,
    界面是正常的
image.png

hive 也能正常操作

image.png

创建一张表,并插入一些数据

image.png

数据是使用python 生成的,不建议大家这么插入数据,作为一个大数据,这种方式比较low。效率还低


image.png

已经生成一个 mr任务,说明hadoop集群本身也没有问题。

  1. 也许跟浏览器有关系
    正常的界面
image.png

不正常界面

image.png

我也是突然想到,于是我用其他浏览器访问一下。

image.png

其他浏览器访问是正常的,我最开始用的是Chrome访问,说明Chrome才是问题的元凶。
image.png

我使用chrome 访客模式访问是正常的*(其他账号应该也是可以的),最后把问题排查又缩小了,说明是我这个账号的问题。
我也没发现我账号那里设置有问题,所以问题没有从根本上解决

最后

除了使用以上方式排查问题外,我也使用过其他方式

  1. 检查端口是否正常访问(虽然是废话)
  2. 查看防火墙是否关闭
  3. ntp 是否正常

你可能感兴趣的:(记录hadoop一次奇怪的问题操作)