坏蛋哥的随笔

坏蛋的随笔

1 远程时:bash: jps: command not found

问题描述:在远程执行 ssh hadoop jps 时报错

在这里插入图片描述
原因是:用ssh去登录时身份中的环境变量没有包含住/etc/profile中的命令配置,说白了就是环境变量不对,可通过 ssh hadoop3 $PATH 查看ssh下的环境变量。
解决:

  1. 通过在目标机中配置 cat /etc/profile >> ~/.bashrc将环境变量加到对应的用户中去(按理说这种方式应该能解决问题,但是我没有解决,我是用的下面的方式)
  2. 将 jps 换成绝对路径 /usr/java/jdk1.8/bin/jps

2. gitee中推送内容到远程仓库

#配置用户名
git config --global user.name "your_name"
git config --global user.email  "your_email"

#配置选择的文件
git init
git add some_dir_you_want_to
git commit -m ""
git remote add origin your_repository_url
git push -u origin master

#但是报错

在这里插入图片描述
原因:设置的缓存太小,改变存储的大小。(下面是500m,根据情况修改)
$ git config --local http.postBuffer 524288000

3. zkServer远程启动始终失败

问题描述:
用 ssh hadoop zkServer.sh start 或者用绝对路径启动都启动不了,虽然前台报出的是STARTED,但是用jps查看,始终启动不了,用ssh hadoop $PATH查看路径又是正常,但是ssh hadoop java -version就报出错误,从这儿推断是java环境变量赋值的时候出错了,而且将/etc/profile的加在~/.bashrc中也不能达到效果。

解决方式:
ssh hadoop "source /etc/profile && zkServer.sh start"

4. Error:scalac: Error: org.jetbrains.jps.incremental.scala.remote.ServerException

原因:scala的版本和java的版本不一致,我的是java1.8但是ide自动下载的是2.13,后来将版本降到2.11就解决问题。首先去官网下载2.11.12的zip包,然后在创建scala project时选择的sdk就选择自己解压的路径。

5. 在flume启动是一直报错找不到我定义的Interceptor

原因:我就在想什么都没问题大,怎么会呢(哈哈,你傻啊,如果没问题怎么能运行不了啊)!经过我的回忆,我想到了字符编码,因为我用 maven package时报字符错误,所以我加了encoding为utf8。可能就是这个原因,但是不加吧又会报错,我就想了一办法,以前的工程没加怎么就可以呢。后来我就在java中加了一个main函数,里面不包含任何语句,执行空的main函数再打包就没问题了,据此推断main执行的时候进行了built.加上了默认的encoding.看来遇到错误要多思考啊!

6.Could not get lock /var/lib/dpkg/lock

问题描述:在执行apt install maven时报错了,说/var/lib/dpkg/lock文件被其他进程使用了,不能我使用了,百度后参考链接:https://itsfoss.com/could-not-get-lock-error/

原因:因为之前自启动的进程占用了这个文件,所以要找到这个进程,并视情况杀掉。
解决:

# 查看进程情况
1. ps -ef | grep /var/lib/dpkg/lock-frontend
# 以root的身份关掉该进程
kill -9 process_id
#最后在尝试一下,应该就没问题了

7. ERROR 2003 (HY000): Can’t connect to MySQL server on ‘hadoopmaster’ (111)root@hadoopmaster:/home/hadoopmaster# net start mysql

问题描述: 在启动hive时时钟报metadata出错,检查后发现是mysql的链接问题,用mysql本地链接没有问题,但是远程连接时就报以下错误:
在这里插入图片描述
原因:是mysql绑定了登录地址,解决方式如下:

  1. 首先查看服务是否启动:netstat -nlp |grep 3306如果有监听进程就进行下一步。
  2. vim /etc/mysql/mysql.conf.d/mysqld.cnf注释掉标红处
    坏蛋哥的随笔_第1张图片
  3. 重启服务: service mysql restart

8. 启动kafka始终启动不了

今天在写远程脚本的时候,始终启动不了kafka
怀疑的原因:
坏蛋哥的随笔_第2张图片
是中间加了延时
解决办法:
取消延时

zuigen Error contacting service. It is probably not running.
Using config: //usr/zookeeper/zookeeper/bin/../conf/zoo.cfg
ZooKeeper JMX enabled by default

承接上面的kafka启动失败,最终的结构是zookeeper的问题,我还纳闷了,zookeeper的进程看着是启动了的,但是我用 zkServer.sh status查看时就报上面的错误。很显然zookeeper的集群启动但是没有连接上.

原因:conf/zoo.cfg中配置的原因,我多配了几个主机,但是这几个主机我没让他们启动,所以始终无法构成成功的集群。
解决:注释掉多余的集群

9. 由于自己将hive本身的mysql的元数据库删了,然后启动hive,执行语句时,一直报找不到元数据。

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

原因:是本地没有提供metadata的服务
解决:hive --service metastore &
第一次启动了,后面就不需要启动了

你可能感兴趣的:(随笔)