坏蛋哥的随笔

坏蛋的随笔

1 远程时：bash: jps: command not found

问题描述：在远程执行 ssh hadoop jps 时报错

原因是：用ssh去登录时身份中的环境变量没有包含住/etc/profile中的命令配置，说白了就是环境变量不对，可通过 ssh hadoop3 $PATH 查看ssh下的环境变量。
解决：

1. 通过在目标机中配置 cat /etc/profile >> ~/.bashrc将环境变量加到对应的用户中去（按理说这种方式应该能解决问题，但是我没有解决，我是用的下面的方式）
2. 将 jps 换成绝对路径 /usr/java/jdk1.8/bin/jps

2. gitee中推送内容到远程仓库

#配置用户名
git config --global user.name "your_name"
git config --global user.email  "your_email"

#配置选择的文件
git init
git add some_dir_you_want_to
git commit -m ""
git remote add origin your_repository_url
git push -u origin master

#但是报错

原因：设置的缓存太小，改变存储的大小。（下面是500m,根据情况修改）
$ git config --local http.postBuffer 524288000

3. zkServer远程启动始终失败

问题描述：
用 ssh hadoop zkServer.sh start 或者用绝对路径启动都启动不了，虽然前台报出的是STARTED,但是用jps查看，始终启动不了，用ssh hadoop $PATH查看路径又是正常，但是ssh hadoop java -version就报出错误，从这儿推断是java环境变量赋值的时候出错了，而且将/etc/profile的加在~/.bashrc中也不能达到效果。

解决方式：
ssh hadoop "source /etc/profile && zkServer.sh start"

4. Error:scalac: Error: org.jetbrains.jps.incremental.scala.remote.ServerException

原因：scala的版本和java的版本不一致，我的是java1.8但是ide自动下载的是2.13，后来将版本降到2.11就解决问题。首先去官网下载2.11.12的zip包，然后在创建scala project时选择的sdk就选择自己解压的路径。

5. 在flume启动是一直报错找不到我定义的Interceptor

原因：我就在想什么都没问题大，怎么会呢（哈哈，你傻啊，如果没问题怎么能运行不了啊）！经过我的回忆，我想到了字符编码，因为我用 maven package时报字符错误，所以我加了encoding为utf8。可能就是这个原因，但是不加吧又会报错，我就想了一办法，以前的工程没加怎么就可以呢。后来我就在java中加了一个main函数，里面不包含任何语句，执行空的main函数再打包就没问题了，据此推断main执行的时候进行了built.加上了默认的encoding.看来遇到错误要多思考啊！

6.Could not get lock /var/lib/dpkg/lock

问题描述：在执行apt install maven时报错了，说/var/lib/dpkg/lock文件被其他进程使用了，不能我使用了，百度后参考链接：https://itsfoss.com/could-not-get-lock-error/

原因：因为之前自启动的进程占用了这个文件，所以要找到这个进程，并视情况杀掉。
解决：

# 查看进程情况
1. ps -ef | grep /var/lib/dpkg/lock-frontend
# 以root的身份关掉该进程
kill -9 process_id
#最后在尝试一下，应该就没问题了

7. ERROR 2003 (HY000): Can’t connect to MySQL server on ‘hadoopmaster’ (111)root@hadoopmaster:/home/hadoopmaster# net start mysql

问题描述： 在启动hive时时钟报metadata出错，检查后发现是mysql的链接问题，用mysql本地链接没有问题，但是远程连接时就报以下错误：

原因：是mysql绑定了登录地址，解决方式如下：

1. 首先查看服务是否启动：netstat -nlp |grep 3306如果有监听进程就进行下一步。
2. vim /etc/mysql/mysql.conf.d/mysqld.cnf注释掉标红处
   
3. 重启服务： service mysql restart

8. 启动kafka始终启动不了

今天在写远程脚本的时候，始终启动不了kafka
怀疑的原因：

是中间加了延时
解决办法：
取消延时

zuigen Error contacting service. It is probably not running.
Using config: //usr/zookeeper/zookeeper/bin/../conf/zoo.cfg
ZooKeeper JMX enabled by default

承接上面的kafka启动失败，最终的结构是zookeeper的问题，我还纳闷了，zookeeper的进程看着是启动了的，但是我用 zkServer.sh status查看时就报上面的错误。很显然zookeeper的集群启动但是没有连接上.

原因：conf/zoo.cfg中配置的原因，我多配了几个主机，但是这几个主机我没让他们启动，所以始终无法构成成功的集群。
解决：注释掉多余的集群

9. 由于自己将hive本身的mysql的元数据库删了，然后启动hive,执行语句时，一直报找不到元数据。

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

原因：是本地没有提供metadata的服务
解决：hive --service metastore &
第一次启动了，后面就不需要启动了