海洋环境项目遇到的问题汇总

海洋环境问题汇总

• 虚拟机网络配置问题

  • 配置虚拟机与宿主机在同一网段下的方法：
    • 手动更改ip
    • ifconfig ens33 ip
  • 主机与虚拟机互相ping通的方法：关闭防火墙

• 相关软件的安装

  • https://pan.baidu.com/s/1OlBSYFjdk9oDXot_V9VZUg 是免费版xshell和xftp的软件安装包，用这两个软件对虚拟机集群进行操作非常方便。

• 操作流程

  • 启动hadoop
  • 启动hbase

• hbase 启动遇到的问题

  • 很长一大段的报错是各种服务有没启动起来的要仔细查看
  • server not running yet的原因是 hadoop的安全模式没有关
  • org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 这个错误的原因是文件块缺失直接删除文件块即可。

   				hdfs dfs -rm -r /hbase-1.1.2 
  

• hbase建表遇到table already exist 问题
  原因是暴力删除了文件块，而zookeeper中的元数据信息没有删除
  解决方案：
  1.通过./hbase zkcli进入zookeeper client模式
  2.输入 ls /hbase/table 命令看到zombie table
  3.使用 rmr /hbase/table/TABLE_NAME 命令删除 zombie table
  4.重启 Hbase

• 海洋环境数据项目 java api连接项目没有问题但是无法查询出结果。
  实际上由于限制了timeout的时间，所以不会在短时间内报错。
  解决办法：在hbase的lib下引入metrics-core-2.2.0.jar包即可以解决。maven项目可以在idea的projectstructor中引入。

• ajax传数据的时候 一个ajax就可以兼顾向后台发送和接收

• 比较对象是否相等的时候要考虑是否是同一类型，比如项目中涉及到的cloud的A强制转换成String对象，比较的时候也要定义一个String对象。

• 在调试过程中左侧的绿色可以直接运行到断点出可以很好的查到到底是不是逻辑的问题。

• 浏览器的network ctrl+R可以查看数据之间的交互是否有问题。

  最重要的一点就是基础设施要打牢固

• start-all.sh文件中有个pwd的密令可以使集群中的其他机器在相同位置启动服务

• 在修改profile文件之后一定要source 一下，否则不会生效。

• 在给程序打成jar包的过程中，有个MF选定目录千万不能用默认的，用默认的就会失败。

• 杀死一个进程的脚本

jps| awk '/RunJar/ {print $1}' |xargs kill
jps| awk '/RunJar/ {print $1} '|xargs kill

• 强制类型转换

float ls = Float.valueOf((String)resultvalue.get (rt))

• 一些特殊的东西

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION

 FLUSH PRIVILEGES

GRANT ALL PRIVILEGES ON *.* TO '用户名'@'%' IDENTIFIED BY '密码' WITH GRANT OPTION;

 hive --hiveconf hive.root.logger=DEBUG,console

大数据工作要求
shell编程语言
熟悉Redis
HDFS Hive Redis mongodb Flume Kafka Sqoop Zookeeeper