学习大数据过程中遇到的问题1

首先说明下学习过程中所用到的系统及软件的版本：

ubuntu16.04

jkd1.8.0_131

hadoop2.7.3

hbase1.2.5

如果在ubuntu14.04上配置hadoop不顺利的话，建议换ubuntu16.04版本。。。

配置java环境及安装eclipse，网上有许多攻略，可以参考http://www.linuxidc.com/Linux/2016-07/133482.htm

配置hadoop环境时参考http://www.powerxing.com/install-hadoop/

使用eclipse编译运行mapreduce程序时参考http://www.powerxing.com/hadoop-build-project-using-eclipse/

配置hbase时参考http://blog.csdn.net/napoay/article/details/54136398

http://blog.csdn.net/flyfish111222/article/details/51893096

-------------------------------------------------------------------------------------------------------------------------------------------------

学习了几天大数据，遇到以下几个小问题，今天得空整理一下

1. hbase shell环境进入及退出

终端用cd命令找到hbase目录，如：cd BigData/hbase

再输入bin/hbase shell，敲enter进入hbase shell。

结果如下：

退出shell时输入exit：

2. eclipse运行第一个hadoop程序时遇到ConnectException

INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=

Exception in thread "main" java.net.ConnectException: Call From。。。 to localhost:9000 failed on connection exception:

java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

这是因为没有启动dfs

终端进入hadoop目录下，运行指令 sbin/start-dfs.sh

返回eclipse，右键MapReduce Location选择Reconnect

重新运行程序即可

3. 提示输出文件已存在

Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException:

Output directory hdfs://localhost:9000/user/ljp/output2 already exists

当时竟然蠢到去百度这个位置在哪。。。

右键delete就可以。。。除非里面有重要东西。。。暂时不知道如何将多个结果写入存在的文件夹下。。。因为菜。。。