用Maven构建Hadoop项目

Pingback: Hadoop家族学习路线图 | 粉丝日志
Pingback: 用Maven构建Mahout项目 | 粉丝日志
Pingback: Hadoop历史版本安装 | 粉丝日志
Pingback: 用Hadoop构建电影推荐系统 | 粉丝日志
haha

貌似程序只是用了HDFS上的数据，程序并没有真正在集群上运行啊，你看看提交job的编号都是attempt_local的
- http://blog.fens.me/ Conan Zhang
  
  你提的这个问题很好啊！我之前都往这方面想过。
  我去看看源代码，找找是什么原因。
  - haha
    
    还有那个mahout分布式的例子也没有运行在集群上 oooops
  - tang luling
    
    找出原因了没有?
    - http://blog.fens.me/ Conan Zhang
      
      还没有，最近没有时间看这个问题。
      不过影响不大，因为文章讲的开发环境，并不是生产环境。
      - haha
        
        想要直接通过eclipse让程序运行在集群上需要使用eclipse的hadoop插件或者打包好上传到集群上运行
- tang luling
  
  哥们你的联系方式是啥? 加一下我的联系邮箱:[email protected]
波波

看起来，Maven在最初的建立的时候，并没有像apache官网上的instruction所说的，建立M2_HOME和M2环境变量。这些在后面的操作中会有影响么？另外，想请教下，Optional: Add the MAVEN_OPTS environment variable to specify JVM properties, e.g. export MAVEN_OPTS=”-Xms256m -Xmx512m”. This environment variable can be used to supply extra options to Maven. 这个设置会对Maven提供哪些额外选项？
谢谢老师。
- http://blog.fens.me/ Conan Zhang
  
  1. 有没有环境变量没什么影响
  
  2. MAVEN_OPTS都是JVM的参数，设置内存分配的。
波波

老师，你好。想请教一下，多次提到的pom.xml文件究竟是一个什么样的文件。谢谢
- http://blog.fens.me/ Conan Zhang
  
  找到文章的 vi pom.xml
xd_zhang

你好，lib下单hadoop*.jar 版本是1.3 的，麻烦问下文章中你提到的hadoop-eclipse插件版本是哪个？目前官方提供的只有1.2版的插件？
- http://blog.fens.me/ Conan Zhang
  
  我没有试用 hadoop-eclipse插件。
hejian

你好，

hadoop fs -ls hdfs:// ip :9000/user/hdfs/o_t_account在我的集群上执行不了啊？
[xdr@node11 conf]$ hadoop fs -ls hdfs://node11:9000/user/
14/02/23 21:27:50 INFO ipc.Client: Retrying connect to server: node11/10.1.100.11:9000. Already tried 0 time(s).
14/02/23 21:27:51 INFO ipc.Client: Retrying connect to server: node11/10.1.100.11:9000. Already tried 1 time(s).
14/02/23 21:27:52 INFO ipc.Client: Retrying connect to server: node11/10.1.100.11:9000. Already tried 2 time(s).
- hejian
  
  就是说hadoop fs -ls hdfs://node11:9000/user/中，hdfs://node11:9000/user/指定了node11或者静态ip，这个hdfs命令就报错，请问是什么原因？
  - hejian
    
    [aone@localhost ~]$ hadoop fs -ls hdfs://localhost:9000/
    Found 5 items
    drwxr-xrwx – aone supergroup 0 2013-12-15 02:48 /hbase
    drwxr-xr-x – aone supergroup 0 2013-12-21 00:17 /home
    drwxrwxr-x – aone supergroup 0 2013-12-20 18:01 /test
    drwxr-xr-x – aone supergroup 0 2013-12-02 00:59 /tmp
    drwxr-xr-x – aone supergroup 0 2013-12-21 00:17 /user
    
    把localhost换成静态ip 192.168.1.3就连不上了
    [aone@localhost ~]$ hadoop fs -ls hdfs://192.168.1.3:9000/
    14/02/23 05:52:36 INFO ipc.Client: Retrying connect to server: /192.168.1.3:9000. Already tried 0 time(s).
    14/02/23 05:52:37 INFO ipc.Client: Retrying connect to server: /192.168.1.3:9000. Already tried 1 time(s).
    ls: Call to /192.168.1.3:9000 failed on connection exception: java.net.ConnectException: Connection refused
    
    为什么呢？
    - http://blog.fens.me/ Conan Zhang
      
      ip的问题，有两种方法配置。
      
      1. 在host文件中，增加192.168.1.3和localhost的对应关系
      
      2. 通过DNS服务器，增加ip和域名的对应关系
      
      另外，你的问题localhost可以，ip不可能，还有可能是因为master和slave文件的配置，指定了localhost这个域名所引起的问题。
      
      网络配置是Linux的基础知识，花点时间自己补补吧，后面问题还多着呢。
      - hejian
        
        多谢你的回复。
        
        解决了，修改了：
        
        fs.default.name
        hdfs://master:9000
        
        这里原来配置的是localhost，即namenode的ip为127.0.0.1，虽然该机子的静态ip为192.168.1.3，也不好使。

转自：

http://blog.fens.me/hadoop-maven-eclipse/

用Maven构建Hadoop项目

1. Maven介绍

2. Maven安装(win)

3. Hadoop开发环境介绍

4. 用Maven构建Hadoop环境

6. MapReduce程序开发

7. 模板项目上传github

你可能感兴趣的:(hadoop)