安装Hadoop――Hadoop实战初级部分学习笔记

3、安装Hadoop

1、window上装

  （建议xp 玩玩就行了，实际要在linux）

1.1、装JDK（不要装到带空格等目录中。。）

1.2、安装cygwin

需要安装oenSSL、VIM、Base

1.3、在cygwin安装SSHD

 ssh-host-config

1.4、启动SSHD

 net start sshd

1.5、实现ssh无密码登录

  ssh-keygen

完成后会在~/.ssh/生成两个文件：id_dsa和id_dsa.pub

 Cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 完成

1.6、安装hadoop

 下载解压即可

1.7、配置

 先了解概念：

    HDFS NameNode 管理节点 DataNode 数据节点 SecondaryNameNode数据源信息备份整理节点

    MapReduce JobTracker 任务管理节点 TaskTracker 任务运行节点

    配置文件

       core-site.xml common属性配置

       hdfs-site.xml HDFS属性配置

       mapred-site.xml MapReduce属性配置

       hadoop-env.sh hadoop环境变量配置

修改hadoop-env.conf-à加 export JAVA_HONME

其他的修改下载ppt看吧，不记了。

接下来启动hadoop，还是看ppt吧，ppt上挺全的；

在win上边就是玩玩，实际环境还是linux。

给大家个ppt地址：http://sishuok.com/forum/posts/list/5316.html

2、linux上装

ubuntu开发即可，之前用过，挺好的；

1、安装jdk，jdk需要下bin结尾的那个

2、配置JAVA_HOME及PATH环境变量，具体请参考ppt，加到.bashrc  然后运行 . .hashrc

步骤和win上差不多。还没装ubuntu系统，目前就用win的吧。

3、HadoopUI

50070端口-àhdfs   50030--àjobTracker

HDFS通信端口à9000  MapReduce通信端口à9001

管理界面

http://localhost:50070 hdfs

http://localhost:50030 mapreduce

通过UI可操作如文件系统、日志

4、word counter

1、生成两个文件 如input/file1 input/file2

2、在HDFS上建个目录，如hadoop fs �Cmkdir /tmp/input

3、把file1、分file放入HDFS  hadoop fs �Cput input/* /tmp/input

4、查看 hadoop fs �Cls /tmp/input

5、执行wordcounter

hadoop jar hadoop-example-1.0.0.jar wordcounter  /tmp/input /tmp/output

6、运行完查看结果

hadoop fs �Ccat /tmp/output/part �Cr -00000

5、集成Eclipse

1、添加jar包

2、复制配置文件

3、不要用插件

http://sishuok.com/forum/blogPost/list/0/6911.html