Ubuntu12.04 + Hadoop 1.0.4
转发请指明出处：http://sgq0085.iteye.com/admin/blogs/1851294
环境用到的各软件版本号：
ubuntu-12.04.2-server-amd64，hadoop-1.0.4.tar.gz，jdk-6u45-linux-x64.bin，VMware-workstation-full-9.0.2-1031769，eclipse Indigo Service Release 2
1. 安装JDK
(1)创建目录，并将JDK拷贝到该目录下
$ mkdir /usr/lib/jvm/jdk $ cp ~/jdk-6u45-linux-x64.bin /usr/lib/jvm/jdk/jdk-6u45-linux-x64.bin
(2)为该文件设置权限
$ sudo chmod 777 ./jdk-6u45-linux-x64.bin(3)安装JDK
$ sudo -s ./jdk-6u45-linux-x64.bin
(4)设置环境变量/etc/profile 或 当前用户的.bash_profile
最后加入
#set java environment export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.6.0_45 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin
(5)使环境变量生效
$ source /etc/profile $ source .bash_profile
(6)在终端使用echo命令检查环境变量设置情况。
$ echo $JAVA_HOME $ echo $CLASSPATH $ echo $PATH
(7)检查JDK是否安装成功
$ java -version
(8)配置默认JDK版本
$ sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk/jdk1.6.0_45/bin/java 300 $ sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk/jdk1.6.0_45/bin/javac 300 $ sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/jdk/jdk1.6.0_45/bin/jar 300
(9)检查
$ sudo update-alternatives --config java
2.安装SSH
(1)ubuntu桌面版本 默认并没有安装ssh服务，如果通过ssh链接ubuntu，需要自己手动安装ssh-server。判断是否安装ssh服务，可以通过如下命令进行:
$ ssh localhost ssh $ ssh localhost ssh: connect to host localhost port 22: Connection refused $ sudo apt-get install openssh-server
(2)启动SSH服务
$ sudo /etc/init.d/ssh start
(3)启动后，可以通过如下命令查看服务是否正确启动
$ ps -e|grep ssh $ ssh localhost $ who
(4)在本地生成空密码的公钥和私钥
cd ~/.ssh ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa(5)配置本地访问不需要密码，运行
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
3.允许 su 到 root及允许root登录
(1)允许su到root
$ sudo passwd Password: <--- 输入安装时那个用户的密码 Enter new UNIX password: <--- 新的Root用户密码 Retype new UNIX password: <--- 重复新的Root用户密码
(2)允许root登录
$ gksu /usr/sbin/gdmsetup
4.安装Hadoop
(1).将hadoop-1.0.4.tar.gz，cp到用户目录下，并解压
$ tar xvzf hadoop-1.0.4.tar.gz
(2).修改hadoop-env.sh中加入
export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.6.0_45
export HADOOP_CLASSPATH=/home/hadoop/hadoop-1.0.4
hadoop-env.sh 或 ~/.profile
export HADOOP_HOME_WARN_SUPPRESS=1
(3).修改core-site.xml 中加入 其中hadoop.tmp.dir写绝对路径是修改defaults中，默认在/tmp目录下，导致每次启动后都要重新hadoop namenode -format。fs.default.name写ip，为了保障eclipse插件可以连接上
<property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp/hadoop</value> </property> <property> <name>fs.default.name</name> <value>hdfs://192.168.6.241:9000</value> </property>
(4).修改hdfs-site.xml
<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property>
(5).修改mapred-site.xml 写IP的理由mapred.job.tracker同fs.default.name
<property> <name>mapred.job.tracker</name> <value>192.168.6.241:9001</value> </property> <property> <name>mapred.child.tmp</name> <value>/home/hadoop/tmp</value> </property>
(6).在hadoop目录下，格式化命名空间
bin/hadoop namenode -format
(7).运行hadoop
bin/start-all.sh
(8).运行测试
bin/hadoop jar hadoop-0.20.2-examples.jar pi 2 10
5.hadoop-eclipse-plugin-1.0.4 使用
(1)将插件放到eclipse/dropins目录下，重启eclipse
(2)在Window->Preferences->Hadoop Map/Reduce 下选择Hadoop的安装路径(解压一份即可，用于创建项目时导入JAR包)
(3)在eclipse下端，“Map/Reduce Locations”，在下面空白的地方点右键，选择“New Hadoop location...”
Location name（取个名字） Map/Reduce Master（Job Tracker的IP和端口，根据mapred-site.xml中配置的mapred.job.tracker来填写） DFS Master（Name Node的IP和端口，根据core-site.xml中配置的fs.default.name来填写）
运行可以参照：http://www.blogjava.net/yongboy/archive/2012/04/26/376486.html
这里有两个个问题：
1.参数应该传入/user/hadoop/input2 /user/hadoop/output2 写master或者写虚拟机IP经测试都运行失败；
2.修改的hadoop-core-1.0.4.jar，是指eclipse里面项目中导入的Jar包，与Hadoop实际运行环境中Jar包无关。
转发请指明出处：http://sgq0085.iteye.com/admin/blogs/1851294
ubuntu固定IP NAT方式，可参考
sudo vim /etc/network/interfaces
interfaces里面增加或修改为
auto eth0
iface eth0 inet static
address 192.168.2.155
netmask 255.255.255.0
gateway 192.168.2.1
dns-nameservers 218.85.157.99 218.85.152.99
重启网卡：
sudo /etc/init.d/networking restart
设置时间
sudo date -s 05/20/2013 sudo date -s 13:58:00 date