hadoop之安装(一)

我是在阿里云服务器ECS上安装的,这个云服务器上面自带的ubutun 14.04版本,如果是一般的学习的话电脑配置还可以的话,安装个vmware装个linux系统也可以,但电脑配置不好可能会影响学习体验

一.安装JDK

安装jdk apt-get install openjdk-7-jdk
设置JAVA环境变量 vim etc/profile:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

使文件立马生效:

source etc/profile

二.安装hadoop

安装较稳定版本(1.2.1)的hadoop: wget http://apache.fayea.com/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
移动到opt目录:mv hadoop-1.2.1.tar.gz /opt/
解压文件:tar -zxvf hadoop-1.2.1.tar.gz
hadoop主要需要我们修改的文件配置文件如图
hadoop之安装(一)_第1张图片
1.配置hadoop-env.sh
修改export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 和我们安装的jdk home一样
2.设置core-site.xml

<configuration>
  <property>
 <name>fs.default.namename>
  <value>hdfs://hadoop:9000value>
  property>
  <property>
 <name>hadoop.tmp.dirname>
  <value>/hadoopvalue>
  property>
 <property>
 <name>dfs.name.dirname>
  <value>/hadoop/namevalue>
  property>
configuration>

hadoop.tmp.dir为hadoop 工作目录
dfs.name.dir 元数据目录
fs.default.name 文件系统的namenode如何访问 hdfs://hadoop:9000中的hadoop为本机的hostname 查看本机的hostname:cat /proc/sys/kernel/hostname
3.修改hdfs-site.xml

<configuration>
  <property>
 <name>dfs.data.dirname>
  <value>/hadoop/datavalue>
  property>
configuration>

配置文件系统的数据
4.修改mapred-site.xml

<configuration>
  <property>
    <name>mapred.job.trackername>
    <value>lighttrace:9001value>
  property>
configuration>

配置任务调度器,hostname:端口
同样设置hadoop环境变量 vim etc/profile,将之前的变更为:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop-1.2.1
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

然后使文件生效 source profile

对hadoop的namenode进行格式化操作
hadoop namenode -format,格式化可能报错java.net.UnknownHostException 解决方法http://blog.csdn.net/shirdrn/article/details/6562292
如果是阿里云主机的话需要在 /etc/hosts这样设置:
内网IP地址 你的hostname

然后没问题的话进入到/opt/hadoop-1.2.1/bin 目录下start-all.sh启动hadoop,启动成功jps查看进程如下就成功了:

hadoop之安装(一)_第2张图片

你可能感兴趣的:(hadoop)