Hadoop单机环境搭建

＃Hadoop环境#

操作系统

我用的是Mac，其实Mac系统也是Linux的一个分支，用RedHat,CenterOS,Ubuntu等都是一样的。不建议在windows下安装Hadoop

安装前提

• Java
• SSH

获取Hadoop安装包

• 这个自己百度吧，我用的是hadoop-2.3.0

将下载的hadoop安装包用FTP工具上传到Linux服务器的/usr/local目录下

解压hadoop压缩包

cd /usr/local/  
tar -zxvf hadoop-2.3.0.tar.gz

设置环境变量

• vi /etc/profile
• 添加环境变量: export HADOOP_HOME=/usr/local/hadoop-2.3.0
• 将hadoop添加到PATH变量中: PATH = $HADOOP_HOME/bin:$PATH
• 使环境变量生效 : source /etc/profile

修改Hadoop配置文件

修改hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

修改core-site.xml

<configuration>
    <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
    </property>
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop-2.3.0</value>
    </property>
</configuration>

修改 mapred-site.xml

<configuration>
    <property>
            <name>mapred.job.tracker</name>
            <value>localhost:9001</value>
    </property>
</configuration>

修改hadoop-env.sh

增加一行:(依照个人的Java安装路径填写)

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_25.jdk/Contents/Home

至此，hadoop的安装和配置已经ok

• 先格式化一下HDFS系统：

  hadoop namenode -format

• 然后我们可以启动hadoop了

  cd /usr/local/hadoop-2.3.0/sbin
  ./start-all.sh

• 如果启动时 没有明显的报错，那么说明安装成功了。

验证

hadoop fs -mkdir /d1   ＃创建的目录
hadoop fs -ls /            ＃查看根目录

如果结果正确，代表hadoop单机环境搭建成功.恭喜！～