Hadoop单机版安装

hadoop单机版安装流程如下:

  1. 创建一个用于管理hadood的用户(可新建或者使用已有的用户)
  2. 安装并配置ssh免密码登陆
  3. 安装Java环境
  4. 下载hadoop并配置环境变量
  5. 配置相关的Hadoop配置
  6. 验证hadoop安装并启动

创建先的用的用户
没有用户则通过useradd username # 用户名 passwd username # 设置密码
已存在可用的用户则直接切换当前用户:su username

安装并配置ssh免密码登陆
使用ssh-keygen -t rsa 或 注:使用ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa命令可避免交互式操作。
在节点上将公钥拷到一个特定文件authorized_keys中。

cd ~
cd .ssh/
cp id_rsa.pub authorized_keys

Hadoop单机版安装_第1张图片
安装Java环境
下载指定的jdk版本并上传到服务器并解压:tar zxf 你的jdk.tar.gz
jdk下载地址为:

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads1880260.html

设置PATH和JAVA_HOME变量,添加以下命令到vim ~/.bash_profile文件。

export JAVA_HOME=/usr/local/jdk
export PATH=PATH:$JAVA_HOME/bin 

验证Java是否安装成功:
Hadoop单机版安装_第2张图片
下载hadoop并配置环境变量
hadoop下载地址为:https://hadoop.apache.org/releases.html
将hadoop下载并解压
在这里插入图片描述
配置hadoop的环境变量vim ~/.bash_profile在base_profile文件追加一下内容:


 1. List item

export HADOOP_HOME=/app/hadoop/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

然后刷新配置环境:source ~/.bash_profile
通过hadoop version检查Hadoop是否可以正常工作。
Hadoop单机版安装_第3张图片
以上图所示表示正常。

配置相关的Hadoop配置
hadoop的配置文件所在位置为hadoop所安装的根目录etc/hadoop目录下,简单配置如下:

  1. 配置hadoop-env.sh,重新选择jdk, export JAVA_HOME=/usr/local/jdk1.7.0_71
    在这里插入图片描述
  2. 配置core-site.xml
    core-site.xml主要用于配置读/写缓冲器用于Hadoop的实例的端口号的信息,分配给文件系统存储,用于存储所述数据存储器的限制和大小。
    在 configuration中新增一下配置:
  <property>
    <name>fs.defaultFSname>
    <value>hdfs://localhost:9000value>
  property>
  <property>
    <name>hadoop.native.libname>
    <value>falsevalue>
    <description>Should native hadoop libraries, if present, be used.description>
  property>
  1. 配置hdfs的配置hdfs-site.xml
  <property>
    <name>dfs.replicationname>
    <value>1value>
  property>
  <property>
    <name>dfs.name.dirname>
    <value>file:/Users/luchengwen/data/hadoop/data/datanode value>
 property>
  
 <property>
    <name>dfs.data.dirname> 
    <value>file:/Users/data/hadoop/data/datanode value> 
 property>
 <property>
  <name>dfs.data.dirname> 
  <value>file:/Users/data/hadoop/data/tmp value> 
property>

  1. 配置yarn,具体配置文件在yarn-site.xml
   <property>
    <name>yarn.nodemanager.aux-servicesname> 
    <value>mapreduce_shufflevalue>
   property>
  1. 配置mapreduce,具体配置文件在mpred-site.xml
 <property> 
    <name>mapreduce.framework.namename>
    <value>yarnvalue>
 property>

验证hadoop安装并启动
格式化一个新的分布式文件系统:

bin/hadoop namenode -format

启动hadoop(启动脚本在sbin目录下):

./start-all.sh

Hadoop单机版安装_第4张图片
通过页面检查是否成功:
浏览NameNode和JobTracker的网络接口,它们的地址默认为:http://127.0.0.1:8088/cluster/apps/RUNNING
Hadoop单机版安装_第5张图片

通过jps检查是否启动成功:
Hadoop单机版安装_第6张图片
详细的配置请参考官方文档,官方连接为

你可能感兴趣的:(大数据,hadoop)