单机搭建伪分布式环境

一、安装Ubuntu

1. 用UltraIso制作Ubuntu启动盘的时候采用RAW模式
2. 和Windows构建双系统，注意制作U盘启动的时候选择UEFI启动
3. 姓名：bingo, 主机名：Master, 用户名：hadoop

二、准备工作

- 创建新用户

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo
reboot

(补充：删除用户)
首先切换回主用户，执行如下命令

sudo userdel -r hadoop
reboot

- 安装软件(补充卸载软件：sudo apt-get --purge remove vim)

更新软件源

sudo apt-get update

1. 安装vim

sudo apt-get install vim

2. 安装net-tools

sudo apt-get intstall net-tools

3. 安装ssh

sudo apt-get install openssh-server

• 配置ssh

ssh localhost  #配置hosts (sudo vim /etc/hosts)
exit

cd ~/.ssh
ssh-keygen -t rsa
cat id_rsa.pub > authorized_keys

ssh Master
exit

4. 安装Java

• 下载JDK
• 解压缩文件和重命名

sudo tar -zxf ~/下载/jdk-7u51-linux-x64.tar.gz -C /usr/local
cd /usr/local
sudo mv jdk-7u51-linux-x64 java    #重新命名
sudo chown -R hadoop ./java    #赋予权限

• 配置环境变量(java -version 测试一下)

sudo vim ~/.bashrc

输入

export JAVA_HOME=/usr/local/java
export PATH=$JAVA_HOME/bin:$PATH

最后

source ~/.bashrc

5. 安装Hadoop

• 下载Hadoop-CDH
• 解压缩文件和重命名

sudo tar -zxf ~/下载/hadoop-2.6.0-cdh5.15.1.tar.gz -C /usr/local     #解压
cd /usr/local
sudo mv hadoop-2.6.0-cdh5.15.1 hadoop    #重新命名
sudo chown -R hadoop ./hadoop    #赋予权限

• 配置环境变量(java -version 测试一下)

sudo vim ~/.bashrc

输入

export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

最后

source ~/.bashrc

• 配置文件

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

输入

    
        hadoop.tmp.dir
        file:/usr/local/hadoop/tmp
        Abase for other temporary directories.
    
    
        fs.defaultFS
        hdfs://localhost:9000
    

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

输入

    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/usr/local/hadoop/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:/usr/local/hadoop/tmp/dfs/data
    

• 格式化文件系统

hdfs namenode -format

• 启动hdfs

start-dfs.sh

• 查看进程

jps