CentOS 6.4 安装伪分布式Hadoop 1.0.3

阅读更多
        在本章中学习如何在CentOS 6.4上安装配置Hadoop开发环境。
       
        配置ssh及生成密码对
        首先需要安装ssh:
引用

        # yum install ssh
       

        紧接着启动ssh,并将之设置开机运行:
引用

        # service sshd start
        # chkconfig sshd on

       

        好,现在已经安装并启动了sshd,接下来我们来为hadoop生成面登录的密码对:
引用

        # ssh-keygen
       

        然后接下来的交互中一路回车,如下图所示:
CentOS 6.4 安装伪分布式Hadoop 1.0.3_第1张图片
        再然后将刚才生成的公钥copy到.ssh/authorized_keys目录下:
引用

        # cd /root/.ssh
        # cat ./id_rsa.pub>>./authorized_keys

       

        这样,ssh和免密码登录的配置就应经好了,见下图:
CentOS 6.4 安装伪分布式Hadoop 1.0.3_第2张图片

        配置机器时间同步
        手动同步:
引用

        # usr/sbin/ntpdate cn.pool.ntp.org
       

        自动同步:
引用

        # crontab e
        0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org
       

CentOS 6.4 安装伪分布式Hadoop 1.0.3_第3张图片
CentOS 6.4 安装伪分布式Hadoop 1.0.3_第4张图片

        安装Hadoop 1.0.3
        在安装hadoop之前,需要先配置Java环境,java安装过程这里不再赘述。
        下载并解压hadoop 1.0.3:
引用

        # wget https://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/hadoop-1.0.3-bin.tar.gz
        # chmod +x hadoop-1.0.3-bin.tar.gz
        # tar xzvf hadoop-1.0.3-bin.tar.gz

       

        然后将hadoop-1.0.3复制到/opt/bigdata目录下:
引用

        # cp -rf hadoop-1.0.3 /opt/bigdata
       

        紧接着配置hadoop的环境:
引用

        # vi /ect/profile.d/java.sh       
       

CentOS 6.4 安装伪分布式Hadoop 1.0.3_第5张图片
       
引用

        # source /etc/profile
       

        然后我们来看配置后的效果:
CentOS 6.4 安装伪分布式Hadoop 1.0.3_第6张图片

        最后,配置hadoop的一些相关配置文件:
        1、配置$HADOOP_HOME/conf/hadoop-env.sh,在文件的末尾添加下面内容:
引用

        #set java environment
        export JAVA_HOME=/usr/local/jdk6
       

        2、配置core-site.xml文件
        core-site.xml是Hadoop核心配置文件,这里配置的是HDFS的地址和端口号:
引用

       
   
        hadoop.tmp.dir
        /opt/bigdata/hadoop-tmp
   



   
        fs.default.name
        hdfs://localhost:9000
  
 
  
  
    io.file.buffer.size
    131072
 
 

       

        如没有配置hadoop.tmp.dir参数,此时系统默认的临时目录为:/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉,必须重新执行format才行,否则会出错
        3、配置hdfs-site.xml文件
        修改Hadoop中HDFS的配置,配置的备份方式默认为3:
引用

       

   
        dfs.replication
        1
   


   
      dfs.block.size
      134217728
   




       

        4、配置mapred-site.xml文件
        配置的是JobTracker的地址和端口:
引用

       

   
        mapred.job.tracker
        localhost:9001
   



       

        好了,到这里hadoop在CentOS 6.4下的伪分布式环境已经陪好了。
        最后一步还要修改/etc/hosts,将用户名映射到127.0.0.1,如:
引用

        127.0.0.1  JackyChen
       

        不然DataNode节点启动不起来。接下来然我们初始化NameNode:
引用

        # cd bin
        # hadoop namenode -format

       

CentOS 6.4 安装伪分布式Hadoop 1.0.3_第7张图片
        最后启动hadoop:
引用

        # ./start-all.sh
       

CentOS 6.4 安装伪分布式Hadoop 1.0.3_第8张图片
       
CentOS 6.4 安装伪分布式Hadoop 1.0.3_第9张图片

CentOS 6.4 安装伪分布式Hadoop 1.0.3_第10张图片    


 

       
  • CentOS 6.4 安装伪分布式Hadoop 1.0.3_第11张图片
  • 大小: 85.8 KB
  • CentOS 6.4 安装伪分布式Hadoop 1.0.3_第12张图片
  • 大小: 145.9 KB
  • CentOS 6.4 安装伪分布式Hadoop 1.0.3_第13张图片
  • 大小: 40.8 KB
  • CentOS 6.4 安装伪分布式Hadoop 1.0.3_第14张图片
  • 大小: 133.3 KB
  • CentOS 6.4 安装伪分布式Hadoop 1.0.3_第15张图片
  • 大小: 49 KB
  • CentOS 6.4 安装伪分布式Hadoop 1.0.3_第16张图片
  • 大小: 144.4 KB
  • CentOS 6.4 安装伪分布式Hadoop 1.0.3_第17张图片
  • 大小: 164.5 KB
  • CentOS 6.4 安装伪分布式Hadoop 1.0.3_第18张图片
  • 大小: 136.9 KB
  • CentOS 6.4 安装伪分布式Hadoop 1.0.3_第19张图片
  • 大小: 101 KB
  • CentOS 6.4 安装伪分布式Hadoop 1.0.3_第20张图片
  • 大小: 103.8 KB
  • 查看图片附件

你可能感兴趣的:(centos,hadoop,ssh)