CentOS7 hadoop集群配置-1

一，准备三台centos7 服务器

vi  /etc/hosts

三台都输入

192.168.12.137 bigdata01
192.168.12.138 bigdata02
192.168.12.139 bigdata03

二，创建免密码登录

1)设置本机的ssh免密登录

在bigdata01执行

ssh-keygen -t rsa

一路回车
cat到 authorized_keys 文件

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

2)把bigdata01的 authorized_keys 拷贝到bigdata02/03上

scp ~/.ssh/authorized_keys bigdata02:/data

3) 把bigdata01的authorized_keys put到 在bigdata02/03本地上

在 bigdata02 和bigdata03上执行

cd /data/
cat authorized_keys >>~/.ssh/authorized_keys

三，每台设置时间同步

1 centos 设置时间
ntpdate -u ntp.sjtu.edu.cn
which ntpdate
添加 到定时任务
vi /etc/crontab  
/usr/sbin/ntpdate -u  ntp.sjtu.edu.cn
* * * * * root /usr/sbin/ntpdate -u  ntp.sjtu.edu.cn

四,配置java 环境和 hadoop环境

配置 java 环境请参考 https://www.jianshu.com/p/dca6fa6d7aa4

1） 配置 hadoop

cd data/tools
 wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2-site.tar.gz

减压

tar -zxvf hadoop-3.2.2-site.tar.gz

配置 hadoop环境变量

export HADOOP_HOME=/data/tools/hadoop-3.2.0
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

2）修改hadoop 配置文件

修改 core-site.xml

cd /data/tools/hadoop-3.2.0/etc/hadoop

core-site.xml

    
        fs.defaultFS
        hdfs://bigdata01:9000
    
    
        hadoop.tmp.dir
        /data/hadoop_repo
   
   #开启删除回收站
   
        fs.trash.interval
        1440
    

hdfs-site.xml

    
        dfs.replication
        1
    
    
        dfs.namenode.secondary.http-address
        bigdata01:50090
    
   #关闭权限校验慎用，测试环境可以这样整，
   
        dfs.permissions.enabled
        false
    

mapred-site.xml

    
        mapreduce.framework.name
        yarn
    

yarn-site.xml

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.env-whitelist
   JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
    
    
        yarn.resourcemanager.hostname
        bigdata01
    
    #配置所有节点日志集中到主节点
    
        yarn.log-aggregation-enable
        true
    
    
        yarn.log.server.url
        http://bigdata01:19888/jobhistory/logs/
    

配置 workes

vi  workes
    bigdata02
    bigdata03

3）.格式化hadoop

注意只能执行一次

cd /data/tools/hadoop-3.2.0/bin
   hdfs namenode -format

如果非得再次执行 rm -rf /data/hadoop_repo/

4) 修改sh文件

cd /data/tools/hadoop-3.2.0/sbin

start-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

stop-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root