Hadoop全分布分配部署测试

设立各点通讯

设置时间同步(CRT下选择对所有窗口发送)

date -s "2019-8-21 11:15"

密钥分发：

scp id_dsa.pub bigdata02:`pwd`/bigdata01.pub

//从bigdata01向其余从机分发公钥，公钥的名称为了区分注意要变化

各节点把bigdata01的公钥追加到认证文件里：

cat ~/.ssh/bigdata01.pub >> ~/.ssh/authorized_keys

修改core-site.xml

        

            fs.defaultFS

            hdfs://bigdata01:9000

        

        

        

            hadoop.tmp.dir

            /opt/modules/hadoop-2.6.5/full

        

修改hdfs-site.xml

        

            dfs.replication

            2

        

        

        

            dfs.namenode.secondary.http-address

            bigdata02:50090

        

配置slaves

bigdata02

bigdata03

bigdata04

分发配置文件到其他的从机

 

重新格式化集群

hdfs namenode -format

启动集群：

start-dfs.sh

注意slaves的格式编码为unix，否则运行会出错

手动设置上传块的大小，小于1048576无法设置（1024*1024）

生成测试文本

for i in `seq 100000`;do echo "hello $i" >> test.txt;done

上传

hdfs dfs -D dfs.blocksize=1048576 -put test.txt /user/root

（上传文件大小为1.6M，设定分块大小为1M时，则将其分成两块存储，得去指定从机下寻找副本）

/opt/modules/hadoop-2.6.5/full/dfs/data/current/B*/current/finalized/subdir0/subdir0