大数据||分布式部署常遇到的问题及基准测试

启动yarn时报错

• 异常信息

  
  

• 错误原因
  在启动子节点（senior02,senior03）时读取slaves时报错。原因是slaves文件有问题。字符编码的问题。

• 解决方法
  1、重新创建slaves文件并初始化。touch slaves
  2、重新分发slaves文件到主节点resourcemanager

scp -r etc/hadoop/slaves hadoop-senior02.beifeng.com:/opt/app/hadoop-2.5.0/etc/hadoop/

• 测试是否可以正常解析

  
  

子节点无法启动或者停止

• 异常信息

  
  

• 错误原因
  没有在slaves中配置子节点。

• 解决方法
  修改slaves文件，添加子节点域名

集群环境下HDFS上传put文件出错

• 异常信息

  
  

• 错误原因
  复制文件到子节点时无法正常连接132和133子节点。因为防火墙拦截了请求。

• 解决办法
  关闭防火墙
  重启后生效
  开启： chkconfig iptables on
  关闭： chkconfig iptables off
  即时生效，重启后失效
  开启： service iptables start
  关闭： service iptables stop

yarn启动认证失败

• 异常信息

  
  

• 失败原因
  yarn启动的时候需要启动子节点，如果没有设置rsa秘钥认证就会报错。
  两个linux机器之间使用ssh不需要用户名和密码,采用了数字签名RSA或者DSA来完成这个操作

• 解决办法
  1、在resourceManager主节点生成加密文件

ssh-keygen -t rsa

2、复制公钥到子节点（131、133）

命令：
131节点:ssh-copy-id hadoop-senior.beifeng.com
133节点:ssh-copy-id hadoop-senior.beifeng.com

• 测试是否可以免密登入

测试命令：
131节点：ssh hadoop-senior.beifeng.com
133节点：ssh hadoop-senior03.beifeng.com

测试结果

基本测试

集成搭建完成后对个服务进行集成测试。服务是否启动，是否可用

• hdfs
  读写操作

bin/hdfs dfs -mkdir
bin/hdfs dfs -put
bin/hdfs dfs -text

• yarn
  run jar
• mapreduce
  bin/yarn jar

基准测试

基准测试是测试集群的性能，

• 针对hdfs来说 读数据和写数据。压读写速度，测试网络传播速度。测试hdsf的namenode可以管理多少元数据。

• yarn map的增加或者减少

监控集群软件

• cloudera Manager :辅助我们部署安装和监控集群、配置、同步、预警等。