大数据之hadoop环境搭建
Hadoop的环境搭建
1. 安装虚拟机
将事先准备好的虚拟机导入
这时虚拟机就启动了。
为了职业化：我们就创建一个普通用户
Useradd username(名字可以随意取)
设置密码：passwd 密码不会显示
用户和密码创建好以后
下面进行虚拟机的配置了
修改主机名：通过vi /etc/sysconfig/network你会进入以下页面
然后设置你的主机名
配置ip和主机名映射
主机名映射： vi /etc/hosts
添加好以后，可以检测一下
ping 主机名
如果ping通了说明添加成功
同时：本机上也要改一下
然后保存退出
关闭防火墙
当前关闭 sudo service iptables stop
开机不启动 sudo chkconfig iptables off
检查设置是否成功 chkconfig iptables --list
关闭selinux
vi /etc/selinux/config
Vi /etc/syscnfig/selinux
设置好selinux=disabled后，必须重启才能生效
关闭虚拟机
init 0 / halt
到这记住虚拟机快照
然后开机开始工作
由于没有还没有正式工作，就用伪分布式安装部署，安装前的准备
规划Linux系统的目录结构
以系统/opt目录为主安装软件包
/opt
/datas测试数据
/softwares软件包，上传的软件包
/modules软件安装目录
/tools开发的IDE及工具
将上述目录所属者和所属组改成普通用户
chown 普通用户:普通用户 /datas /softwares /modules /tools
安装jdk
安装之前先下载系统自带的openjdk
查看： sudo rpm -qa |grep java
下载： sudo rpm -e --nodeps
java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 \
tzdata-java-2012j-1.el6.noarch \
java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
上传文件和下载文件
Sudo yum install -y lrzsz
rz :上传文件，上传当前执行rz命令的路径
sz :下载文件
需要注意的是：你在/opt上传的文件，文件就会在/opt目录下
安装jdk
使用rz将jdk上传到/opt/softwares目录下
稍等一下，查看一下就会出现jdk的压缩包
解压成功后，下面需要配置环境变量
Jdk环境变量配置好后，使其生效
Source /etc/profile
验证一下
java -version
做到这记得要快照一下
下面上传Hadoop压缩包
解压Hadoop压缩包
tar -zxvf hadoop-2.7.3.tar.gz -C /opt/modules/
查看目录结构
进入以下文件夹（bin/sbin）删除后缀为 .cmd的文件
文件路径/opt/modules/hadoop-2.7.3/etc/hadoop
rm -rf bin/*.cmd
rm -rf sbin/*.cmd
进入share删除为doc文件
下面进行3个模块的环境变量修改后缀为（*.env）
hadoop-env.sh
yarn-env.sh
Mapred-env.sh
以上三个环境变量设置好后
配置xml文件
common:
core-site.xml
HDFS
Hdfs-site.xml
配置slaves文件
上面文件配置好了
然后启动HDFS
第一次使用文件系统，需要格式化
格式化系统
cd /opt/modules/hadoop-2.7.3
bin/hdfs namenode -format
启动
主节点
sbin/hadoop-daemon.sh start namenode
从节点
sbin/hadoop-daemon.sh start datanode
关闭
主节点
sbin/hadoop-daemon.sh stop namenode
从节点
sbin/hadoop-daemon.sh stop datanode
验证是否启动成功
方式一：
jps
ps -ef |grep java
方式二：
通过webUI界面查看
Bigdata-hpsk01.huadian.com:50070
测试HDFS
帮助文件
bin/hdfs dfs
HDFS文件系统目录和linux目录系统结构相似，命令也类似
创建目录：
bin/hdfs dfs mkdir /datas
查看目录：
bin/hdfs dfs -ls /datas
上传文件：
bin/hdfs dfs -text /datas/input.data
bin/hdfs dfs -cat /datas/input.data
下载文件：
bin/hdfs dfs -get /datas/input.data ./
删除文件：
bin/hdfs dfs -rm -r /datas/input.data
配置YARN
对于分布式资源管理和任务调度来说
哪些程序可以运行在yarn上
MapReduce
并行数据处理框架
spark
基于内存分布式处理框架
storm/flink
实时流式处理框架
TeZ
分析数据，比MapReduce速度快
主节点
resourceManager
从节点
nodeManager
需要修改的配置
yarn-site.xml
启动：
主节点：resourceManager
sbin/yarn-daemon.sh start resoucemanager
从节点：nodemanager
Sbin/yarn-daemon.sh start nodemanager
验证：
方式一：jps === ps -ef |grep java
方式二：bigdata-hpsk01.huadian.com:8088
MapReduce：
并行计算框架（2.x）
思想：分而治之
核心
Map
并行处理数据，将数据分割，一部分一部分的处理
Reduce
将Map的处理结果进行合并
配置
cd {hadoop_home}/etc/hadoop
修改文件（复制mapred-site.xml并重命名为mapred-site.xml）
cd mapred-site.xml.xml template mapres-site.xml
配置历史服务器
查看监听已经运行完成的MapReduce任务的执行情况
配置mapred-site.xml
启动
sbin/mr-jpbhistory-daemon.sh start historyserver
注意：在启动historyServer服务之前运行的job相关信息已经没了，只有后面运行的才有
日志聚集功能
当MapReduce程序在YARN上运行完成之后，将产生的日志文件上传到HDFS目录中，以便以后继续查看
配置：
yarn-site.xml
重启YARN和jobHistoryServer
这时候你需要快照或克隆一下，做备份
日志信息
{Hadoop_home}/logs
组件名称-用户名-服务名称-主机名
hadoop-huadian-datanode-bigdata-hpsk01.huadian.com.log
根据后缀名：
.log
程序启动相关信息会在里面，
进程启动失败
.out
程序运行相关的输出
system.out.print
system.out.error
查看日志
tail -100f name
