hadoop安装配置和问题处理(部分转载)

安装hadoop前的准备工作

1:安装jdk,配置ip,ssh,防火墙,映射
2:安装maven
配置maven环境变量,存储路径,阿里映射等
3 安装findbugs,解压后配置findbugs环境变量
4 在线安装一些依赖包
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-develyum
yum install lzo-devel zlib-devel gcc gcc-c++
bzip2压缩需要的依赖包
yum install -y bzip2-devel
5 安装protobuf
解压后进行make和make install
6 安装snappy
7 编译hadoop源码
8 得到编译后的hadoop压缩包

上述步骤是规范的操作,可以不操作在如下配置后进行问题处理

下载地址:http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-3.2.1/
上传到Linux后解压:tar zxvf hadoop-2.7.4-with-centos-6.7.tar.gz
解压后删除压缩包rm -rf hadoop-3.2.1. tar.gz
查看java路径which java
配置Hadoop
第一个 hadoop-env.sh

vi hadoop-env

你可能感兴趣的:(hadoop,大数据)