CDH6 离线安装

一、环境准备

1、CM简介

Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。

本篇就介绍如何安装CDH，选择的版本为6.3.1

2、环境准备

准备三台测试机，分别为centos01,centos02,centos04。我这里的测试机器的配置为16g内存，4CPU。

序号 IP hostname
1 192.168.222.10 centos01
2 192.168.222.11 centos02
3 192.168.222.13 centos04

说明：centos03（192.168.222.12）节点被征用做其他服务部署。

软件 版本
操作系统 CentOS 7.6
ClouderaManager 6.3.1
CDH 6.3.2
JDK 1.8
MySQL(MariaDB) 5.7

虚拟机搭建运行环境，请参考前几篇文章：
大数据之 Hadoop-2-运行环境搭建之虚拟机安装
大数据之 Hadoop-3-运行环境搭建之克隆虚拟机

2.1 关闭防火墙（所有节点）

systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld

2.2 关闭SeLinux（所有节点）

执行getenforce指令查看selinux状态，如果输出为：enforcing，则需要处理一下，否则可以跳过这一步。

[root@centos01 ~]# getenforce
Enforcing
[root@centos01 ~]#

修改 /etc/selinux/config 文件（在某些系统中，可能是 /etc/sysconfig/selinux 文件）

vi /etc/selinux/config

将 SELINUX=enforcing修改为

SELINUX=disabled

更新配置之后要重启服务器生效，或者执行：setenforce 0，使其立即生效。

setenforce 0

注意：也可以使用 sed -i s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/config

再次查看：

[root@centos01 ~]# getenforce
Permissive

3、配置yum源

配置yum源
（1）、备份，将 CentOS-Base.repo 为CentOS-Base.repo.backup

cp /etc/yum.repos.d/CentOS-Base.repo  /etc/yum.repos.d/CentOS-Base.repo.backup

（2）、下载新的 http://mirrors.aliyun.com/rep...,并命名为CentOS-Base.repo

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

或者

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

（3）、清除缓存

yum clean all # 清除系统所有的yum缓存
yum makecache # 生成yum缓存

4、NTP服务安装和设置

Hadoop对集群中各个机器的时间同步要求比较高，要求各个机器的系统时间不能相差太多，不然会造成很多问题。可以配置集群中各个机器和互联网的时间服务器进行时间同步，但是在实际生产环境中，集群中大部分服务器是不能连接外网的，这时候可以在内网搭建一个自己的时间服务器（NTP服务器），集群的各个机器与这个时间服务器进行时间同步。我们选择其中一个节点centos01机器作为NTP服务器，其他机器和它自动同步。

4.1 安装NTP（所有节点）

yum -y install ntp

4.2 Manager节点(centos01)：

设置指向NTP服务器，如果局域网内有时间服务器，可以指向时间服务器（manager节点-centos01）

vi /etc/ntp.conf

注释掉之前的server，然后添加以下NTP服务器

server http://ntp.aliyun.com

CDH6 离线安装_第1张图片

4.2 其他节点：

vi /etc/ntp.conf

集群的其他节点指向第一个（centos02、centos04）

server centos01

重新启动 ntp 服务和设置开机自启（所有节点）：

service ntpd restart
systemctl enable ntpd.service

查看和测试：

ntpdc -c loopinfo #查看与时间同步服务器的时间偏差
ntpq -p #查看当前同步的时间服务器
ntpstat #查看状态定时同步crontab
crontab -e #可以不用设置
10 * * * * /usr/sbin/ntpdate centos1

二、配置和安装CDH

CDH官方的网站已经无法直接下载安装包了（需要账号密码），需要找一些之前下载过的人索取。

链接：https://pan.baidu.com/s/1dpyhF6TRXaqryab6ZVVXfw 
提取码：1cuo

官网下载包（比较慢）：

http://ro-bucharest-repo.bigstepcloud.com/cloudera-repos/cm6/redhat/7/x86_64/cm/6.2.0/RPMS/x86_64/

https://archive.cloudera.com/cm6/6.3.1/

1.配置CM源

注意：操作系统可以先配置本地yum。CDH的安装包都是rpm包。如果使用rpm安装方式安装起来是比较复杂的，会有很多依赖问题需要解决，就需要使用yum帮助我们解决依赖问题。（也可以是在线的阿里yum源，之前在按照好操作系统之后已经设置了aliyun的yum，所有这里省略centos yum源）

配置CM源：
在centos01节点上安装并启动 httpd

#安装
yum install httpd
#启动
service httpd start
#开机自启
systemctl enable httpd
或者chkconfig httpd on

1.2 将端口号修改为：6789 (可选项操作，默认是80，这里使用默认的端口)

$ vi /etc/httpd/conf/httpd.conf

增加/修改端口号如下：

Listen 6789

CDH6 离线安装_第2张图片

1.3 进入到这个目录下,新建目录：

cd /var/www/html/
mkdir cm6
mkdir cdh6

1.4 将cdh的安装包和cm的包拷贝到创建的目录

1.4.1 拷贝cm安装包和jdk到cm6

#拷贝cm安装包和jdk到cm6
cp cloudera-manager-* /var/www/html/cm6/
cp enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm /var/www/html/cm6
cp oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm /var/www/html/cm6

cm6目录拷贝的文件：

[root@centos01 cm6]# ls -l
总用量 1380408
-rw-r--r--. 1 root root   10483568 2月  27 14:11 cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r--. 1 root root 1203832464 2月  27 14:12 cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r--. 1 root root      10996 2月  27 14:12 cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r--. 1 root root   14209868 2月  27 14:12 enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r--. 1 root root  184988341 2月  27 14:12 oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
[root@centos01 cm6]#

CDH6 离线安装_第3张图片

1.4.2 拷贝cdh安装包和元数据文件

# 拷贝cdh安装包和元数据文件
cp CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel /var/www/html/cdh6/
cp manifest.json /var/www/html/cdh6/

拷贝到cdh6目录的文件：

[root@centos01 cdh6]# ls -l
总用量 2033424
-rw-r--r--. 1 root root 2082186246 2月  27 14:08 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
-rw-r--r--. 1 root root      33887 2月  27 14:08 manifest.json

1.5 安装createrepo命令，然后进入到cm6目录创建yum源

[root@centos01 cdh6]# yum install -y createrepo  #下载createrepo
[root@centos01 cdh6]# cd /var/www/html/cm6  #命令进入到cm6安装包的httpd资源位置
[root@centos01 cdh6]# createrepo .  #创建yum源的描述meta

CDH6 离线安装_第4张图片

1.6 配置yum源（每个节点）

cat >> /etc/yum.repos.d/cm.repo << EOF

[CM]
name=cm6
baseurl=http://centos01:6789/cm6/
gpgcheck=0
EOF

file

然后再其他节点：centos02,centos04 节点执行上述命令；

查看yum配置源是否生效

yum clean all
yum repolist

CDH6 离线安装_第5张图片

可以看到cm源已经配置成功了。

2.安装

2.1 安装依赖（所有节点）

yum install -y bind-utils libxslt cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 Mysql-python fuse

CDH6 离线安装_第6张图片

2.2 安装cloudera-manager和agent（centos01 节点）

#安装JDK
yum install -y oracle-j2sdk1.8.x86_64
#安装cloudera-manager
yum install -y cloudera-manager-agent cloudera-manager-daemons cloudera-manager-server cloudera-manager-server-db-2 postgresq-server

在安装JDK时出现这样的错误：
CDH6 离线安装_第7张图片

然后去官网重新下载了一个包：
http://ro-bucharest-repo.bigs...

CDH6 离线安装_第8张图片

将新下载的 oracle-j2sdk1.8.x86_64 文件放到cm6 目录下，然后重新创建yum源：

[root@centos01 cdh6]# cd /var/www/html/cm6  #命令进入到cm6安装包的httpd资源位置
[root@centos01 cdh6]# createrepo .  #创建yum源的描述meta

CDH6 离线安装_第9张图片

接着继续安装cloudera-manager：

#安装cloudera-manager
yum install -y cloudera-manager-agent cloudera-manager-daemons cloudera-manager-server cloudera-manager-server-db-2 postgresq-server

又报这样的错误：
CDH6 离线安装_第10张图片

2.3 安装Mariadb（cdh01）

#安装
yum install -y mariadb-server
#启动和开机自启
systemctl start mariadb && systemctl enable mariadb
#配置Mariadb数据库
mysql_secure_installation #可以在遇[Y/n]输入y设置密码 [账号/密码：root/123456]

2.4 修改配置文件(所有节点)

修改Cloudera Agent配置文件/etc/cloudera-scm-agent/config.ini，配置server_host为主节点cdh01

#通过vi命令修改
vi /etc/cloudera-scm-agent/config.ini
server_host=centos01
# ------------- 第二种方法
#也可以通过sed命令修改（推荐）
sed -i "s/server_host=localhost/server_host=centos01/g" /etc/cloudera-scm-agent/config.ini

配置JAVA_HOME(所有节点)

vi /etc/profile
#add for JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/
export PATH=PATH:PATH:PATH:JAVA_HOME/bin

3、启动CDH

3.1.启动Cloudera Manager(centos01)

#启动
service cloudera-scm-server start //systemctl start cloudera-scm-server
#设置开机自启？？？
chkconfig cloudera-scm-server on //systemctl enable cloudera-scm-server

3.2.启动Cloudera Agent（所有节点）

#启动
service cloudera-scm-agent start //systemctl start cloudera-scm-agent
#开机自启
//systemctl enable cloudera-scm-agent

可以访问http://192.168.222.10:7180 进行组件服务的安装操作了
用户名/密码: admin/admin

相关文章：
知乎|CDH6.3.2离线安装（附百度网盘CDH安装包）
尚硅谷|CDH6.3.2之安装与使用（一））
离线安装部署CDH6.3.2集群
CDH6.1.0离线安装

你可能感兴趣的:(cdh5hadoop)

  • CDH5 Hadoop集群完全离线安装说明 钟敏_1788
    CDH5Hadoop集群完全离线安装说明系统环境：CentOS6.564位用到的文件JDK1.8.0.111安装包方法一使用：jdk-8u111-linux-x64.rpm方法二使用：jdk-8u111-linux-x64.tar.gzJDK环境配置（所有节点）（先用命令：rpm-qa|grepjava查看系统是否已自带了openjdk，若系统自带了openjdk，需要先卸载掉，方法参照后面说明）
  • cdh hadoop 集群搭建 DU_XXRS
    CDH5Hadoop集群完全离线安装说明安装准备工具：1.操作系统centos72.Jdk环境：jdk包3.Jdbc连接包：jdbc连接包mysql-connector-java-5.1.39-bin.jar下载地址:http://dev.mysql.com/downloads/connector/j/4.cdh安装相关包（1）clouderamanager包下载地址：http://archive
  • js动画html标签（持续更新中） 843977358 htmljs动画mediaopacity
    1.jQuery 效果 - animate() 方法    改变 "div" 元素的高度：    $(".btn1").click(function(){      $("#box").animate({height:"300px
  • springMVC学习笔记 caoyong springMVC
    1、搭建开发环境    a>、添加jar文件，在ioc所需jar包的基础上添加spring-web.jar,spring-webmvc.jar    b>、在web.xml中配置前端控制器       <servlet>     &nbs
  • POI中设置Excel单元格格式 107x poistyle列宽合并单元格自动换行
    引用：http://apps.hi.baidu.com/share/detail/17249059 POI中可能会用到一些需要设置EXCEL单元格格式的操作小结： 先获取工作薄对象: HSSFWorkbook wb = new HSSFWorkbook(); HSSFSheet sheet = wb.createSheet(); HSSFCellStyle setBorder = wb.
  • jquery 获取A href 触发js方法的this参数 无效的情况 一炮送你回车库 jquery
    html如下：  <td class=\"bord-r-n bord-l-n c-333\"> <a class=\"table-icon edit\" onclick=\"editTrValues(this);\">修改</a> </td>"   j
  • md5 3213213333332132 MD5
    import java.security.MessageDigest; import java.security.NoSuchAlgorithmException; public class MDFive { public static void main(String[] args) { String md5Str = "cq
  • 完全卸载干净Oracle11g sophia天雪 orale数据库卸载干净清理注册表
    完全卸载干净Oracle11g A、存在OUI卸载工具的情况下：     第一步：停用所有Oracle相关的已启动的服务；     第二步：找到OUI卸载工具：在“开始”菜单中找到“oracle_OraDb11g_home”文件夹中         &
  • apache 的access.log 日志文件太大如何解决 darkranger apache
    CustomLog logs/access.log common  此写法导致日志数据一致自增变大。 直接注释上面的语法 #CustomLog logs/access.log common 增加： CustomLog "|bin/rotatelogs.exe -l logs/access-%Y-%m-d.log 
  • Hadoop单机模式环境搭建关键步骤 aijuans 分布式
            Hadoop环境需要sshd服务一直开启，故，在服务器上需要按照ssh服务，以Ubuntu Linux为例，按照ssh服务如下： sudo apt-get install ssh sudo apt-get install rsync 编辑HADOOP_HOME/conf/hadoop-env.sh文件，将JAVA_HOME设置为Java
  • PL/SQL DEVELOPER 使用的一些技巧 atongyeye javasql
    1 记住密码 这是个有争议的功能，因为记住密码会给带来数据安全的问题。 但假如是开发用的库，密码甚至可以和用户名相同，每次输入密码实在没什么意义，可以考虑让PLSQL Developer记住密码。 位置：Tools菜单－－Preferences－－Oracle－－Logon HIstory－－Store with password 2 特殊Copy 在SQL Window
  • PHP：在对象上动态添加一个新的方法 bardo 方法动态添加闭包
    有关在一个对象上动态添加方法，如果你来自Ruby语言或您熟悉这门语言，你已经知道它是什么...... Ruby提供给你一种方式来获得一个instancied对象，并给这个对象添加一个额外的方法。   好！不说Ruby了，让我们来谈谈PHP   PHP未提供一个“标准的方式”做这样的事情，这也是没有核心的一部分...   但无论如何，它并没有说我们不能做这样
  • ThreadLocal与线程安全 bijian1013 javajava多线程threadLocal
    首先来看一下线程安全问题产生的两个前提条件：  1.数据共享，多个线程访问同样的数据。  2.共享数据是可变的，多个线程对访问的共享数据作出了修改。    实例：         定义一个共享数据： public static int a = 0;        
  • Tomcat 架包冲突解决 征客丶 tomcatWeb
    环境： Tomcat 7.0.6 win7 x64 错误表象：【我的冲突的架包是：catalina.jar 与 tomcat-catalina-7.0.61.jar 冲突，不知道其他架包冲突时是不是也报这个错误】 严重: End event threw exception java.lang.NoSuchMethodException: org.apache.catalina.dep
  • 【Scala三】分析Spark源代码总结的Scala语法一 bit1129 scala
    Scala语法 1. classOf运算符 Scala中的classOf[T]是一个class对象，等价于Java的T.class,比如classOf[TextInputFormat]等价于TextInputFormat.class    2. 方法默认值 defaultMinPartitions就是一个默认值，类似C++的方法默认值    
  • java 线程池管理机制 BlueSkator java线程池管理机制
    编辑 Add Tools   jdk线程池   一、引言 第一：降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。第二：提高响应速度。当任务到达时，任务可以不需要等到线程创建就能立即执行。第三：提高线程的可管理性。线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。  
  • 关于hql中使用本地sql函数的问题（问-答） BreakingBad HQL存储函数
    转自于：http://www.iteye.com/problems/23775 问： 我在开发过程中，使用hql进行查询（mysql5）使用到了mysql自带的函数find_in_set()这个函数作为匹配字符串的来讲效率非常好，但是我直接把它写在hql语句里面（from ForumMemberInfo fm,ForumArea fa where find_in_set(fm.userId,f
  • 读《研磨设计模式》-代码笔记-迭代器模式-Iterator bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.Arrays; import java.util.List; /** * Iterator模式提供一种方法顺序访问一个聚合对象中各个元素，而又不暴露该对象内部表示 * * 个人觉得，为了不暴露该
  • 常用SQL chenjunt3 oraclesqlC++cC#
    --NC建库 CREATE TABLESPACE NNC_DATA01 DATAFILE 'E:\oracle\product\10.2.0\oradata\orcl\nnc_data01.dbf' SIZE 500M AUTOEXTEND ON NEXT 50M EXTENT MANAGEMENT LOCAL UNIFORM SIZE 256K ; CREATE TABLESPA
  • 数学是科学技术的语言 comsci 工作活动领域模型
      从小学到大学都在学习数学，从小学开始了解数字的概念和背诵九九表到大学学习复变函数和离散数学，看起来好像掌握了这些数学知识，但是在工作中却很少真正用到这些知识，为什么？    最近在研究一种开源软件-CARROT2的源代码的时候，又一次感觉到数学在计算机技术中的不可动摇的基础作用，CARROT2是一种用于自动语言分类（聚类）的工具性软件，用JAVA语言编写，它
  • Linux系统手动安装rzsz 软件包 daizj linuxszrz
    1、下载软件 rzsz-3.34.tar.gz。登录linux，用命令 wget http://freeware.sgi.com/source/rzsz/rzsz-3.48.tar.gz下载。 2、解压 tar zxvf  rzsz-3.34.tar.gz 3、安装  cd rzsz-3.34 ; make posix 。注意：这个软件安装与常规的GNU软件不
  • 读源码之:ArrayBlockingQueue dieslrae java
        ArrayBlockingQueue是concurrent包提供的一个线程安全的队列,由一个数组来保存队列元素.通过 takeIndex和 putIndex来分别记录出队列和入队列的下标,以保证在出队列时 不进行元素移动. //在出队列或者入队列的时候对takeIndex或者putIndex进行累加,如果已经到了数组末尾就又从0开始,保证数
  • C语言学习九枚举的定义和应用 dcj3sjt126com c
    枚举的定义 # include <stdio.h> enum WeekDay { MonDay, TuesDay, WednesDay, ThursDay, FriDay, SaturDay, SunDay }; int main(void) { //int day; //day定义成int类型不合适 enum WeekDay day = Wedne
  • Vagrant 三种网络配置详解 dcj3sjt126com vagrant
    Forwarded port Private network Public network Vagrant 中一共有三种网络配置，下面我们将会详解三种网络配置各自优缺点。 端口映射(Forwarded port)，顾名思义是指把宿主计算机的端口映射到虚拟机的某一个端口上，访问宿主计算机端口时，请求实际是被转发到虚拟机上指定端口的。Vagrantfile中设定语法为： c
  • 16.性能优化-完结 frank1234 性能优化
    性能调优是一个宏大的工程，需要从宏观架构(比如拆分，冗余，读写分离，集群，缓存等)， 软件设计（比如多线程并行化，选择合适的数据结构）， 数据库设计层面（合理的表设计，汇总表，索引，分区，拆分，冗余等） 以及微观（软件的配置，SQL语句的编写，操作系统配置等）根据软件的应用场景做综合的考虑和权衡，并经验实际测试验证才能达到最优。 性能水很深， 笔者经验尚浅 ，赶脚也就了解了点皮毛而已，我觉得
  • Word Search hcx2013 search
    Given a 2D board and a word, find if the word exists in the grid. The word can be constructed from letters of sequentially adjacent cell, where "adjacent" cells are those horizontally or ve
  • Spring4新特性——Web开发的增强 jinnianshilongnian springspring mvcspring4
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • CentOS安装配置tengine并设置开机启动 liuxingguome centos
    yum install gcc-c++  yum install pcre pcre-devel  yum install zlib zlib-devel  yum install openssl openssl-devel Ubuntu上可以这样安装 sudo aptitude install libdmalloc-dev libcurl4-opens
  • 第14章 工具函数（上） onestopweb 函数
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • Xelsius 2008 and SAP BW at a glance blueoxygen BOXelsius
    Xelsius提供了丰富多样的数据连接方式，其中为SAP BW专属提供的是BICS。那么Xelsius的各种连接的优缺点比较以及Xelsius是如何直接连接到BEx Query的呢？ 以下Wiki文章应该提供了全面的概览。   http://wiki.sdn.sap.com/wiki/display/BOBJ/Xcelsius+2008+and+SAP+NetWeaver+BW+Co
  • oracle表空间相关 tongsh6 oracle
    在oracle数据库中，一个用户对应一个表空间，当表空间不足时，可以采用增加表空间的数据文件容量，也可以增加数据文件，方法有如下几种： 1.给表空间增加数据文件    ALTER TABLESPACE "表空间的名字" ADD DATAFILE    '表空间的数据文件路径' SIZE 50M;   &nb
  • .Net framework4.0安装失败 yangjuanjava .netwindows
    上午的.net framework 4.0，各种失败，查了好多答案，各种不靠谱，最后终于找到答案了 和Windows Update有关系，给目录名重命名一下再次安装，即安装成功了！ 下载地址：http://www.microsoft.com/en-us/download/details.aspx?id=17113 方法： 1.运行cmd，输入net stop WuAuServ 2.点击开
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他