cdh5 第14页

二十：CDH5.14离线安装kafka (含版本选择)

一：当安装好CDH的hadoop后，准备安装kafka,可是CDH上添加服务是这样的，没法直接添加，需要添加相应包才可以：ApacheKafkaispublish-subscribemessagingrethoughtasadistributedcommitlog.Beforeaddingthisservice,ensurethateithertheKafkaparcelisactivatedor

魏忠贵·2020-07-30 05:00

CDH 报错：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-11: ordinal not in ra...

1.在CDH集群启动Hue服务时，出现了错误，如下图：2.上图显示得知，是调用python文件(/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib

weixin_34324081·2020-07-30 03:28

CDH5.15安装

2019独角兽企业重金招聘Python工程师标准>>>CDH5.15安装指南1.集群规划CDH(Cloudera'sDistribution,includingApacheHadoop)，是Hadoop

weixin_34037515·2020-07-30 03:34

cdh5.7权限测试示例

本文旨在展示CDH基于Kerberos身份认证和基于Sentry的权限控制功能的测试示例。1.准备测试数据123456cat/tmp/events.csv10.1.2.3,US,android,createNote10.200.88.99,FR,windows,updateNote10.1.2.3,US,android,updateNote10.200.88.77,FR,ios,createNot

weixin_30278311·2020-07-30 02:50

[CDH5] Disable Kerberos

操作系统：CentOS7.3ClouderaManager:5.13.1CDH:5.13.1CDH5.13禁用Kerberos1.停止集群2.修改配置参数HDFShadoop.security.authentication

cindysz110·2020-07-30 02:23

CDH5(5.15.0)升级jdk1.7到1.8，并且将spark1.6升级到spark2.3

严格来说不是将spark1.6升级到spark2.3，而是安装一个新的spark2.3一、JDK1.7升级到JDK1.8由于之前CDH中安装了spark1.6，为了适配，我安装jdk1.7，但是在spark2.3中jdk1.7的支持已经被移除了，所以我们第一件事需要将jdk版本升级到jdk1.81、停掉所有节点的clouderamanager/opt/cm-5.15.0/etc/init.d/cl

蜗牛!Destiny·2020-07-30 01:22

阿里云搭建大数据平台（8）：flume安装部署和测试

一、flume安装1.解压缩tar-zxvfflume-ng-1.6.0-cdh5.15.0.tar.gz-C/opt/modules/2.修改名字mvapache-flume-1.6.0-cdh5.15.0

RayBreslin·2020-07-30 01:59

阿里云搭建大数据平台（6）：Hive和mysql安装和配置

一、环境1.CentOS7.42.hive-1.1.0-cdh5.15.03.mysql5.7二、Hive安装和配置1.解压：tar-zxvf/opt/softwares/hive-1.1.0-cdh5.15.0

RayBreslin·2020-07-30 01:27

CDH5启用Kerberos和添加Sentry服务

说明：该文档假设你已安装了完整功能的CDH5【参看文档CDH5部署】一、CDH5添加Kerberos【参考文档】http://www.cloudera.com/documentation/enterprise

田正林·2020-07-30 01:05

CDH5.3配置Kerberos+LDAP+Sentry记录

系统环境说明操作系统：Centos6.5CDH版本：5.3JDK版本：1.7操作用户：rootKerberos版本：1.10.3LDAP版本：2.4.40Sentry版本：1.4集群配置机器数量：5内存：64G硬盘：10TCPU核心数：24运行的服务：HDFS、Yarn、HBase、Hive、Sqoop2、Impala、Zookeeper、Hue、Sentry、Oozie、CM各服务主进程内存划分

xiaohei.info·2020-07-29 21:37

CDH集群启用kerberos认证及基于sentry的角色安全控制

Kerberos-给CDH集群添加Kerberos认证/CDH配置Sentry以及权限测试https://blog.csdn.net/qq_30982323/article/details/80704720为CDH5

lvtula·2020-07-29 20:11

CDH 离线安装Kafka

前面已经介绍过了离线部署CDH5.16.1企业真正离线部署CDH5.16.1准备工作：先选择好自己对应的CDK版本，然后下载好然后上传到cdh集群parcels安装文档cdk安装官方文档和下载跳转界面el7

冬瓜螺旋雪碧·2020-07-29 20:14

0641-5.16.1-如何禁用CDH5.16.1的Kerberos

Fayson的github：https://github.com/fayson/cdhproject推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f1文档编写目的Fayson在前面的文章介绍了如何为CDH集群启用Kerberos，在集群启用Kerberos后，会对现有环境的部分代码做改造，有些人觉得使用起来不方便，想取消Kerberos。本篇文章Fayson主要介绍如

Hadoop_SC·2020-07-29 15:07

在OpenStack（Mitaka版本）上通过Sahara部署Hadoop&Spark集群

Mitaka）上通过Sahara部署Hadoop&Spark集群1.准备工作1.1创建用于部署集群的项目和用户1.2准备ClouderaPlugin镜像1.3创建集群网络和云主机类型模板2.通过Sahara部署CDH5.5

天府云创·2020-07-29 15:55

CDH6.2.1安装Kafka出现的问题

前言之前用的CDH5.6.X版本，默认是没有Kafka的，刚刚搭建了一个新的集群，用的CDH6.2.1，自带了kafka不需要我们下载parcels包根据以往在CDH安装组件的经验，应该是非常easy的

SunnyRivers·2020-07-29 15:27

Hadoop学习笔记（一）安装Hadoop单机版

不开源、与社区版本有些许出入Hortonworks原装Hadoop、纯开源、支持tez企业级安全不开源其中CDH占市场使用率的60%-70%，所以本次学习打算使用CDH的版本Hadoop-2.6.0-cdh5.11.1

a1003873553·2020-07-29 04:22

CDH环境下安装Tez(Hive on Tez )

CDH环境下安装Tez一、安装环境1、Linux版本：CentOS6.52、Hadoop版本：CDH5.8.03、Hive版本：Hive-1.1.0-cdh5.8.04、JDK版本：JDK1.85、Maven

血色彼岸花_703d·2020-07-29 03:58

hadoop 编译版本(hadoop-2.6.0-cdh5.15.1)

编译前准备工作系统环境配置操作系统版本：CentOSLinuxrelease7.5.1804需要提前支持的类库：#安装gcc、gcc-c++yuminstallgccyuminstallglibc-headersyuminstallgcc-c++#安装cmakeyuminstallcmake#安装openssl-develyuminstallopenssl-devel#安装zlib-devel、n

cnheasy·2020-07-29 02:43

CDH5.9.0集群部署与搭建

最近新购了一台工作站，急切的想试一下手，就搭建个CDH集群吧，练练手，顺便了解一下最新版的CDH长成什么样子了……工作站的配置：ThinkpadP50，Intel（R）[email protected];内存48G;显卡4G……1下载CDH各种RPM包1.1下载cloudera-manager-installer.bin这个地址可以选择最新的CM的安装文件进行下载，此处，我选

易悠·2020-07-29 01:46

apache hadoop-2.6.0-CDH5.4.1 安装笔记

apachehadoop-2.6.0-CDH5.4.1安装1.安装OracleJava8sudoadd-apt-repositoryppa:webupd8team/javasudoapt-getupdatesudoapt-getinstalloracle-java8

yew1eb·2020-07-29 01:48

zookeeper、hive的安装以及hive的简单应用

一、zookeeper以及hive的安装1、首先下载安装包（我这的是zookeeper-3.4.5-cdh5.14.2.tar.gz和hive-1.1.0-cdh5.14.2.tar.gz安装包）2、将其上传到

wfdsj·2020-07-28 23:45

大数据hadoop 集群搭建（三个节点）

hadoop集群的搭建分为两部分前提要有---》1.准备编译好的hadoop-2.6.0-cdh5.14.0和jdk-8u144-linux-642.在linux的根目录下创建export目录，目录下分别创建两个同等级目录

牛犊6·2020-07-28 23:16

腾讯云服务器搭建hadoop-2.6.0-cdh5.6.0完全分布式环境

搭建思路：购买服务器，下载上传软件，用户环境配置，系统环境配置，hadoop配置，格式化HDFS，启动hadoop并验证一、购买服务器1、由于经济有限，购买的是腾讯云的学生机，且暂时只买了两台，第三台等基本配置完毕后作为结点扩展加进去2、服务器基本配置——系统：CentOS-7.3，CPU：1核，内存：2G，硬盘：50G（内存太小是隐患）二、下载上传软件1、hadoop是用java实现的，所以需要

尘埃落定0_0·2020-07-28 21:56

运行jar包所需要的环境依赖

```hadoop_HOME="/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/bin/..

weixin_34268843·2020-07-28 19:50

cdh版本的hadoop安装及配置(伪分布式模式) MapReduce配置 yarn配置

安装hadoop需要jdk依赖，我这里是用jdk8jdk版本：jdk1.8.0_151hadoop版本：hadoop-2.5.0-cdh5.3.6hadoop下载地址：链接：https://pan.baidu.com

weixin_30695195·2020-07-28 16:00

hadoop-2.3.0-cdh5.1.0伪分布安装（基于centos）

jdk卸载掉，重新安装下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html软件版本：hadoop-2.3.0-cdh5.1.0

weixin_30629977·2020-07-28 16:17

Spark 学习入门教程

一、环境准备测试环境使用的cdh提供的quickstartvmhadoop版本：2.5.0-cdh5.2.0spark版本：1.1.0二、HelloSpark将/usr/lib/spark/examples

wankunde·2020-07-28 15:58

Spark 3.0 测试与使用

我们平台使用的CDH5.13,对应的版本分别为hadoop-2.6.0,hive-1.1.0。所以尝试自己去编译Spark3.0来使用。

wankunde·2020-07-28 15:26

唯品会 1000+ 台 Hadoop 集群优化经验

我们发现Hadoop集群升级（2.5.0-cdh5.3.2-->2.6.0-cdh5.13.1）以后，NameNodeRPC（remoteprocedurecall）queuetime在持续的在间隔一周左右性能恶化

过往记忆·2020-07-28 15:44

客户环境没办法查看Spark UI页面，怎么办？让我们来使用Spark REST API查看作业信息吧！

适用于查找运行中应用）2.查看方法总结求赞、求转发、求粉URL参数清单场景通过跳转机才能访问到spark集群的Linux机器，自己的机器访问不到集群；想定制属于自己公司的spark监控界面环境软件版本CDH5.13Spark1.6

ldx2·2020-07-28 14:28

hadoop-hdfs 伪分布式搭建

首先要确保jdk配置成功了(如果不会可以参考这篇文章http://www.haha174.top/article/details/259178)然后下载hadoop我使用的是hadoop-2.6.0-cdh5.7.0

CXHC·2020-07-28 14:32

CDH5.7.1 Hadoop2.6 HDFS Encryption KMS 实战之功能测试

CDHKMS测试0、用户说明[x]keyAdminUser用户是keyadminuser[x]hdfs用户是hdfssuperuser[x]user_a、user_b是HDFS普通用户1、创建keytab按照下面的办法创建keytabaddprinc-randkeyouruixst-norandkey-kourui.keytabourui2、到keyadmin用户创建给user_a的keykini

笛香幽谷（ouyangshourui）·2020-07-28 13:02

sqoop 报错：Could not load db driver class: com.microsoft.sqlserver.jdbc.SQLServerDriver

一、问题描述将sqlserver的数据导入hive，结果报错：Warning:/opt/cloudera/parcels/CDH-5.15.2-1.cdh5.15.2.p0.3/bin/..

RayBreslin·2020-07-28 13:40

SPARK 源码分析技术分享(带视频)

SPARK源码分析技术分享(带视频)【本站点正在持续更新中......】SPARK1.6.0-cdh5.15.0Hadoop2.6.0-cdh5.15.0spark-scala-maven微信(技术交流

thinktotings·2020-07-28 12:20

运行第一个MapReduce程序

本文的环境基于CDH5的搭建https://blog.csdn.net/songzehao/article/details/91044032大数据环境CDH5已搭建成功，自带example也已跑通，总不能老跑人家的

DayDayUp丶·2020-07-28 11:28

Hbase复制(Replication )

Hbase复制使用手册1Hbase复制简介通过hbase的replication功能实现集群间的相互复制.2环境这里hbase版本为hbase-0.98.6-cdh5.3.33配置各个集群里配置hbase-site.xml

SunShine2025·2020-07-28 10:42

(2) hadoop 配置部署启动HDFS及本地模式运行MapReduce案例（使用HDFS上数据）

(1)hdfs的配置/opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml添加：fs.defaultFShdfs://hadoop1:8020hadoop.tmp.dir

grace.liming·2020-07-28 07:20

maven编译spark2.3.2源码

软件版本spark2.3.2scala2.11.8jdk1.8+maven3.3.9hadoop-2.6.0-cdh5.7.0编译步骤：1、先安装配置jdk，scala，maven（略）2、到spark

夏至1208·2020-07-28 06:23

hive数据导入ElasticSearch坑记录

环境：CDH5.16.2（hive1.1.0）、ES6.7.21、关于拼音分词org.elasticsearch.hadoop.rest.EsHadoopRemoteException:illegal_argument_exception

且插梅花醉平阳·2020-07-28 06:05

UDF函数开发流程

首先编写UDF继承：org.apache.hadoop.hive.ql.exec.UDF;需要导入hive-exec-0.13.1-cdh5.3.6.jar包及hadoop-common-2.5.0-cdh5.3.6

qiubaifeng·2020-07-28 05:15

spark on yarn的理解

最近在安装调测CDH5.5,发现官方文档明确不支持spark-sql（需要自己去编译）和sparkR。

富兰克林008·2020-07-28 04:42

【大数据----Spark】spark源码编译

本文采用cdh版本spark-1.6.0-cdh5.12.01.源码包下载2.进入根目录编译，编译的方式有2种mavenmvncleanpackage\-DskipTests-Phadoop-2.6\-

Sunny3096·2020-07-28 04:34

京东云上，centos6.9环境下编译 hadoop-2.6.0-cdh5.15.1，以及遇到的坑

为什么要编译Hadoop官方提供的Hadoopbin包是不支持一些类似snappy，zlib等本地库功能，所以我们需要重新编译使Hadoop支持这些功能1.编译前的准备在hadoop-2.6.0-cdh5.15.1

muyingmiao·2020-07-28 04:19

hadoop snapshot 备份恢复

通过snapshot实现hdfs上文件的备份api地址请见http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5.2.0/hadoop-project-dist

糖糖_·2020-07-28 02:08

【解决】CDH5运行MapReduce的乱码

[Author]:kwu【解决】CDH5运行MapReduce的乱码，在集群中运行mapreduce后，处理的结果就为乱码了。

kwu_ganymede·2020-07-28 01:17

hadoop大数据平台手动搭建-hue

1.解压tar-zxvf/opt/hue-3.9.0-cdh5.8.0.tar.gz2.编译安装makeapssmakeinstall3.修改hue.ini#Hueconfigurationfile#=

iteye_12854·2020-07-28 00:15

Ranger 0.5.4-SNAPSHOT CDH 5.8.4 HDFS Plugin Hive Plugin

组件版本信息：Hadoop版本：cdh-5.8.4Hive版本:1.1.0-cdh5.8.4Ranger版本:ranger-0.5.4-SNAPSHOTSolr版本:5.2.1Jdk版本：1.7.80前提条件

huangyq5240·2020-07-27 23:40

升级hbase-client报错 java.lang.NoClassDefFoundError: org/apache/commons/collections/map/UnmodifiableMap

最近把一个操作hbase的项目hbase-client从0.98升级到1.2.0-cdh5.9.0，启动项目出现以下错误：Causedby:java.lang.NoClassDefFoundError:

艾瑞儿·2020-07-27 22:25

CDH5.7.0离线安装

系统环境：CentOS6.5内存：主节点4G及以上，其他节点2G及以上准备工作以下步骤要在所有节点上执行1.修改hostnamevi/etc/sysconfig/network2.关闭SELinuxvi/etc/selinux/config#修改SELinux=disabled3.关闭防火墙sudoserviceiptablesstopsudochkconfigiptablesoffsudochk

发条香蕉·2020-07-27 21:22

hadoop-mapreduce的官方示例的测试执行方法

1.根据给出的精度参数计算pi：hadoopjar/export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-examples

dengmanzhou3124·2020-07-27 21:55

推荐频道

cdh5