CDH5 第4页

hadoop大数据平台手动搭建(七)-hue

1.解压tar-zxvf/opt/hue-3.9.0-cdh5.8.0.tar.gz2.编译安装makeapssmakeinstall3.修改hue.ini#Hueconfigurationfile#=

从未停下脚步·2023-02-02 14:54

Hue - oozie错误\坑\解决办法

环境:CDH5.12.11.在Hue提交oozie运行shell脚本,报错!

虎不知·2023-02-01 14:43

大数据之CDH5.16.1集成Phoenix

CDH中预装的hbase是没有Phoenix的，需要我们手动来集成，下面我们就简单的记录一下笔者集成的流程。1下载parcelshttp://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/下载如下三个文件：CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcelCLAB

LearnBigData·2023-01-30 21:59

kylin的入门使用

数据库以及表并加载以下数据将以上两份文件上传到node03服务器的/kkb/install路径下，然后执行以下命令，创建hive数据库以及数据库表，并加载数据cd/kkb/install/hive-1.1.0-cdh5.14.2

我还不够强·2023-01-30 20:51

[ERR] Sorry, can't connect to node cdh5:6379

问题：[root@cdh1cluster1]#/opt/model/redis-3.2.10/src/redis-trib.rbcreate--replicas1172.17.10.152:6379172.17.10.153:6379172.17.10.154:6379172.17.10.153:6380172.17.10.154:6380172.17.10.152:6380>>>Creating

suolemen·2023-01-29 00:29

CDH-节点扩展

Grey____·2023-01-28 14:52

自编译Spark3.X，支持CDH 5.16.2(hadoop-2.6.0-cdh5.16.2)

参考文章Kyuubi实践|编译Spark3.1以适配CDH5并集成Kyuubi-技术圈(proginn.com)https://jishuin.proginn.com/p/763bfbd67cf6https

四木の君·2022-12-15 12:12

使用spark源码脚本编译CDH版本spark

需求描述个人开发环境中大数据所有软件版本都是基于CDH5.15.1版本安装，但是CDH版本spark还停留在1.x版本，并且CDH版本的spark不支持sparkSQL的功能。

weixin_44641024·2022-12-15 11:06

CDH6.3.2（cdh5适用）集成自制Kyuubi Parcel（自定义parcel部署到CM）

CDH6.3.2（cdh5适用）集成自制KyuubiParcel（自定义parcel部署到CM）前言参考文章一、部署前准备1.maven2.cm_ext-master二、环境安装1.maven环境2.上传并解压文件

佑白4399·2022-12-15 11:06

exists hive中如何使用_0644-5.16.1-如何在CDH5中使用Spark2.4 Thrift

1.文档编写目的Fayson在前面的文章中介绍过什么是SparkThrift，SparkThrift的缺陷，以及SparkThrift在CDH5中的使用情况，参考《0643-SparkSQLThrift

weixin_39902545·2022-12-15 11:33

Spark-3.1.2编译适应 CDH-5.16.2

Spark-3.1.2编译适应CDH-5.16.2这是仓库地址：gitee3.1.2-cdh5.16.2，下载完成后直接运行build-run.sh即可编译教程pom.xml配置修改修改Spark根目录下的

ZackYoungH·2022-12-15 11:22

CDH5适配spark3.0集成kyuubi详细教程

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档CDH5适配spark3.0集成kyuubi详细教程前言参考文章一、编译环境准备二、环境安装1.maven环境（Java和Scala环境这里就不说了

佑白4399·2022-12-15 11:33

CentOS-7中Hive的安装教程

安装环境：CentOS-7、JDK1.8、Hadoop2.6Hive版本：hive-1.1.0-cdh5.14.2资源路径：百度网盘请输入提取码提取码：zzzz1、将软件安装包移动至/opt目录下，这里我用的是

笑面天下·2022-12-13 13:35

Flume监听上传Hive日志文件到HDFS-02

kxj19980524·2022-12-11 11:20

Hbase的安装及配置

hbase二、修改系统配置三、修改hbase-env.sh四、修改hbase-site.xml五、启动hbase一、安装hbase将Hbase安装包拖入虚拟机输入：tar-zxvfhbase-1.2.0-cdh5.14.2

youzi-qiu7·2022-12-07 09:48

HBASE的安装与配置的步骤详解

以及配置hbase-site.xml文件：hbase.tmp.dir/opt/cdh5.7.6/hbase-1.2.0-cdh5

xiaoyaGrace·2022-12-07 09:18

Hbase 的安装与配置

需要安装zookeeper,单节点hbase集成了单zk,故一个机器不需要再安装#:先把解压,记住路径.1.添加环境变量HBASE_HOME=/home/candle/module/hbase-1.2.0-cdh5.15.0PATH

HJX147258·2022-12-07 08:40

hadoop2.6.0（单节点）下Sqoop-1.4.6安装与配置（数据读取涉及hadoop、hbase和hive）

下载Sqoophttp://sqoop.apache.org/或http://archive-primary.cloudera.com/cdh5/cdh/5/（这个就是版本已经对应好了，不需去弄版本兼容问题了

weixin_33921089·2022-12-05 17:03

java导出hive数据_Hive中数据的加载和导出

apache的hive版本现在应该是0.13.0，而我使用的hadoop版本是CDH5.0.1，其对应的hive版本是0.12.0

美业云营销·2022-11-29 16:28

hbase 查询固定条数_HBase统计表行数(RowCount)的四种方法

下面来研究下吧~测试集群：HBase1.2.0-CDH5.13.0四台服务器注：以下4种方法效率依次提高一、hbase-shell的count命令这是最简单直接的操作，但是执行效率非常

weixin_39603908·2022-11-29 16:56

count hbase java_HBase统计表行数(RowCount)的四种方法_Abysscarry的博客-CSDN博客

下面来研究下吧~测试集群：HBase1.2.0-CDH5.13.0四台服务器注：以下4种方法效率依次提高一、hbase-shell的count命令这是最简单直接的操作，但是执行效率非常

华铁卢·2022-11-29 16:54

Impala和Hive集成Sentry

本文主要记录CDH5.2Hadoop集群中配置Impala和Hive集成Sentry的过程，包括Sentry的安装、配置以及和Impala、Hive集成后的测试。

Junjie_M·2022-11-29 16:04

idea 中 Maven下载cdh依赖失败等问题

com.spring4allspring-boot-starter-hbase1.0.0.RELEASE但是报了一堆错Cannotresolveorg.apache.hbase:hbase-annotations:1.0.0-cdh5.4.4Cannotresolveorg.apache

不减一百斤不改名·2022-11-28 13:15

单细胞数据分群的几种方法

这个图是通过Seurat标准流程降维后得到的muscle组织分群图然后查阅文章得到muscle组织不同细胞的markergenegenes_VEC=c("Fabp4","Cdh5","Cav1")#vascularendothelialcellsgenes_FC

微光**·2022-11-21 15:00

大数据、云计算系统高级架构师课程学习路线图

xHDFSYARNMapReduceETL数据清洗HiveSqoopFlume/Oozieo大数据WEB工具HueHBaseStormStormScalaSparkSpark核心源码剖析CM5.3.x管理CDH5.3

tao_wei162·2022-11-20 13:55

spark-streaming pull方式拉取 flume-1.6.0-cdh5.10.1数据

注意：文章末尾提供apache-flume-1.6.0-cdh5.10.1-bin网盘资源连接1、flume配置文件flume-conf-spark-netcat-pull.propertiesa1.sources

sunnyboy_4·2022-11-20 09:45

[Hadoop] 使用Spark SQL来访问Hive里面的数据

hive-site.xml到spark的conf目录下[hadoop@hadoop000~]$cdapp/spark[hadoop@hadoop000spark]$cp~/app/hive-1.1.0-cdh5.7.0

普通网友·2022-10-17 11:20

大数据系列（未完，待续）

大数据架构大数据架构：搭建CDH5.5.1分布式集群环境Hive大数据：Hive常用参数调优SparkSpark基本架构及原理SparkContext原理解析SparkRDD、DataFrame原理及操作详解

weixin_30425949·2022-09-09 09:25

大数据运维实战第二十九课 Hadoop 跨集群数据迁移应用实践

我们的Hadoop大数据平台已经运行多年，使用的版本是CDH5.8，平台上的各个组件（HDFS、Yarn、Hive、Spark）也都是基于这个版本的，但随着对Hadoop平台的深入使用，部分组件版本过低

办公模板库素材蛙·2022-08-21 15:30

CDH5、CDH6、CDP下载地址

cdhparcels下载地址、cmRPM包下载地址：CDH5:https://archive.cloudera.com/p/cdh5/CM5:https://archive.cloudera.com/p

我在B站躺平~·2022-07-29 09:16

hadoop_hadoop-2.6.0-cdh5.7.0源码编译支持压缩以及伪分布式部署

1.需求与设计1.1需求直接使用的hadoop-2.6.0-cdh5.7.0.tar.gz包部署的hadoop集群不支持文件压缩，生产上是不可接受的，故需要将hadoop源码下载重新编译支持压缩1.1概要设计下载

whiteblacksheep·2022-07-21 07:30

Hadoop-2.6.0-cdh5.7.0编译支持压缩

Hadoop-2.6.0-cdh5.7.0编译支持压缩Hadoop-2.6.0-cdh5.7.0本身是没有进行压缩支持的,但是我们在生产环境进行操作的时候,必须要进行压缩处理.1.压缩的好处和坏处好处减少存储磁盘空间降低

丿灬逐风·2022-07-21 07:56

Hadoop（2.6.0-cdh5.15.1）配置lzo压缩

Hadoop经常用于处理大量的数据，如果期间的输出数据、中间数据能压缩存储，对系统的I/O性能会有提升。综合考虑压缩、解压速度、是否支持split，目前lzo是最好的选择。LZO（LZO是Lempel-Ziv-Oberhumer的缩写）是一种高压缩比和解压速度极快的编码，它的特点是解压缩速度非常快，无损压缩，压缩后的数据能准确还原，lzo是基于block分块的，允许数据被分解成chunk，能够被并

muyingmiao·2022-07-21 07:25

hadoop核心组件——HDFS系列讲解之HDFS其他功能介绍

回收站回收站配置两个参数启用回收站查看回收站通过javaAPI删除的数据，不会进入回收站，需要调用moveToTrash()才会进入回收站恢复回收站数据清空回收站多个集群之间的数据拷贝cd/export/servers/Hadoop-2.6.0-cdh5.14.0

LeeBoolean·2022-07-14 15:14

hadoop生态下hive安装过程

hive1下，上传apache-hive-2.1.0-bin.tar.gz和mysql-connector-java-5.1.40-bin.jar2.将/data/hive1目录下的hive-1.1.0-cdh5.4.5

不自律的自律·2022-07-11 09:56

Hadoop集群安装，mysql安装，hive安装

集群安装下载安装包安装包第一步：上传压缩包并解压将我们重新编译之后支持snappy压缩的hadoop包上传到第一台服务器并解压第一台机器执行以下命令cd/kkb/soft/tar-zxvfhadoop-2.6.0-cdh5.14.2

捡黄金的少年·2022-07-07 10:05

Hudi 集成 Hive

lib/hudi/packaging/hudi-hadoop-mr-bundle/target/hudi-hadoop-mr-bundle-0.11.0-SNAPSHOT.jar~/cloudera/cdh5.7

雾岛与鲸·2022-05-31 07:42

vivo 万台规模 HDFS 集群升级 HDFS 3.x 实践

文章介绍如何将CDH5.14.4HDFS2.6.0滚动升级到HDP-3.1.4.0-315HDFS3.1.1版本，是业界为数不多的从CDH集群滚动升级到HDP集群的案例。

vivo互联网技术·2022-05-16 09:00

SpringBoot工程通过jdbc连接Hive

首先确定当前hive的版本例如：我目前的版本就是hive-common-1.1.0-cdh5.16.2.jarSpringBoot工程通过jdbc连接Hive注意：引入的Hive-jdbc依赖需与Hive

·2022-05-11 20:59

Oozie安装

pan.baidu.com/s/1vzKDuPrWSgt7ECaUzE9iXw提取码:vmtv复制这段内容后打开百度网盘手机App，操作更方便哦1.解压Oozietar-zxvfoozie-4.1.0-cdh5.14.2

子清.·2022-04-24 15:25

kafka整合Flume

kafka整合Flume前提是已经安装完成flume1、添加启动flume时的配置文件#node01执行以下命令开发flume的配置文件cd/kkb/install/apache-flume-1.6.0-cdh5.14.2

·2022-04-06 14:05

hbase集群同步

由于当前阶段需要对生产集群(cdh5.14,)的hbase数据进行灾备（备份集群cdh6.1），开始调研hbase的集群同步方案。主要是两种场景：需要hbase的存量数据。有些业务已经积累了大量数据。

xuefly·2022-02-21 08:58

基于CDH5.13.2配置挂载HDFS文件系统

CDH5包含了FUSE(FilesysteminUserspace)接口到HDFS.hadoop-hdfs-fuse安装包让HDFS集群做为Linux的外部文件挂载到磁盘中.安装FUSE安装hadoop-hdfs-fuses

hbtszyt·2022-02-16 20:47

P04_zookeeper-cdh5集群搭建

安装ZooKeeper包[CDH下载地址]（http://archive.cloudera.com/cdh5/cdh/5/）1、将课程提供的zookeeper-3.4.5-cdh5.3.6.tar.gz

Albert陈凯·2022-02-15 10:12

HBase编译安装(单机版)

1、环境描述jdk：jdk1.8.0_45maven：3.3.9hadoop:2.6.0-cdh5.14.0其他：因为前期编译过hadoop等组件，所以配套的git、Protobuf、Findbugs等都已经安装过了

刘子栋·2022-02-12 14:36

HBase/Spark Guava依赖冲突解决方案

前言版本guava版本Spark2.2.012.0.1HBase1.0.0-cdh5.6.020.0由于guava的版本在16.0以后，不向后兼容，所以Spark程序中集成HBase是会报找不到依赖的方法错误

zfylin·2022-02-10 10:05

spark-submit解读

本文基于spark1.6-CDH5.7.2讨论当执行spark-submit时，会产出如下操作：1、设置HADOOP_HOME=/opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2

凡尔Issac·2022-02-08 22:56

CDH5.13.2集成phoenix测试

注意官方提供的没有sha文件，需要自己命令生成执行命令：sha1sumAPACHE_PHOENIX-4.14.0-cdh5.13.2.p0.3-el7.parcel>APACHE_PHOENIX-4.14.0

hbtszyt·2022-02-05 07:13

大数据开发之HDFS的API操作过程

clouderahttps://repository.cloudera.com/artifactory/cloudera-repos/org.apache.hadoophadoop-client2.6.0-mr1-cdh5.14.0org.apache.hadoophadoop-common2.6.0

·2021-10-28 11:08

编译支持 spark 读写 oss（cdh 5.x)

前言背景：使用spark读取hdfs文件写入到osshadoop:2.6.0-cdh5.15.1spark:2.4.1主要参考链接：https://blog.csdn.net/wankund...增加了注意点和坑点编译

·2021-07-27 19:46

推荐频道

CDH5