CDH 第20页

CDH6.3.2集成Apache Atlas2.1.0

1环境准备1.1CDH6.3.2环境搭建参考文档如下ClouderaManager安装CDH6教程-（一）虚拟环境安装配置ClouderaManager安装CDH6教程-（二）搭建Cloudera和CDH6CM

CarsonBigData·2022-12-23 13:04

HTTPS协议

——验证域名5.HTTPS通信的大致流程6.TLS协议和SSL协议的区别7.TLS协议1)命名规范2)组成部分8.ECDHE四

fanren1122·2022-12-21 04:03

生产环境二进制部署高可用Kubernetes V1.20

集群的两种方式1.2环境准备1.3操作系统初始化配置（三台操作一致）二、部署Etcd集群2.1准备cfssl证书生成工具2.2生成Etcd证书2.2.1自签证书颁发机构（CA）2.2.2使用自签CA签发EtcdHTTPS

勇敢的打工人.·2022-12-19 13:16

端口号及作用

CDH端口说明7180ClouderaManager前端端口7182ClouderaManagerServer与Agent通讯端口8888Hue前端端口Hadoop端口说明9870HDFS前端端口8020NameNode

Kazi_1024·2022-12-19 09:10

大数据中hadoop中yarn的调度算法

CDH框架默认调度器是FairScheduler。不同的设置可以在yarn-default.xml文件中查看。1、先进先出调度器（FIFO）FIFO调度器（FirstInFirstO

独创之上·2022-12-18 22:47

ubuntu 运行scrapy 报错 AttributeError: module 'OpenSSL.SSL' has no attribute 'OP_SINGLE_ECDH_USE'

解决办法：执行命令sudoapt-getinstalllibssl-devpipinstallpyopenssl--upgrade

吕海洋·2022-12-18 14:18

基于CM管理的CDH集群集成Phoenix

基于CM管理的CDH集群集成Phoenix背景介绍：原有的CDH集群，以Hive+Hbase+Impala进行数据处理查询，Hbase而言语法难懂，不同于寻常的SQL，Impala而言速度查询速度太慢且无法进行记录的修改

百夜﹍悠ゼ·2022-12-17 10:57

自编译Spark3.X，支持CDH 5.16.2(hadoop-2.6.0-cdh5.16.2)

参考文章Kyuubi实践|编译Spark3.1以适配CDH5并集成Kyuubi-技术圈(proginn.com)https://jishuin.proginn.com/p/763bfbd67cf6https

四木の君·2022-12-15 12:12

编译适合CDH6.3.2的spark3.3.2

版本对应Spark版本3以上不再支持scala2.11环境：jdk:1.8.0_181maven:3.6.3scala2.12.0配置环境变量#jdkexport JAVA_HOME=/usr/java/jdk1.8.0_181-amd64export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/

东北偏西·2022-12-15 11:07

使用spark源码脚本编译CDH版本spark

需求描述个人开发环境中大数据所有软件版本都是基于CDH5.15.1版本安装，但是CDH版本spark还停留在1.x版本，并且CDH版本的spark不支持sparkSQL的功能。

weixin_44641024·2022-12-15 11:06

CDH6.3.2（cdh5适用）集成自制Kyuubi Parcel（自定义parcel部署到CM）

CDH6.3.2（cdh5适用）集成自制KyuubiParcel（自定义parcel部署到CM）前言参考文章一、部署前准备1.maven2.cm_ext-master二、环境安装1.maven环境2.上传并解压文件

佑白4399·2022-12-15 11:06

exists hive中如何使用_0644-5.16.1-如何在CDH5中使用Spark2.4 Thrift

1.文档编写目的Fayson在前面的文章中介绍过什么是SparkThrift，SparkThrift的缺陷，以及SparkThrift在CDH5中的使用情况，参考《0643-SparkSQLThrift

weixin_39902545·2022-12-15 11:33

CDH Parcel包制作流程详解

CDHParcel包制作流程详解背景介绍CDH可以很方便的添加一些大数据相关服务，但这仅限于cloudera公司提供。

诸葛余·2022-12-15 11:02

打包CDH6.3.2版本的pyspark到conda中进行日常开发

sunnyboy_4·2022-12-15 11:28

Kyuubi 实践 | Apache Kyuubi on Spark 在CDH上的深度实践

Kyuubi简介Kyuubi是网易有数的大数据开源项目，于2021年6月全票通过进入世界顶级开源基金会ApacheSoftwareFoundation孵化器。Kyuubi的命名源自中国神话《山海经》，意为“九尾狐”。狐会喷火，象征Spark；狐有九尾，类比多租户，在Spark上实现多租户是系统设计之初的主要目的。然后取了动漫《火影忍者》中角色九尾的罗马音['kju:bi:]，作为项目名称。Kyuu

大数据技术架构·2022-12-15 11:27

Spark-3.1.2编译适应 CDH-5.16.2

Spark-3.1.2编译适应CDH-5.16.2这是仓库地址：gitee3.1.2-cdh5.16.2，下载完成后直接运行build-run.sh即可编译教程pom.xml配置修改修改Spark根目录下的

ZackYoungH·2022-12-15 11:22

Kyuubi1.4.0集成spark3.2.0

集群模式部署三、Kyuubi问题四、参数解释五、KyuubiMetrics六、参考网址一、Kyuubi1.4.0集成spark3.2.0单机部署1、编译spark3.2.0基于hadoop3.0.0-cdh6.0.1

咖啡加冰不加糖~·2022-12-15 11:21

spark3.3.1 for CDH6.3.2 打包

spark3.3.1CDH打包因为CDH在6.3.2之后开始收费，而自带的spark版本太低，还阉割了spark-sql功能。

青冬·2022-12-15 11:51

CDH6.3.2集成spark-sql完整版本

/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz解压spark-4.0-bin-hadoop2.7.tgz到/opt/cloudera/parcels/CDH

奇科.zhang·2022-12-15 11:50

cdh3.6.2集成kylin3.0.2及简单使用

前提准备自行安装好cdh6.3.2集群一.集成★★注意版本兼容问题，楼主开始用的最新的4.X的版本，页面加载hive数据死活出不来，所以改用3.0.2cdh60的版本1.下载kylinhttps://archive.apache.org

52fighting·2022-12-15 11:49

Spark3.0.1 结合CDH6.1.0 编译打包

0.下载spark代码gitclonehttps://github.com/apache/spark.gitcdsparkgitcheckout-bv3.0.1_cdh6.1.0v3.0.1#新开一个分支

屋顶看飞机·2022-12-15 11:05

CDH5适配spark3.0集成kyuubi详细教程

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档CDH5适配spark3.0集成kyuubi详细教程前言参考文章一、编译环境准备二、环境安装1.maven环境（Java和Scala环境这里就不说了

佑白4399·2022-12-15 11:33

服务器编译spark3.3.1源码支持CDH6.3.2

1、一定要注意编译环境的配置mvn:3.6.3scala:2.12.17JDK:1.8spark:3.3.1服务器内存至少需要8G重点2、下载连接wgethttps://dlcdn.apache.org/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.zipwgethttps://downloads.lightbend.com/scala/2

sunnyboy_4·2022-12-15 11:32

Hadoop启动错误: log4j.properties is not found...core-site.xml not found的解决办法

描述：在禁用CDH集群的Kerberos认证后，进行服务功能验证,查看HDFS文件系统时出现core-site.xml找不到错误[root@utility~]#hadoopfs-ls/WARNING:log4j.propertiesisnotfound.HADOOP_CONF_DIRmaybeincomplete.Exceptioninthread"main"java.lang.RuntimeEx

jaysen1005·2022-12-15 10:22

CentOS-7中Hive的安装教程

安装环境：CentOS-7、JDK1.8、Hadoop2.6Hive版本：hive-1.1.0-cdh5.14.2资源路径：百度网盘请输入提取码提取码：zzzz1、将软件安装包移动至/opt目录下，这里我用的是

笑面天下·2022-12-13 13:35

TF模型tensorrt C++ API搭建部署

PS该文章主要参考了基于TensorRTC++API加速TF模型以及tensorrtx，记录face_landmarktf模型的tensorrt部署，具体代码参考https://github.com/ycdhqzhiai

yang_njupt·2022-12-12 04:22

Flume监听上传Hive日志文件到HDFS-02

kxj19980524·2022-12-11 11:20

ROS roslaunch启动节点 - 报错找不到节点

Sensorscatkin_make-DCATKIN_WHITELIST_PACKAGES=""sourcedevel/setup.bashroslaunchhardware_trigger_camcamera.launch报错：二、问题解决方法1：修改权限cdhardware_trig

他人是一面镜子，保持谦虚的态度·2022-12-10 11:57

【无标题】

gcc与makefile进行C程序编译一、使用gcc编译程序（1）编写程序1.打开Ubuntu系统下的终端2.新建文件夹helloworldmkdirhelloworld3.打开helloworld文件cdhelloworld4

GGbondping·2022-12-10 10:10

redis6.2（一）安装、配置、常用数据类型

yuminstallcentos-release-sclscl-utils-buildyuminstall-ydevtoolset-8-toolchainsclenabledevtoolset-8bash测试gcc版本[root@bigdata-cdh01bin

undo_try·2022-12-07 19:39

Hbase的安装及配置

hbase二、修改系统配置三、修改hbase-env.sh四、修改hbase-site.xml五、启动hbase一、安装hbase将Hbase安装包拖入虚拟机输入：tar-zxvfhbase-1.2.0-cdh5.14.2

youzi-qiu7·2022-12-07 09:48

HBASE的安装与配置的步骤详解

以及配置hbase-site.xml文件：hbase.tmp.dir/opt/cdh5.7.6/hbase-1.2.0-cdh5

xiaoyaGrace·2022-12-07 09:18

Hbase 的安装与配置

需要安装zookeeper,单节点hbase集成了单zk,故一个机器不需要再安装#:先把解压,记住路径.1.添加环境变量HBASE_HOME=/home/candle/module/hbase-1.2.0-cdh5.15.0PATH

HJX147258·2022-12-07 08:40

hadoop2.6.0（单节点）下Sqoop-1.4.6安装与配置（数据读取涉及hadoop、hbase和hive）

下载Sqoophttp://sqoop.apache.org/或http://archive-primary.cloudera.com/cdh5/cdh/5/（这个就是版本已经对应好了，不需去弄版本兼容问题了

weixin_33921089·2022-12-05 17:03

第4节 hive spark 查询hudi 数据环境cdh6.3.2

使用hive带where条件查询发生错误selectuid,fullnamefrommember_rowhereuid>=0anduid(MapTask.java:175)在源码中查询该类HoodieParquetRealtimeInputFormat是应该是在第3节中引入到hivelib下的hudi-hadoop-mr-bundle-0.9.0.jar尝试在hivequery中加入addjarh

第一次看海·2022-12-04 18:12

SSL/TLS学习-ECDHE

1、RSA算法缺陷上篇总结了TLS使用RSA握手，但是RSA秘钥协商算法的最大问题是不支持向前保密。因为客户端传递随机数（用于生成对称加密密钥的条件之一）给服务端时使用的是公钥加密的，服务端收到后，会使用私钥解密得到随机数。所以一旦服务端的私钥泄露了，过去被第三方截获的所有TLS通讯密文都会被破解。为了解决这一问题，于是就有了DH秘钥协商算法。2、DH算法DH算法的核心数学思想是离散对数是

晨曦艾米·2022-11-30 14:22

数仓架构流程二

第二章数仓分层与规范定义文章目录第二章数仓分层与规范定义数仓分层与规范定义一、数仓分层二、设计规范1公共规范1.1数据划分及命名空间约定1.2公共字段定义规范2设计规范ods层dim层dwd层dws层数仓分层与规范定义一、数仓分层现在数仓的技术选型主要有两种：一种是自建的CDH

环球小猪·2022-11-29 19:42

轻松完成Hadoop集群数据迁移

01PART前言在工作当中经常会遇到集群的升级，或者部署新集群，数据迁移的问题，那么本文就演示ApacheHadoop集群和CDHHadoop集群之间数据互相迁移。

weixin_49067219·2022-11-29 17:01

java导出hive数据_Hive中数据的加载和导出

apache的hive版本现在应该是0.13.0，而我使用的hadoop版本是CDH5.0.1，其对应的hive版本是0.12.0

美业云营销·2022-11-29 16:28

CDH6 配置LDAP，Kerberos，Sentry

CDH6配置LDAP，Kerberos，Sentry1.开启Sentry控制Hive，Hue，Impala权限仅用作个人笔记，还没有二次验证1.1在mysql中配置数据库[root@cdh1~]#mysql-uroot-p

途足·2022-11-29 16:57

hbase 查询固定条数_HBase统计表行数(RowCount)的四种方法

下面来研究下吧~测试集群：HBase1.2.0-CDH5.13.0四台服务器注：以下4种方法效率依次提高一、hbase-shell的count命令这是最简单直接的操作，但是执行效率非常

weixin_39603908·2022-11-29 16:56

hive不在同一台机 hue_【Impala篇】---Hue从初始到安装应用

基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点是CDH平台首选的PB级大数据实时查询分析引擎.一般公司选择使用CDH部署集群，可以考虑下Impala。

weixin_39557087·2022-11-29 16:26

cdh集成ldap

主要参考的服务的网址：经过测试，如果根据腾讯云中的这个文档中的指示，把hiveadmin当成是hive的超级用户的话，会出现sentry赋权有问题的情况（那个hue中的加号（添加role）出不来），所以后面出现hiveadmin用户的情况，这里后面都需要变成hive，就可以了03-ActiveDirectory的使用与验证：https://mp.weixin.qq.com/s?__biz=MzI4

夜空07·2022-11-29 16:55

hive+impala+hue+sentry+ldap整合

公司用的cdh版本为5.14，sentry集成的步骤很简单，参照官方文档就可以完成了：https://www.cloudera.com/documentation/enterprise/5-14-x/topics

weixin_33889245·2022-11-29 16:25

count hbase java_HBase统计表行数(RowCount)的四种方法_Abysscarry的博客-CSDN博客