cdh

大数据学习：Hive安装部署

请大家保持统一使用hadoop普通用户操作1.1先决条件搭建好三节点Hadoop集群；node03上先安装好MySQL服务；1.2准备安装包下载hive的安装包http://archive.cloudera.com/cdh5
zui初的梦想·2023-08-31 20:34

100.如何用OpenLDAP的用户进行Sentry授权

100.1演示环境介绍OpenLDAP：2.4.44CM和CDH版本：5.13.1OS为Redhat：7.3已启用KerberosOpenLDAP服务和CDH各个服务已安装和集成100.2操作演示1.OpenLDAP
大勇任卷舒·2023-08-31 19:00

git入门

spm_id_from=333.337.search-card.all.click&vd_source=e7d12c9f66ab8294c87125a95510dac9git实操创建本地文件夹Hello-MommycdHello-Mommy
漂流山庄开业啦·2023-08-31 12:08

TLS协议

基于ECDHE密钥交换算法的TLS握手过程？基于RSA密钥交换算法的TLS握手过程？基于RSA的握手和基于ECDHE的握手有什么区别？什么是前向保密？什么是TLS协议？
Double 卓·2023-08-31 01:51

ECDH secp256k1 集成

在Android原生api是不支持secp256k1算法的，所以要先集成以下库：implementation'com.madgag.spongycastle:core:1.58.0.0'compile'com.madgag.spongycastle:prov:1.54.0.0'compile'com.madgag.spongycastle:pkix:1.54.0.0'compile'com.mad
flee92·2023-08-30 09:22

Flink on yarn 不废话集群部署

文章目录Flinkonyarn集群部署前言先安装好yarn集群，在我们这个环境中使用的是CDH6.3，也就是基于hadoop3.0的大数据生态环境flink部署1.包下载2.将所下载的包放置/opt/flink
病妖·2023-08-30 00:42

CDH6.3.2集成安装flink on yarn服务（编译源码，制作parcel）（更新：flink1.12.2版本测试也可用）

目录一：环境准备二：下载安装包1.Flink-shaded包2.flink1.10.2源码包3.maven配置文件三：编译flink-shaded版本1.解压tar包2.解压文件后目录结构3.修改pom文件4.开始编译四：编译Flink1.10.2源码1.解压tar包2.执行编译3.等待编译成功4.打包编译好的文件五：制作parcel包1.下载git开源制作parcel包的项目2.修改配置文件fl
栗子_yangxw·2023-08-30 00:40

Flink on Yarn集群HA高可用部署 基于flink1.12 hadoop 3.0 CDH6.3.2

1.1概要介绍FlinkonYarn的HA高可用模式，首先依赖于Yarn自身的高可用机制（ResourceManager高可用），并通过Yarn对JobManager进行管理，当JobManager失效时，Yarn将重新启动JobManager。其次FlinkJob在恢复时，需要依赖Checkpoint进行恢复，而Checkpoint的快照依赖于远端的存储：HDFS，所以HDFS也必须是高可用，同
Mumunu-·2023-08-30 00:09

kerberos环境下parcel方式部署flink1.15.3 基于CDH6.3.2 Flink on Yarn

1.1FlinkonYarn的优势相对于Standalone模式，在Yarn模式下有以下几点好处：1.资源按需使用，提高集群的资源利用率；2.任务有优先级，根据优先级运行作业；3.基于Yarn调度系统，能够自动化地处理各个角色的Failover：JobManager进程和TaskManager进程都由YarnNodeManager监控；如果JobManager进程异常退出，则YarnResourc
Mumunu-·2023-08-30 00:09

修炼离线：一搭建CDH6.3.2

服务器天翼云：8核16g40g3M华为云：2核4g40g1M步骤查看公网ipcurlifconfig.me查看内存free-m防火墙查看防火墙状态systemctlstatusfirewalld永久关闭防火墙systemctldisablefirewalld查看时间data配置名称配置本机名称echonode04>/etc/hostnamevim/etc/sysconfig/network注释掉第
宇智波云·2023-08-28 20:52

Hikari 安装

gitclone--recursive-brelease_80https://gitee.com/huig86265/Hikari.gitHikari&&cdHikari&&gitsubmoduleupdate
yh8577·2023-08-28 18:47

离线yum源安装CDH5.15.0

准备工作默认服务器为centos7，jdk1.8可以参考这篇文章，到第8步，安装httpd服务之后，直接到第10步，下载依赖包。下载rpm文件及parcel包下载cloudera-manager.repo修改baseurl中cm版本为实际版本。[cloudera-manager]#PackagesforClouderaManager,Version5,onRedHatorCentOS6x86_64
南知唔知·2023-08-28 06:04

在线部署CDH

在线部署CDH本文主要记录了在线安装CDH的步骤，其中JDK和数据库按需安装。服务器系统为CentOS，不同系统命令可能会有所不同。在线安装的优势在于方便，操作简单，基本跟着步骤走下来问题不大。
QuoVadis_k·2023-08-28 04:37

mac 下编译hadoop源码

或者直接通过git去github拉取最新的源码:gitclonehttps://github.com/apache/hadoop#拉完代码后进入源码目录cdhadoop#通
疯狂的哈丘·2023-08-27 13:28

kali安装Hashpump（简单无比）

sudoapt-getupdatesudoapt-getinstalllibssl-dev克隆Hashpump仓库gitclonehttps://github.com/bwall/HashPump.git进入HashPump目录cdHashPump
小蜗牛狂飙记·2023-08-26 19:37

hive3.1.4源码编译兼容spark3.0.0 hive on spark hadoop3.x修改源码依赖 步骤详细

hive编译自从CDH宣布收费之后，公司决定使用开源的组件，对现有的大数据集群进行替换。
薛定谔的猫不吃猫粮·2023-08-26 09:49

架构扩展haproxy

tar-xvfhaproxy-2.6.6.tar.gzcdhaproxy-2.6.6makeTARGET=linux31#centos7.x是linux31、centos6.x是linux26sudomakeinst
努力买大G·2023-08-25 22:18

Spark Rest API 使用

我们使用的是CDH，使用spark.ui.port查看没有找到该配置image.png搜索port，找到如下几个端口，看着也就18088比较像image.png使用如下命令访问curlhttp://xxx.xxx.xxx.xxx
晨磊的微博·2023-08-25 21:16

深度理解：TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256

转载自:拓扑梅尔Topomel因为Chorme浏览器的一些提示，我研究了一下Windows下的Ciphersuite，特别是Chorme浏览器非常青睐的AES_128_GCM_SHA256加密算法。首先我们来看看Windows下一个Ciphersuite的组成结构，如下图所示：需要关注的是上图中的Signature部分，如果你的SSL证书是RSA的，则就可以支持RSA的签名算法，如果是ECDSA的
sakaizhu·2023-08-25 09:46

【附安装】R语言4.3.0安装教程

77.74M安装环境：Win7及以上版本，64位操作系统硬件要求：[email protected]内存@4G(或更高）下载通道①百度网盘丨64位下载链接：https://pan.baidu.com/s/1RuQKDCdhNrTTPVmkFmRBkQ
程序员晓晓·2023-08-24 20:41

CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 )

CDH简介及CDH部署、原理和使用介绍(版本6.3.1)第一章：CDH简介CDH概念CDH是Cloudera的100％开源平台发行版，包括ApacheHadoop，专为满足企业需求而构建。
王亭_666·2023-08-24 19:44

大数据------Kylin单机集成CDH安装（详细教程）

https://www.acfun.cn/a/ac10294589（免费教程）ApacheKylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力（可以把Kylin定义为OLAPonHadoop）。ApacheKylin于2015年11月正式毕业成为Apache基金会(ASF)顶级项目，是第一个由中国团队完整贡献到Apache的顶级项目。ApacheKy
ItStar·2023-08-24 12:26

大数据之 Spark 安装（macOS Mojave）

本教程采用CDH版，以避免版本依赖冲突导致错误，本教程同样适用于Linux（推荐CentOS）;hadoop版本：hadoop-2.6.0-cdh5.9.3.tar.gzSpark版本：spark-1.6.0
etrols·2023-08-24 10:31

CDH集群离线配置python3环境，并安装pyhive、impyla、pyspark

因数据安全，数据无法大批量导出，需在集群内进行分析建模，但CDH集群未安装python3环境，需在无网情况下离线配置python3环境及一系列第三方库。
yunpeng.zhou·2023-08-23 06:55

CDH重启cloudera-scm-agent报错：No socket could be created — ((‘127.0.0.1’, 9001): [Errno 98] Address alre

CDH集群重启cloudera-scm-agent，发现重启失败，查看日志如下：[21/Jul/202319:49:10+0000]11006HTTPServerThread-2_cploggingERROR
linweidong·2023-08-23 04:42

hibench 对CDH5.13.1进行基准测试（测试项目hadoop\spark\)HDFS作HA高可靠性

使用CDH5.13.1部署了HADOOP集群之后，需要进行基准性能测试。一、hibench安装1.安装位置要求。因为是全量安装，其中有SPARK的测试（SPARK2.0）。
weixin_30262255·2023-08-23 00:44

人群圈选效率提升 30 倍，云积天赫基于 Apache Doris 构建统一数仓的实践

导读：随着业务量快速增长，云积天赫对数据的实时性及灵活性提出更高要求，早期基于CDH的大数据平台已无法满足当前难度以及复杂度较高的业务需求，因此云积天赫引进ApacheDoris在部分业务中使用，并在使用过程中逐渐发掘出
·2023-08-22 15:47

部署HAproxy的TCP代理模式

haproxy-1.8.0.zip，下载页面https://github.com/haproxy/haproxy/tree/v1.8.02、安装部署haproxyunziphaproxy-1.8.0.zipcdhaproxy
泡泡白菜·2023-08-22 13:13

Tez 0.9.1基于CDH 6.1.x安装部署

一、文档目的近期在CDH6.1.x中部署Tez0.9.1，踩到很多坑，主要还是CDH集群版本较高，导致所用教程和实际部署不一致（自己挖的坑），希望给大家一个参考。
宅宅屋·2023-08-22 10:02

Python随机密码生成。编写程序，在26个字母大小写和10个数字随机生成10个8位密码。

样例：类似AB12cdHi的十组8位密码。
爱吃泡芙的小白白·2023-08-22 08:28

CDH集群离线部署(CM6.3.1 + CDH6.3.2 + CentOS7)

1.1原生Hadoop的问题版本管理过于混乱部署过程较为繁琐,升级难度较大兼容性差安全性低1.2CDH和CM(ClouderaManager)CDH(Cloudera’sDistributionIncludingApacheHadoop
小宇0926·2023-08-22 04:50

HBase探索篇 _ ZGC和G1在HBase集群之中的GC性能对比

在前几篇文章中，我为大家分享了使用JDK15编译HBase（和CDHHBase）的踩坑记录和ZGC在HBase集群中的配置方法，有对ZGC感兴趣的小伙伴，也可以亲自动手尝试一下，体验体验这个来自未来的技术
大猿小猿向前冲·2023-08-22 01:31

使用CDH调整yarn的内存和CPU资源大小

1、登录CDH后选择YARN2、更改CPU在yarn配置页面，搜索在类别->资源管理中找到【容器虚拟CPU内核】或者直接搜索yarn.nodemanager.resource.cpu-vcores这里改的是单个服务器可以用的
马飞·2023-08-21 07:56

CDH初始化服务

1.设置集群名称image-202011220038036722.设置管理的主机image-202011220038509143.设置存储库image-20201122003948461image-202011220040467934.安装parcelimage-202011220041101995.检查网络和主机image-202011220041477336.选择服务根据自己的需求选择对应的服
QuoVadis_k·2023-08-21 00:21

windows 配置 Kerberos客户端访问CDH组件

0.背景想在window机器上访问内网集群的CDH组件(如solr的webui),由于集群配置了Kerberos验证,所以需要配置相关,否则打开webui会有401未授权错误1.流程1.1windows
mizuhokaga·2023-08-19 23:22

一张图告诉你为什么Hadoop要选第三方发行版

真的就是一张图哈哈哈哈BTW如果你在厂商选型的话我们可以愉快地交流一下~CDH和HDP虽然合并了但是它们原先的版本还是会存在很长一段时间的至于现在要不要用新的CDP，看企业自身的目标、预算、团队了~
ClouderaHadoop·2023-08-19 14:09

linux 安装hue

http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/Hue的版本：cdh5.3.6-hue-3.7.0->需要编译才能使用->联网pingwww.baidu.com
小赖同学啊·2023-08-19 05:49

cloudera-manager-agent-5

在配置cdh集群时候，以rpm包的方式安装cloudera-manager-agent-5....的时候一直报错无法安装，网上找了很多方法我自己的办法是：在后面加上"--nogpgcheck"参数，以强制安装
在朝阳寺树下·2023-08-19 02:31

Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2

一.环境描述spark提交job到yarn报错，业务代码比较简单，通过接口调用获取数据，将数据通过sparksql将数据写入hive中，尝试各种替换hadoop版本，最后拿下1.hadoop环境2.项目pom.xmlspark-submit\--nameGridCorrelationMain\--masteryarn\--deploy-modecluster\--executor-cores2\-
远方有海，小样不乖·2023-08-18 21:24

CDH遇到的坑

启动datanode报错，由于该主机之前安装过CDH，需要清空原有的datanode配置Failedtoaddstoragedirectory[DISK]file:/dfs/dnorg.apache.hadoop.hdfs.server.common.InconsistentFSStateException
行动家嘘嘘·2023-08-18 19:31

cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法

业务场景：FlinkOnYarn任务启动组件版本：CDH：6.3.2Flink：1.13.2Hadoop：3.0.0问题描述：在使用FLinkonYarn调度过程中，发现taskmanager总是分配在集中的几个节点上
日复一日伐树的熊哥·2023-08-18 17:15

Linux完全卸载某应用

背景：这两天安装cdh，重新温习了下linux的使用，关于卸载应用，特记录强制删除已安装程序及其关联：rpm-qa|greppython|xargsrpm-ev--allmatches--nodeps删除所有残余文件
安申·2023-08-18 16:58

CDH6.3配置安装实操

环境要求Redhat7.4安装CDH6.3。
MrGrant·2023-08-18 06:57

存算分离实践：构建轻量、云中立的大数据平台

计算资源冗余浪费、所依靠的CDH发行版技术栈复杂、部署运维困难及计算资源潮汐现象严重等问题，迫使多点启动架构升级的进程。同时，为满足B端客户多样化的需求，多点需要构建一个可以在多云环境下
Juicedata·2023-08-17 22:48

阿里云服务区ECS，申请免费的服务器之后，如何使用xshell 登陆，找不到匹配的host key 算法

问题当在阿里云免费领取服务器之后，使用xshell登陆不上，提示找不到匹配的hostkey算法或者找不到匹配的keyexchange算法咋解决2解决在在服务器端配置文件：/etc/ssh/sshd_config#在行尾增加",ecdh-sha2
一写代码就开心·2023-08-17 20:15

CDH Hadoop 3.0 使用OSS作为储存 2021-09-07

简介：CDH和CM(ClouderaManager)CDH(Cloudera’sDistribution,includingApacheHadoop)是众多Hadoop发行版本中的一种，由Cloudera
迷藏_·2023-08-17 16:41

使用FIFO的文件控制shell的线程数

/bin/bashdate+'%Y/%m/%d%H:%M:%S'HADOOP_CONF_DIR=/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-1.cdh5.7.0
飞天大漠·2023-08-17 12:17

Cloudera 管理Hadoop API 依赖

翻译：https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_hadoop_api_dependencies.html
金刚_30bf·2023-08-17 10:25

存算分离实践：构建轻量、云中立的大数据平台

计算资源冗余浪费、所依靠的CDH发行版技术栈复杂、部署运维困难及计算资源潮汐现象严重等问题，迫使多点启动架构升级的进程。同时，为满足B端客户多样化的需求，多点需要构建一个可以在多云环境下
·2023-08-16 18:28

CDH6.3.2搭建HIVE ON TEZ

参考https://blog.csdn.net/ly8951677/article/details/124152987----配置hive运行引擎在/etc/hive/conf/hive-site.xml中修改如下：hive.execution.enginemr–>tezhive.execution.engine设为tez或者运行代码的时候：sethive.execution.engine=tez
小亚文·2023-08-15 11:56
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他