CDH6.3.2

CDH6.3.2大数据集群生产环境安装(八)之各组件参数调优，yarn参数调优，hdfs参数调优等

yarn资源调优主要涉及到了ResourceManager、NodeManager这几个概念，相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念，现在可以先把它理解为运行map/reducetask的容器28.1.内存堆栈等配置原值调优值
日复一日伐树的熊哥·2023-04-14 17:44

spark3.3.1通过hbase-connectors连接CDH6.3.2自带hbase

补充编译hbase-connectors-master源码下载wgethttps://github.com/apache/hbase-connectorsmvn--settings/Users/admin/Documents/softwares/repository-zi/settings-aliyun.xml-Dspark.version=3.3.1-Dscala.version=2.12.10
sunnyboy_4·2023-04-13 19:47

CDH6.3.2引入debezium-connector-mysql-1.9.7监听mysql事件

1、首先说明一下为啥选用debezium，它能够根据事务的提交顺序向外推送数据，这一点非常重要。再有一个结合kafka集群能够保证高可用，对于熟悉java语言的朋友后面一篇博文会介绍怎样编写插件将事件自定义路由到你想要的主题甚至分区中。提高按顺序消费事件的并发能力。如果觉得好，请关注一下，后续将推出编写插件支持按照表名hash取模将事件分配到不同的主题或者分区当中支持多线程顺序并发消费,实现表与表
sunnyboy_4·2023-04-13 19:47

CDH6.3.2版本pyspark-sql通过hive访问hbase

1、添加所需要包环境cp/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/lib/hive-hbase-handler-2.1.1-cdh6.3.2.jar/opt/cloudera/parcels/CDH/lib/spark/jars/cp/opt/cloudera/parcels/CDH/lib/hbase/lib/h
sunnyboy_4·2023-04-13 19:17

CDH6.3.2集群环境部署Flink-1.15.0

Flink1.15.0安装部署1.安装准备1.1环境介绍本文档部署环境：CDH6.3.2集群、jdk1.81.2Flink安装包CDH集群已经安装Flink1.15.0安装包Flinkonyarn需要的
甘末·2023-04-03 18:00

CDH6.3.2防止被攻击,打补丁(未授权漏洞)

参考：CDH6.3.2Hadoop默认配置下存在未授权漏洞，禁止匿名访问-民宿-博客园这段时间公司的运维大佬扫描安全漏洞的时候，发现有漏洞会被攻击，原因是没有新增用户校验，允许匿名去访问。这样的话。可以操作HDFS和Yarn上任何的资源和数据。所以对集群进行打补丁。访问HDFS和Yarn加一个身份认证。1、在NameNode节点和RM节点新增一个秘钥文件。把用户后缀写进去2、在CDH里配置core
黑眼圈@~@·2023-03-30 02:27

【Apache Phoenix简介、存储结构、基本操作、安装】

ApachePhoenix简介、存储结构、基本操作、安装（附安装包）1.简介、概述1.1phoenix特点1.2存储结构1.3Phoenix与Hbase之间的表映射关系1.4Phoenix数据类型2.基于CDH6.3.2
yuhh_·2023-03-19 11:45

CDH6.3.2整合DolphinScheduler3.0.0

注意事项zookeeper版本兼容要查看dolphinscheduler的libs目录下zookeeper的jar包CDH6.3.2DolphinScheduler3.0.0使用CDH或其他大数据平台,注意保持用户组一致,CHD使用的是supergroup用户组前置条件默认CDH以正确安装并启动至少官方要求的基础环境以正确安装并配置,点击跳转使用mysql需要驱动包mysql-connector-
Zakza·2023-03-15 02:16

单机版本CDH6.3.2搭建教程

单机版本CDH6.3.2搭建教程已正常安装centos7虚拟机安装包链接：https://pan.baidu.com/s/1ZC7U1pu_5KApQn8JOz1aPQ提取码：ksic文档链接：https
qq_37401291·2023-01-19 15:21

CDH6.3.2集成Apache Atlas2.1.0

环境搭建参考文档如下ClouderaManager安装CDH6教程-（一）虚拟环境安装配置ClouderaManager安装CDH6教程-（二）搭建Cloudera和CDH6CM和CDH在安装的时候遇到的问题CDH6.3.2
CarsonBigData·2022-12-23 13:04

编译适合CDH6.3.2的spark3.3.2

版本对应Spark版本3以上不再支持scala2.11环境：jdk:1.8.0_181maven:3.6.3scala2.12.0配置环境变量#jdkexport JAVA_HOME=/usr/java/jdk1.8.0_181-amd64export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/
东北偏西·2022-12-15 11:07

CDH6.3.2（cdh5适用）集成自制Kyuubi Parcel（自定义parcel部署到CM）

CDH6.3.2（cdh5适用）集成自制KyuubiParcel（自定义parcel部署到CM）前言参考文章一、部署前准备1.maven2.cm_ext-master二、环境安装1.maven环境2.上传并解压文件
佑白4399·2022-12-15 11:06

打包CDH6.3.2版本的pyspark到conda中进行日常开发

注意关于CDH6.3.2源码打包相关博客请看以下链接https://editor.csdn.net/md/?
sunnyboy_4·2022-12-15 11:28

spark3.3.1 for CDH6.3.2 打包

所以我们直接外挂spark3.3.1，使用CDH6.3.2相关的hadooplib。
青冬·2022-12-15 11:51

CDH6.3.2集成spark-sql完整版本

下载spark-2.4.0-bin-hadoop2.7.tgz并上传至gateway节点地址:https://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz解压spark-4.0-bin-hadoop2.7.tgz到/opt/cloudera/parcels/CDH/lib/spark2中替换conf的
奇科.zhang·2022-12-15 11:50

cdh3.6.2集成kylin3.0.2及简单使用

前提准备自行安装好cdh6.3.2集群一.集成★★注意版本兼容问题，楼主开始用的最新的4.X的版本，页面加载hive数据死活出不来，所以改用3.0.2cdh60的版本1.下载kylinhttps://archive.apache.org
52fighting·2022-12-15 11:49

服务器编译spark3.3.1源码支持CDH6.3.2

1、一定要注意编译环境的配置mvn:3.6.3scala:2.12.17JDK:1.8spark:3.3.1服务器内存至少需要8G重点2、下载连接wgethttps://dlcdn.apache.org/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.zipwgethttps://downloads.lightbend.com/scala/2
sunnyboy_4·2022-12-15 11:32

第4节 hive spark 查询hudi 数据 环境cdh6.3.2

使用hive带where条件查询发生错误selectuid,fullnamefrommember_rowhereuid>=0anduid(MapTask.java:175)在源码中查询该类HoodieParquetRealtimeInputFormat是应该是在第3节中引入到hivelib下的hudi-hadoop-mr-bundle-0.9.0.jar尝试在hivequery中加入addjarh
第一次看海·2022-12-04 18:12

CDH6.3.2 Hive on spark报错is running beyond physical memory limits

Hue跑hivesql时报错如下java.lang.IllegalStateException:ConnectiontoremoteSparkdriverwaslost查看yarn报错日志如下Container[pid=41355,containerID=container_1451456053773_0001_01_000002]isrunningbeyondphysicalmemorylimi
格格巫 MMQ!!·2022-09-21 13:38

Flink的Yarn-Per-Job提交指令

Flink的yarn-per-job提交0.运行环境Flink版本：Flink1.13.0集群环境：CDH6.3.2新版本的Flink可以通过-t参数提交统一格式的任务，日常工作中通常使用Per-JobOnYarn
mp9105·2022-08-09 10:26

第3节 hudi hive 数据同步，实现湖仓一体 cdh6.3.2存在版本兼容问题，spark可以查询HoodieParquetRealtimeInputFormat格式表，hive查询报错

对接hive（1）将Hudi目录编译好的hudi-hadoop-mr-bundle-0.9.0.jar，复制到hive的lib下让hive支持hudi,需要重启hiveserver2服务,或者不加入也可，在执行hivesql时addjar也可先复制分发jar包到hiveserver2节点[xxx@xxxtarget]#rsync-rvlhudi-hadoop-mr-bundle-0.9.0.jar
第一次看海·2022-05-31 07:11

cdh6.3.2安装

1.数仓之ClouderaManager1.1CM简介1.1.1CM简介ClouderaManager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。CM功能管理：对集群进行管理，如添加、删除节点等操作。监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。诊断：
coderKeNan·2022-02-07 14:35

Flink on Zeppelin问题四则（并没有优雅的解决方案

Flink版本为1.13.0，Hadoop版本为CDH6.3.2自带的3.0.0。经过两天的探索，发现了一些问题，在百忙之中抽出点时间简要记录一下并不成功的troubleshooting过程。
LittleMagic·2021-07-30 20:19

超详细！搭建本地大数据研发环境（16G内存+CDH）

本文将从头开始详细的记录整个大数据环境的搭建过程，本文所使用的笔记本电脑内存为16G，将使用CDH6.3.2管理整个大数据集群。由于cl
·2021-07-27 20:24

cdh6.3.2安装部署

#cdh6.3.2部署安装##版本信息|节点|ip地址|mysql|parcel文件离线源|cm|cdh||-------|---------------------------------------
爱学习的ren·2021-06-22 00:33

CDH6.3.2取消静态资源池

测试环境准备：CentOS7.6、CM的管理员账号，Linux系统的root账号、CM和CDH分别是6.3.1、6.3.2版本1.首先准备一个已经启用了静态资源池管理的CDH6.3.2的集群2.点击“主机
碎川689·2021-06-13 01:29

CDH6.3.2编译并集成Flink

一、安装包准备CDH6.3.2(Hadoop3.0.0)、Flink1.12.4、flink-shaded-12.0、Centos7.9、Maven3.6.3、Scala-2.13.6和JDK1.8.0
等闲之辈莫等闲·2021-06-10 14:55

环境篇：Atlas2.1.0兼容CDH6.3.2部署

环境篇：Atlas2.1.0兼容CDH6.3.2部署Atlas是什么?
咘雷扎克·2020-12-16 13:00

win10上通过VMwarePro15安装CentOS-7镜像后搭建cdh6.3.2集群

背景：随着ClouderaEnterprise6.3.3发布再也没有免费版了，于是我便萌生在win10上通过VMwarePro15安装CentOS-7-x86_64-DVD-1810镜像后搭建cdh6.3.2
benpaodexiaowoniu·2020-09-15 13:00

CDH6.3.2集群启用授权

本文描述CDH6.3.2集群安装Sentry及配置。
邢为栋·2020-09-13 20:08

离线安装部署CDH6.3.2集群

目录准备工作安装关闭防火墙时钟同步数据库准备主节点部署JDBC安装CM安装CDH尾巴今天用虚拟机离线安装CDH6集群，现在CDP7已经出了，但没有社区版了，CDP7装起来只能用个60天，相比于CDH6的组件只有hive和spark进行了大版本更新以及加入几个新的组件，所以这里还是装CDH6，主要还是因为好久以前就下好了parcel包。。。准备工作下载地址：CM：https://archive.cl
王义凯_Rick·2020-09-10 21:25

CDH6.3.2升级Hive到4.0.0

升级目的：为上层开发，提供统一元数据服务并能通过hive操作kudu表，kylin可以通过hive对在kudu中的数据做分析面临问题：hive4.0之前hive没有KuduStorageHandler机制，需要hive和kudu整合功能而升级，但是github上官方开源的代码看该模块代码没完成。所以需要自己提供实现或等官方发布，为了满足当下需求，羚羊选择了自己实现1、备份原元数据mysqldump
品途旅游·2020-08-20 14:37

CDH6.3.2升级Hive到4.0.0

升级目的：为上层开发，提供统一元数据服务并能通过hive操作kudu表，kylin可以通过hive对在kudu中的数据做分析面临问题：hive4.0之前hive没有KuduStorageHandler机制，需要hive和kudu整合功能而升级，但是github上官方开源的代码看该模块代码没完成。所以需要自己提供实现或等官方发布，为了满足当下需求，羚羊选择了自己实现1、备份原元数据mysqldump
非洲羚羊·2020-08-20 13:00

一种处理Sqoop导出过程中数据的方法

文章目录一、Java代码调用SqoopAPI导出数据二、部分导出过程分析三、一种处理Sqoop导出过程中数据的方法参考链接一、Java代码调用SqoopAPI导出数据当前测试用大数据集群版本:cdh6.3.2
0x3E6·2020-08-10 19:04

CDH6.3.2 组件版本和Maven依赖版本

目录remoterepositorycomponentversiondependencytemplateartifactversionremoterepositoryclouderahttps://repository.cloudera.com/artifactory/cloudera-repos/componentversionComponentComponentVersionChangesIn
静谧星空·2020-07-16 04:53

cdh6.3.2安装apache-kylin-3.0.2-bin-cdh60

首先，由于本人是cdh6.3.2，故点击下载选择下图cdh60包[root@cdh632-worker03~]#cd/opt/soft/[root@cdh632-worker03soft]#tarzxfapache-kylin
benpaodexiaowoniu·2020-07-15 20:27

cdh6.3.2上部署janusgraph0.5.2和atlas2.0.0

一、cdh6.3.2上部署janusgraph0.5.2+hbase2.1.0-cdh6.3.2+elasticsearch6.6.0（通过kibana6.6.0开启了xpack和铂金服务【es不可太高版本
benpaodexiaowoniu·2020-07-15 20:27

CDH6.3.2安装部署(Ubuntu)

ubuntu1804部署CDH6安装前准备https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/installation_reqts.html配置网络名(以foo-1为例)1、修改主机名sudohostnamectlset-hostnamefoo-1.example.com2、编辑/etc/hosts文件1.1.1.1foo
邢为栋·2020-07-15 16:53

CDH6.3.2配置Pheonix

一、下载并安装Pheonix_parcel1.下载链接：https://archive.cloudera.com/phoenix下载图片中几个文件2.将文件通过xftp等工具上传至集群3.访问http://runx-n1/pheonix_parcel/如出现下面页面代表成功二、在CM上面找到pacel页面进行配置把httpd复制到parcel上，并把pacel更新时间设置为一分钟三，配置HBase
这是爱吃猫的鱼·2020-07-15 16:28

Centos7 安装 CDH6.3.2

1.安装包1.1CMhttps://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz.md5https://archive.cloudera.com/cm6/6.3.1/allkeys.asc1.2CDHhttps://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6
${Loki}·2020-07-08 21:00

10步完成centos7 下 Cloudera Manager 6.X cdh 添加 ElasticSearch7.8.0（ES） 服务

centos7ClouderaManager6.X添加ES服务基础环境为CM6.3.1和CDH6.3.2平台。centos7.详细搭建看上一篇。
途足·2020-07-08 19:31

cdh6.3.2配置Hive on Spark

环境：戴尔xps15（32G内存、1T固态、外接雷电3接口的三星1T移动固态、WDElements的4T外接机械硬盘）win10三台Centos7虚拟机用于测试cdh6.3.2集群（免费的社区版的最高版本
benpaodexiaowoniu·2020-07-07 04:03

cdh6.3.2上Hive on Spark模式下hive无法使用JsonSerDe问题

昨晚群内网友创建hive外部表（图一）后查询（HiveonSpark模式）便报错（图二）：而我在cdh6.3.2上初次尝试建JsonSerDe外部表（参考：hive中创建hive-json格式的表及查询
benpaodexiaowoniu·2020-07-07 04:33

Centos7部署CDH6.3.2集群

Centos7部署CDH6.3.2集群文章目录Centos7部署CDH6.3.2集群一、简述二、环境准备1、硬件：2、软件包下载三、环境初始化1、关闭防火墙2、修改主机名3、配置hosts文件4、配置免密登录
DevinKim·2020-07-04 09:32

Centos安装Cloudera Manager 6.3.0和CDH 6.3.2

为什么选择CDH6.3.2这个版本，给大家看个Cloudera公司今年初发布的消息：上面大概是说6.3.3版本以上，需要许可证，
非洲羚羊·2020-07-02 20:00

Centos安装Cloudera Manager 6.3.0和CDH 6.3.2

为什么选择CDH6.3.2这个版本，给大家看个Cloudera公司今年初发布的消息：上面大概是说6.3.3版本以上，需要许可证，
非洲羚羊·2020-07-02 20:00

cdh6.3.2 oozie HA 高可用配置

目录1、配置OozieLoadBalancer2、配置OozieLoadBalancerHTTP、HTTPSPort3、配置ozie-site.xml文件4、启用HighAvailability（OozieHA）5、注意事项（躺过的坑）1、配置OozieLoadBalancer（1）进入Oozie配置页面，搜索关键字port（2）在OozieLoadBalancer栏输入host2、配置Oozie
静谧星空·2020-06-24 22:11

Flink-1.9.1-CDH6.3.2源码编译、CDH-Flink-Parcel制作、CDH6.3.2集成Flink1.9.1

一、下载两个Tag包（已经修改好配置文件）maven指向私服具体修改内容可以参考Flink1.9系列-CDH版本源码编译篇flink-shaded-7.0-src.tar.gzflink-1.9.1-src.tar.gz二、编译flink-shadedflink-shaded-7.0-src.tar.gzvimflink-shaded-7.0/pom.xmlprivateMavenhttp://1
nhApis_Poros·2020-06-24 17:33

Flink-1.9.1-CDH6.3.2源码编译、CDH-Flink-Parcel制作、CDH6.3.2集成Flink1.9.1(todo)

参考文章：Flink-1.9.1-CDH6.3.2源码编译、CDH-Flink-Parcel制作、CDH6.3.2集成Flink1.9.1一、下载两个Tag包（已经修改好配置文件）maven指向私服具体修改内容可以参考
风情客家__·2020-06-23 23:10

CDH6.3.2 集成flink的部署配置

CDH6.3.2集成flink的部署配置标签（空格分隔）：大数据平台构建一：flink的简介二：cdh6.3.2集成flink一：flink的简介ApacheFlink是由Apache软件基金会开发的开源流处理框架
flyfish225·2020-06-21 07:36
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他