Cloudera(CDH)

云原生之深入解析Docker如何开启IPv6

通过dockernetworkls命令可以查看：NETWORKIDNAMEDRIVERSCOPE11da7fc827b4bridgebridgelocal4cd2eae9c4cdhosthost
╰つ栺尖篴夢ゞ·2023-06-18 05:31

搭建环境【3】SecureCRT_CN连接ubuntu 主机遇到的问题

Keyexchangefailed.Nocompatiblekeyexchangemethod.Theserversupportsthesemethods:curve25519-sha256,[email protected],ecdh-sha2
深圳-剑影·2023-06-17 20:47

如何设置CDH的资源池

一、将作业类型添加到hive的白名单中二、在yarn中创建资源池首先添加父资源池bdata，然后在创建子资源池job三、在资源池中添加用户四、提交作业测试五、常碰到的资源池没有配置导致的错误1、不能修改mapred.job.queue.nameorg.apache.hive.service.cli.HiveSQLException:Errorwhileprocessingstatement:Can
脸ル粉嘟嘟·2023-06-17 12:40

Hue:Hadoop 图形化用户界面

特性：一个HDFS的文件浏览器，一个MapReduce/YARN的Job浏览器，一个HBas的浏览器，Hive，Pig，ClouderaImpala和Sqoop2的查询编辑器。
victory0508·2023-06-17 06:07

CDH 之 hive 升级至 hive-3.1.3 完美踩坑过程

一、准备工作1.1前言这是博主在升级过程中遇到的问题记录，大家不一定遇到过，如果不是CDH平台的话，单是hive服务升级应该是不会有这些问题的，且升级前博主也参考过几篇相关CDH升级hive服务的博文，
啊 这·2023-06-16 21:07

StarRocks案例4: Spark load第二次运行报错

文章目录一.问题描述二.解决方案一.问题描述需求背景:CDH集群Spark版本2.4.0StarRocks版本2.5.5使用Spark2.4.0客户端会报错，java.lang.NoClassDefFoundError
只是甲·2023-06-16 18:42

Yarn【多队列实例、任务优先级设置】

前言我们知道，Hadoop常见的三种调度器：FIFO调度器（几乎不用，因为它是先来先服务）、容量调度器（ApacheHadoop默认的调度器）、公平调度器（CDH默认调度器）。
让线程再跑一会·2023-06-16 14:12

此 DataNode 未连接到其一个或多个 NameNode

clouderamanagerhadoop调整参数重启后失败，datanode日志全是info，卡在副本文件不存在，过一会儿状态变红，提示此DataNode未连接到其一个或多个NameNode经过一顿重启调整不行
熟悉开机关机重启·2023-06-15 20:21

gitlab 拉取项目推到新项目

mkdirhhcdhhgitinitgitpull地址分支#拉取https地址报证书错误的话，执行gitconfig--globalhttp.sslVerifyfalsegitcheckout-bdevgitremoteadd
熟悉开机关机重启·2023-06-15 20:51

《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP（2）

原文：《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP（2）-阿里云开发者社区简介：《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP（2）《CDP企业数据云平台从入门到实践
javastart·2023-06-15 18:54

CDH6.3.1 集群离线部署（若泽大数据）

[若泽大数据]CDH6.3.1企业集群离线部署一、准备工作离线部署主要分为三块：MySQL离线部署CM离线部署Parcel⽂件离线源部署支持的版本：ClouderaEnterprise6要求和支持的版本
小于同学饿了·2023-06-15 14:14

Apache Tajo教程_编程入门自学教程_菜鸟教程-免费教程分享

后来，Intel，Etsy，NASA，Cloudera，Hortonworks的专家也为该项目做出了贡献。塔霍指朝鲜鸵鸟。在2014年3月，Tajo获得了顶级的开源Apache项目。
菜鸟一记·2023-06-15 04:23

Visual Studio 密钥

VisualStudio2017Enterprise:NJVYC-BMHX2-G77MM-4XJMR-6Q8QFProfessional:KBJFW-NXHK6-W4WJM-CRMQB-G3CDHVisualStudio2019Enterprise
龙谷行者·2023-06-15 02:30

Flink1.12读取Kafka数据写入到Hdfs | 含maven依赖 | FileSink

以下是我在公司项目上写的一些代码，删去了业务逻辑后的通用内容后续会再分享一些其他flink的链路首先肯定要先导入maven依赖我的依赖如下1.81.8UTF-82.11.82.113.0.0-cdh6.3.01.12.01.1.12.1.1
MIDSUMMER_yy·2023-06-14 16:39

大数据开发之Hive案例篇12：HDFS rebalance 一例

文章目录一.问题描述二.解决方案2.1增加节点2.2rebalance2.3rebalance引发的问题一.问题描述公司的离线数仓是CDH集群，19个节点，HDFS存储空间大约400TB左右，使用量在200TB
只是甲·2023-06-14 10:17

haproxy搭建负载均衡

root@CO7~]#yum-yinstallgccgcc-c++autoconfautomake[root@CO7~]#tar-zxfhaproxy-1.8.0.tar.gz[root@CO7~]#cdhaproxy
weixin_33937778·2023-06-14 09:01

vue-cli4+vant+rem+sass+vuex+axios封装+webpack搭建前端项目

webpack4+vantui+sass+rem适配方案+axios封装，构建手机端模板脚手架启动项目gitclonehttps://github.com/teach-tian/h5-vue-cli4.gitcdh5
行动很重要冲冲冲·2023-06-13 20:55

hadoop_exporter+prometheus监控HDFS

很伤心)2.下载hadoop_exportercd/usr/local/prom/exportergitclonehttps://github.com/Datatamer/hadoop_exportercdhadoop_exporterglideinstallgogetgithub.com
weixin_40689822·2023-06-13 17:45

CDSW添加节点异常解决记录

BUG1添加CDSW节点报错启动时刷以下异常日志：+exec/opt/cloudera/parcels/CDSW-1.2.0.p1.183075/docker/bin/dockerd--log-driver
Anan9527·2023-06-13 15:55

作业四 : CentOS 7 下 Oozie-4.0.0-cdh5.3.6 安装及WordCount示例

安装准备oozie-4.0.0-cdh5.3.6http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.3.6.tar.gzext-2.2.ziphttp
V1cttor·2023-06-13 06:26

python flink kafka_Flink读取Kafka数据，进行汇总

我这边是用的CDH环境，kafka跟zookeeper都安装完毕，并测试可以正常使用第二步：用kafka创建一个生产者进行消息生产.
weixin_39984201·2023-06-13 05:02

hadoop hdfs 性能调优

一直在做fullgc,此时hdfs基本处于不可用状态,此时系统可用内存又不足,而且cpu负载很高.由于这个环境第一次接手维护.这篇文章主要总结下如何做的优化.环境:hadoop版本:Hadoop2.6.0-cdh5.5.0
oo_思维天空·2023-06-13 04:23

大数据中台架构以及建设全流程一（Paas层设计）

---->KAFKA（未来pulsar也不错）离线存储平台（Hadoop系列）Hadoop选型机架感知硬件选型(PB级)内存配置资源计算关键参数存储平台常见故障调度系统（Yarn）管理平台AmbariClouderaManagerCloud
只会写demo的程序猿·2023-06-13 01:29

SAP 查看操作日志

VL22N(显示改变的交货凭证)输入已删除的交货单号，执行2、查看用户操作日志事务码：STAD3、工作负载和性能统计事务码：ST03N4、查看系统日志事务码：SM215、数据库表查看删除的销售/交货订单表：CDHDR
阿达hi·2023-06-12 12:52

CDH 5.10.2 添加Hive HiveMetastore不能启动的坑

今天用CDH5.10.2版本添加Hive组件的时候，持续报错，不得不说这个版本真能锻炼人…首先报的是驱动类找不到的异常，将mysql的jdbc包放到/usr/share/java目录下，注意去掉版本名称
綮地·2023-06-12 12:47

CDH(Cloudera DataHub 6.2.1)部署（centos6、7）、常用组件（zookeeper、hive、hdfs、yarn、oozie、hue、impala、hbase）安装及验证

本文介绍了CDH的基础环境部署、cdh的server服务部署和相关组件的部署及验证。具体的组件使用，请参考本人的相关专栏内容。
一瓢一瓢的饮 alanchan·2023-06-12 12:41

2、设置非root用户的sudo权限

本文是为后续部署CDH组件准备的，因为CDH部署时必须root用户或具备root权限的免密登录。
一瓢一瓢的饮 alanchan·2023-06-12 12:35

Hive之HPLSQL安装手册

软件版本信息：CDH：cdh5.14.0Hive:1.1.0Impala：2.11.0一：下载地址Hplsql官网：http:www.hplsql.org/download下载的是：hplsql-0.3.31
脸ル粉嘟嘟·2023-06-10 14:17

Flume学习--1、Flume概述、Flume入门、

1、Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式结构，灵活简单。
星光下的赶路人star·2023-06-10 10:29

flume学习与总结记录

1.什么是flumeCloudera开发的框架，实时收集数据Flume学习的核心：agent的设计官方文档，http://flume.apache.org/FlumeUserGuide.html2.flume
嘿嘿海海·2023-06-10 09:47

Linux系统（CentOS、Ubuntu）离线安装gcc环境

如果执行gcc–version出现以下信息，表示已经安装过gcc，可以跳过该步骤：[boco@CDH-143spark_job_monitor]$gcc--versiongcc(GCC)4.8.520150623
白云DA·2023-06-10 03:44

黑猴子的家：Cloudera Manager 之 Linux 基础环境

创建空白虚拟机，安装Centos7操作系统1、虚拟机网络模式设置为NAT1）VMwareWorkstation->编辑–>虚拟网络编辑器2）NAT网络模式修改网段3）修改NAT网关4）虚拟机右键设置5）网络适配器设置为NAT2、修改主机名[root@hadoop102~]#vim/etc/hostnamehadoop1023、修改虚拟机静态ip[root@hadoop102~]#vim/etc/s
黑猴子的家·2023-06-09 21:16

一文读懂 Apache Kudu

前言ApacheKudu是由Cloudera开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。
香山上的麻雀·2023-06-09 19:02

基于CDH环境下的Hive数仓配置及优化

文章目录YARN的基础配置NodeManagerCPU配置NodeManager内存配置NodeManager本地目录MapReduce内存配置HDFS副本数配置Hive配置及优化HiveServer2的Java堆栈Hive动态生成分区的线程数Hive监听输入文件线程数压缩配置Map输出压缩Reduce结果压缩Hive多个Map-Reduce中间数据压缩Hive最终结果压缩YARN的基础配置Nod
蜜桃上的小叮当·2023-06-09 10:15

打破数据孤岛，Apache Doris 助力纵腾集团快速构建流批一体数仓架构｜最佳实践

作者｜纵腾集团数据技术架构师张彬华随着纵腾集团业务的快速发展，各产品线提出的数据需求越发严格，而早期基于多套CDH
hf200012·2023-06-09 10:04

Apache Hadoop UI 系统 Hue 安装 版本4.1.0

文章目录介绍下载hue源码包安装需要的依赖因为cdh的仓库不能用的原因，所以编译时需要修改maven仓库的依赖地址安装pip2编译修改mysql配置创建数据库，导表及数据启动介绍Hue是一个开源的ApacheHadoopUI
红桃∩·2023-06-09 10:56

Hadoop 环境搭建 单机伪分布式

前期准备虚拟机镜像：CentOS-7-x86_64-DVD-1708【选择了GNOME和XWindow兼容、开发环境，内存8G以上】hadoop版本：hadoop-2.6.0-cdh5.7.0.tar.gzjdk
歌哥居士·2023-06-09 06:12

基于数据湖的流批一体：flink1.15.3与Hudi0.12.1集成，并配置基于CDH6.3.2的hive catalog

前言：为实现基于数据湖的流批一体，采用业内主流技术栈hudi、flink、CDH（hive、spark）。
吴培洪·2023-06-09 02:49

CDH--彻底解决问题----时钟异常

第1章.NTP服务器安装及客户机配置配置之前要确定时间和现实时间一致，手动配置时间命令sudodate-s"2018-04-1814:50:02"配置时区https://www.cnblogs.com/dyj0201/p/6440632.html如果已有NTP服务器，则使用已有NTP服务器，不使用集群内部重新搭建的NTP服务器。已有NTP服务器地址为：10.131.11.48，端口为123。lso
每天进步一点点...._____·2023-06-08 17:55

原生apache hadoop3.3.1集群安装配置Kerberos

下面直接开始配置hadoopCDH配置Kerberos和Sentry详解_cdhkerberos配置_Mumunu-的博客-CSDN博客部署好了kerberos之后，首先添加用户和生成认证文件在KDC中添加需要认证的用户具体用户看情况而定
Mumunu-·2023-06-08 12:05

linux常用命令整理

如：cd/home进入根目录下面的home目录cdhome
孟章豪·2023-06-08 08:37

常见Dos命令

准备通过Windows命令行进入一个文件，结果输了半天没进去，记录一下cdH:\xxx\qtcanpool-develop\qtcanpool-develop\demos\fancydemoh:其他常见
疯狂java杰尼龟·2023-06-08 01:29

10.Hadoop:Hive环境搭建

Hive环境搭建1.系统环境：OS：CentOSLinuxrelease7.5.1804(Core)CPU：2核心Memory：1GB运行用户：rootJDK版本：1.8.0_252Hadoop版本：cdh5.16.22
負笈在线·2023-06-07 18:23

16.1 hue

一、介绍image.png二、下载到cdh网站下载,下载版本为hue-3.7-cdh5.3.6版本过高可能与hive版本不兼容,高版本的hue需要和高版本的hive配合使用三、解压放到第三台机器上。
6cc89d7ec09f·2023-06-07 15:56

Linux系统基本语法

Linux系统基本语法Linux系统基本语法最高权限账户为rootLinux中没有输出就说明正确重启系统或者关闭系统，首先要运行sync命令，把内存中数据写到磁盘中cd/返回根目录cd…返回上一级目录cdhome
qq_51127361·2023-06-07 12:59

Hadoop教程第一章之Hadoop简介

2006年Cloudera内部集成了很多大数据框架，对应产品CDH,2008年Hortonworks文
爱吃糖的靓仔·2023-06-07 02:16

Hue 编译安装和大数据组件集成配置

Hue编译Hue4.10版本下载可在GitHubRelease下载：ReleaseRelease4.10·cloudera/hue(github.com)在编译前需要在环境环境安装如下内容：yumins
AlienPaul·2023-05-04 11:42

大数据技术之CM安装------2（含大数据学习教程）

1.1内存分配将3台虚拟机分配好内存建议8G、4G、4G1.2本次安装需要的jar包#注意：必须是OracleJDK、不要使用OpenJDK1.jdk-8u144-linux-x64.tar.gz2.CDH
ItStar·2023-04-21 21:56

CDH环境下Kylin集群模式安装部署

二、安装前准备软件版本：1.apache-kylin-2.5.2-bin-cdh60.tar.gz2.CDH6.0.03.JDK_1.8.0_141安装机器：
枫棱·2023-04-21 21:35

CDH6.2.0详细安装步骤

CDH6.2.0版本安装指南1.准备集群本文档使用的是三台虚拟机，IP和主机名自行修改，三台虚拟机需要能联网，并且能够免密登录，这些网上都能找到详细的教程，有问题也可以底部留言交流。
此木Y·2023-04-21 17:39
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他