Cloudera(CDH) 第3页

Impala：基于内存的MPP查询引擎

Impala查询引擎1、Impala概述1.1、Impala简介1.2、Impala的特点1.3、Impala与Hive1、Impala概述1.1、Impala简介Impala是Cloudera公司主导研发的高性能

对许·2024-01-22 17:26

二进制部署高可用k8s集群V1.20.11版本

将桥接的IPv4流量传递到iptables的链7、时间同步二、部署Etcd集群1、准备cfssl证书生成工具2、生成Etcd证书2.1、自签etcd证书颁发机构（根CA）2.2、使用自签的CA来签发EtcdHTTPS

不知名运维:·2024-01-22 07:57

【Spark分布式内存计算框架——Spark SQL】14. 分布式SQL引擎

语句方式二：启动服务HiveServer2（HiveThriftServer2)将Hive当做一个服务启动(类似MySQL数据库，启动一个服务)，端口为100001)、交互式命令行，bin/beeline，CDH

csdnGuoYuying·2024-01-21 06:38

CDH禁用Kerberos

禁用Kerberos，由于没有按钮可以直接操作，需要我们手动一个个修改开启了Kerberos的组件的配置。修改步骤按以下来：1.先关闭集群（如果yarn上有任务则等待停止，或手动停止）。2.修改zookeeper的配置enableSecurity取消勾选，EnableKerberosAuthentication取消勾选，在zoo.cfg的Server高级配置代码段（安全阀）写入skipACL:ye

sf_www·2024-01-20 11:23

cdh 安装 elsticsearch

前言记录了我使用CDH安装ES过程第一步：cdh集成es参考文章我使用的是7.13.4的版本，并非全部按照文章的来，问题解决第二步：安装kibana参考文章注意：版本要一致我使用的docker安装kibana

万事万物·2024-01-19 20:18

kafka可视化客户端工具（Kafka Tool）的使用

一、下载下载地址：http://www.kafkatool.com/download.html我们的kafka版本是2.11（kafka_2.11-2.0.0-cdh6.1.1），下载kafkatool2.0.6

勤奋的超跑·2024-01-19 12:54

CDH6.3.2，不互通的cdh平台互导hive数据

1、先导出所有建表语句，在源CDH服务器命令行输入下面命令，该库下所有建表语句保存至hive目录中的tables.sql文件中，不知道具体路径可以全局搜索一下，拿到源库hive的建表语句后，稍微处理一下

李小晨同学·2024-01-19 01:12

【大数据】HBase集群安装部署

配置好网络环境安装好对应版本的hadoop集群，并启动安装好对应版本的zookeeper集群，并启动1.HBase集群安装部署1.1准备安装包下载安装包并上传到node01服务器安装包下载地址：http://archive.cloudera.com

橙子园·2024-01-19 00:51

shell spark-submit提交之后获取appid，并在程序中扫描状态

首先看一下提交脚本#/sbin/bash/opt/cloudera/parcels/SPARK2/bin/spark2-submit\exportJAVA_HOME=/opt/jdk1.8.0_31TASK_TYPE

南修子·2024-01-18 22:16

helm安装

下载安装包，并解压wgethttps://get.helm.sh/helm-v2.15.2-linux-amd64.tar.gztar-xfhelm-v2.15.2-linux-amd64.tar.gzcdhelm-v2.15.2

无处安放的躁动·2024-01-18 09:27

[CDH5] Oozie web console is disabled 问题解决

CDH5安装完成以后OozieWebUI点开显示Ooziewebconsoleisdisabled.问题解决：下载ExtJS2.2:下载地址：http://archive.cloudera.com/gplextras

尼小摩·2024-01-17 19:12

Linux平台建立GB28181设备模拟器

下载模拟器到网站下载Linux平台版本:https://www.happytimesoft.com/download.htmltar-zxvfhappytime-gb28181-device.tar.gzcdhappytime-gb28181

ketaotech·2024-01-17 12:53

flume

第1章Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

添柴少年yyds·2024-01-17 00:55

Hudi0.14.0最新编译（修订版）

Java1.8maven3.9.3hadoop3.3.4hive3.1.3spark3.2.1flink1.16.0hudi0.14.02hudi准备2.1源码$gitclonehttps://github.com/apache/hudi.git$cdhudi

跟着大数据和AI去旅行·2024-01-16 20:40

Flume用法总结

Flume用法总结一、Flume是什么Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。可以实时读取服务器的日志写入HDFS。

天选之子123·2024-01-16 10:53

在线SM2密钥生成工具

是中国国家密码管理局颁布的中国商用公钥密码标准算法(一种非对称加密算法)，SM2采用的是ECC256位的一种椭圆曲线的加密算法,其密钥长度256bit，包含数字签名、密钥交换和公钥加密，用于替换RSA/DH/ECDSA/ECDH

yunmoon01·2024-01-16 09:46

flink1.14.5使用CDH6.3.2的yarn提交作业

使用CDH6.3.2安装了hadoop集群，但是CDH不支持flink的安装，网上有CDH集成flink的文章，大都比较麻烦；但其实我们只需要把flink的作业提交到yarn集群即可，接下来以CDHyarn

码道功成·2024-01-16 06:30

Kafka部署及使用

kafka四个核心概念：producer、consumer、broker、topic启动zk下载zkzookeeper-3.4.5-cdh5.7.0.tar.gz解压：tar-zxvfzookeeper

Sx_Ren·2024-01-16 05:15

日志采集传输框架之 Flume，将监听端口数据发送至Kafka

1、简介Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，主要有以下几个部分组成。

知其_所以然·2024-01-16 03:03

大数据开发之Flume

第1章：Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输系统。

Key-Key·2024-01-15 12:35

Cloudera公司的CDH与HDP均无法下载问题（403 Forbidden (varnish) the provided credentials were incorrect）

Cloudera公司的CDH与HDP均无法下载问题1.问题描述2.解决方法1.问题描述最近想下载CDH的相关安装包，发现需要输入用户名和密码然而输入cloudera账号之后，会出现如下提示也就是说cloudera

小宇0926·2024-01-15 07:41

项目实战-知行教育大数据分析平台-01

目录一、业务流程二、项目架构流程三、clouderamanager（CM）基本介绍四、项目环境搭建五、维度分析六、数仓建模1、维度建模2、什么是事实表与维度表3、事实表与维度表的分类4、维度建模的三种模型

吆喝的翅膀·2024-01-15 04:22

【大数据进阶第三阶段之Hue学习笔记】Hue简介和架构介绍

1、Hue简介Hue是一个开源的ApacheHadoopUI系统，由ClouderaDesktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于PythonWeb

Allen_lixl·2024-01-15 00:56

Hbase跨集群迁移

备注：新集群Hbase版本cdh2.1.0。1、copyTable方式集群间迁移（HBase层数据迁移）copyTable也是属于HBase数据迁移的工具之一，以表级别进行数据迁移。

喧嚣已默，往事非昨·2024-01-14 06:14

大数据调度框架Oozie，这个学习网站让你事半功倍！

Oozie是一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache。

知识分享小能手·2024-01-14 01:59

centos7删除虚拟网卡

背景clouderamanager页面多台机器提示网络接口速度告警，具体提示为：“存在隐患:以下网络接口似乎未以全速运行：virbr0-nic。6主机网络接口似乎以全速运行。

qingzhongli·2024-01-13 21:58

Matlab 使用 DH table 建立的 robot 和实际不符

DHtable建立robotBuildManipulatorRobotUsingKinematicDHParameters主要使用setFixedTransform，DHtable中都是数值，不带变量robot

Kasen's experience·2024-01-13 13:19

Ubuntu按转发HDF5

amazonaws.com/wp-content/uploads/manual/HDF5/HDF5_1_14_3/src/hdf5-1.14.3.zip解压unziphdf5-1.14.3.zip进入解压后的目录cdhdf5

1037号森林里一段干木头·2024-01-13 12:29

大数据系列 | CDH6.3.2（Cloudera Distribution Hadoop）部署、原理和使用介绍

大数据系列|CDH6.3.2（ClouderaDistributionHadoop）部署、原理和使用介绍1.大数据技术生态中Hadoop、Hive、Spark的关系介绍2.CDN（ClouderaDistributionHadoop

降世神童·2024-01-13 10:50

解决MacBook Pro终端报错Homebrew Error: Failure while executing；

在终端中输入一下命令（直接粘贴到终端，enter键等待安装完成就可）cd"$(brew--repo)/Library/Taps/"rm-rfhomebrewmkdirhomebrewcdhomebrewgitclonegit

大铺头狗哥·2024-01-13 07:58

大数据独角兽 Cloudera 股价腰斩，Hadoop将何去何从？

6月6日美股开盘后，大数据公司Cloudera股价暴跌43%，一周前，曾经同为大数据独角兽的MapR也传出了面临重大危机的消息。

烽火程序猿·2024-01-11 04:15

CDH5x离线安装+解决报错教程

CDH5x离线安装+解决报错教程本章为云服务器CDH5.12.1基于HTTP离线源完全搭建。前言CDH集成了ApacheHadoop中各种相关组件，提供的CM服务提高了我们对于集群管理与安装的便捷性。

李指导、·2024-01-11 01:09

13.Kubernetes应用部署完整流程：从Dockerfile到Ingress发布完整流程

Dockerfile多阶段构建[root@dockergithub]#gitclonehttps://gitee.com/yxydde/http-dump.git[root@dockergithub]#cdhttp-dump

CodingDemo·2024-01-10 13:15

CDH集成LDAP配置

转载自JavaChenBlog，作者：JavaChen原文链接地址：http://blog.javachen.com/2014/11/12/config-ldap-with-kerberos-in-cdh-hadoop.html

101之歌·2024-01-10 07:48

Oozie WorkFlow中Shell Action使用案例

/usr/bin/envbash+##studentselect/opt/cdh5.3.6/hive-0.13.1-cdh5.3.6/bin/hive-fstudent-select.sqlvistudent-select.sqlins

明明德撩码·2024-01-10 05:56

sqoop的安装与使用

Sqoop是一个用于在hadoop与mysql之间传输数据的工具Sqoop环境搭建(1)上传安装包:sqoop-1.4.6-cdh5.14.2.tar.gz到/opt/software(2)解压安装包:

xinxinyydss·2024-01-09 15:23

大数据平台比较-CDH、HDP、CDP

ApacheHadoop与CDH、HDP的比较一、Hadoop版本综述不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）Cloudera

Sql强·2024-01-09 07:24

48.Kerberos高可用配置

48.1演示环境介绍Kerberos已安装并与CDH集成操作系统RedHat7.2用sudo权限的ec2-user用户Kerberos节点ip-186-33-22-88.ap-southeast-1.compute.internal

大勇任卷舒·2024-01-08 20:18

【技术问题】CDH无法下载之后

Cloudera公司最近在官网宣布：从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问。也就是说CDH各版本都不能免费获取了。

yestolife123·2024-01-08 08:14

获取两个字符串中最大的相同子串

classTest{publicstaticvoidmain(String[]args){Stringa="abcwerthelloadcedf";Stringb="cdhelloesadcedf";Stringc

hhiijay·2024-01-06 13:33

新一代大数据管家 DataSophon 1.2 重磅发版

在大数据领域，现在普遍认为是后Hadoop时代，CDH的停更和闭源导致传统的Hadoop体系组件栈没有一个称手好用的管理工具，越来越多新一代的大数据项目也在层出不穷,同样也需要管理，并且需要适配云原生的能力

Datavane·2024-01-06 05:47

1.大数据概述

目录概述hadoophadoop模块hadoop发行版apache社区版本CDP(CDH+HDP)其它云产商框架选择hadoop安装结束概述先了解几个常用的网站apache官网hadoop官网hadoopgithubhttps

流月up·2024-01-05 23:00

【无标题】

ETL项目–自学笔记（补充）1、服务启动cdh虚拟机中服务会自动启动手动启动启动hadoop服务/export/server/hadoop/sbin/start-all.sh启动hive服务metastore

中长跑路上crush·2024-01-05 23:02

Pentaho Kettle 6.1连接CDH5.4.0集群

最近把之前写的HadoopMapReduce程序又总结了下，发现很多逻辑基本都是大致相同的，于是想到能不能利用ETL工具来进行配置相关逻辑来实现MapReduce代码自动生成并执行,这样可以简化现有以及之后的一部分工作.于是选取了上手容易并对Hadoop支持的比较成熟的PentahoKettle来测试,把一些配置过程和遇到的坑记录下来.Kettle可以在官网下载到,但是官网会让你注册才能下载而且速

香山上的麻雀·2024-01-05 16:43

CDH集群kafka运行正常但是连接不上的问题

Causedby:org.apache.kafka.common.errors.TimeoutException:Call(callName=listNodes,deadlineMs=*****,tries=1,nextAllowedTryMs=*****)timedoutat*****after1attempt(s)Causedby:org.apache.kafka.common.errors.

李小晨同学·2024-01-05 08:41

CDH6.3.2平台kafka问题记录

最近在弄kafka数据同步，总是出问题，所以重装了好几次kafka1.第一次直接CDH平台删除后重新部署kafka，结果启动失败。