Cloudera(CDH) 第7页

Spark写入es：EsHadoopRemoteException: version_conflict_engine_exception

背景介绍业务场景：spark批量写入es，基于es-hadoop组件实现批处理任务定时调度cdh5.5.3集群，spark2.3，elasticsearch6.4.3es中对应索引的_id由程序控制，保证全局唯一仅测试环境出现

weixin_34117522·2023-12-01 09:59

navicat连接mysql报错ssh_Navicat 连接SSH方式连接mysql报错 ssh:expected key exchange group packet...

只需要在sshd配置文件中加入以下行即可：[email protected],ecdh-sha2-nistp256,ecdh-sha2-nistp384,

徐德民·2023-11-30 16:00

大数据学习-离线数仓项目实战笔记（上）

1.1.软件版本产品版本Hadoop2.9.2Hive2.3.7Flume1.9DataX3.0Airflow1.10Atlas1.2.0Griffin0.4.0Impalaimpala-2.3.0-cdh5.5.0MySQL5.71.2

ys4tnaf·2023-11-30 15:24

数据仓库搭建

1.1什么是数据仓库1.2OLTP与OLAP2项目需求及架构设计3项目框架4框架版本选型4.1Hadoop版本综述4.2社区版与第三方发行版的比较4.2.1.Apache社区版4.2.2.第三方发行版（CDH

赵广陆·2023-11-30 13:32

Hadoop入门笔记

第1章Hadoop概述1.1Hadoop是什么1.2Hadoop发展历史（了解）1.3Hadoop三大发行版本（了解）Hadoop三大发行版本：Apache、Cloudera、Hortonworks。

阳宝宝的向日葵·2023-11-30 05:44

Spark on YARN的部署

yarn来调度Spark，比默认的Spark运行模式性能要好的多，前提是首先部署好hadoopHDFS并且运行在yarn上，然后就可以开始部署sparkonyarn了，假设现在准备环境已经部署完毕，这里是在CDH

GoodInSun·2023-11-30 03:23

IDEA：外部引入jar包，打包失败，提示程序包找不到

/ImpalaJDBC41.jar-DgroupId=com.cloudera.impala-Dartifa

梦里Coding·2023-11-29 19:58

Java jmx学习---Hive metric

监控这里，目前已知的大数据平台组件比如FusionInsight、CDH对服务的监控做的就很好，无奈，我司的产品属于小本经营，自己从apache里面拿来hive源码，然后直接改点配置文件，就准备上线。

小可0306·2023-11-29 17:01

123.Impala查询缓慢问题与解决

ImpalaDaemon已启用-convert_legacy_hive_parquet_utc_timestampsHive创建测试表，其中“statsdate”字段为TIMESTAMP类型：[root@cdh4scripts

大勇任卷舒·2023-11-29 15:53

Linux安装flume并实现监控文件

flume的安装1.找到flume的安装包并复制到/usr目录下sudocpflume-ng-1.6.0-cdh5.6.0.tar.gz/usr步骤2.解压缩sudotar-zxvfflume-ng-1.6.0

思君_4cd3·2023-11-29 02:56

kerberos mysql配置_CDH安装Kerberos （包含主从配置）

很多企业CDH是没有集成kerberos，原因是kerberos部署后，服务使用起来变复杂，大部分只配置了sentry做权限管理；但真正的CDH多租户应该是身份验证+权限管理。

丰雅·2023-11-28 23:28

Kerberos高可用

文章目录1.备节点安装Kerberos服务2.修改主节点配置3.备节点配置4.节点数据同步至备节点5.节点数据同步至备节点6.配置主节点crontab任务定时同步数据1.备节点安装Kerberos服务cdh001

不饿同学·2023-11-28 23:56

Kerberos高可用HA配置

关于CDH6集成kerberos的配置参见我的另一篇文章：CDH6集成kerberos，感兴趣的朋友可以查阅。

Moon_魔宽·2023-11-28 23:56

0592-5.16.1-如何配置Kerberos高可用

本文主要讲述如何在CDH5.16.1中配置Kerberos服务的高可用。

Hadoop_SC·2023-11-28 23:54

解决Spark SQL读数据库时不支持某些数据类型的问题

一、系统环境Spark版本：2.1.0.cloudera1JDK版本：JavaHotSpot(TM)64-BitSer

alexlee666·2023-11-28 20:49

环境准备（06）YARN环境搭建 & 提交作业到YARN

1.配置文件目录/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop2.mapred-site.xml[hadoop@hadoop001hadoop]$cpmapred-site.xml.templatemapred-site.xmlmapreduce.framework.nameyarn3

乌鲁木齐001号程序员·2023-11-28 15:13

HAProxy+KeepAlived高可用负载均衡搭建

KeepalivedforLinux-Version2.0.171、HAProxy安装与配置（基于Centos7）IP为192.168.10.91）解压tarxvfhaproxy-2.0.1.tar.gz2）编译安装haproxycdhaproxy

麦芽maiya·2023-11-28 10:52

2020-07-24

资料仅供参考：objchttps://opensource.apple.com/tarballs/objc4/runloophttps://opensource.apple.com/tarballs/CF/gcdhttps

super_2e20·2023-11-28 03:23

linux du -h按文件大小,linux中du的用法

语法：du[-abcDhHklmsSx0][-L][-XFile][--block-size=SIZE][--exclude=PATTERN][--max-depth=N][--help][--version

小儿外科裴医生·2023-11-28 03:46

perfetto命令抓取 trace

1.启动Android模拟器进入到cmd中，敲入下面的命令H:cdH:\Sdk\emulator.\emulator.exe-list-avds.

hg2016·2023-11-27 16:00

openssl + ECDH + linux+开发详解（C++）

一、什么是ECDHECDH（EllipticCurveDiffie-Hellman）是一种基于椭圆曲线密码学的密钥交换协议，用于在通信双方之间安全地协商共享密钥。

N阶二进制·2023-11-27 07:39

nginx禁用3DES和DES弱加密算法

3DES和DES弱加密算法yuminstall-ynmapnmap-sV-p443--scriptssl-enum-ciphers127.0.0.1#注释下面的语句（用这个即可）#ssl_ciphersECDHE-RSA-AES128

securitor·2023-11-26 10:37

3.CENTOS安装CDH和Kudu-2

版本：CENTOS7.2CDH5.10Kudu1.23.1Kudu安装CDH从5.10开始，打包集成Kudu1.2，并且Cloudera正式提供支持。

大勇任卷舒·2023-11-26 07:24

java hdfs kerberos 认证超时 Receive timed out

背景cdh6集群为阿里服务器，三台机器搭建而成，并且开启了kerberos，现在想尝试一下用javaapi读取hdfs数据。

KK架构·2023-11-26 00:53

HBase探索篇 _ OpenJdk15编译并部署CDH版HBase

文章目录1.前言2.准备工作3.项目配置3.1项目导入3.2编译配置3.3程序包javax.annotation不存在3.4maven-shade-plugin升级版本3.5程序包javax.xml.ws.http不存在3.6SomeEnforcerruleshavefailed.3.7hbase-spark模块编译报错3.8处理一些编译时的警告信息4.本地启动和功能测试4.1HMasterApp

大猿小猿向前冲·2023-11-25 14:20

CDH-6.3.2完整安装附带资源包

#########创建文件夹############mkdir-p/opt/softwearmkdir-p/opt/module所有服务器都需要创建############安装百度网盘##############1、centos服务器安装百度云盘pipinstallbypy2、输入bypyinfo链接:https://pan.baidu.com/s/1ANDiUQIuZCgYiZOeFpFbxg提

sunnyboy_4·2023-11-25 14:49

基于CentOS7的CDH6.3.2完全分布式集群搭建【上】

第一次搭建CDH，留个文档记录下出现的问题和学到的东西。

HansBigData·2023-11-25 14:18

cdh亲测2022/11/12

一、Hadoop大数据平台1、Hadoop发行版(1)完全开源的原生的ApacheHadoop(2)Cloudera与Hortonworks公司的CDH和HDP：在Cloudera和Hortonworks

Tian.Mrs·2023-11-25 14:18

第一步 CDH6.3.2集成自制Flink1.12.7

一共分两步走：第一步：CDH制作Flink1.12.7第二步：CDH集成Flink1.12.7前提说明早期CDH6.3.2集成的Flink1.12存在log4j漏洞，所以需要重新编译这是之前Flink1.12

secretWHD·2023-11-25 14:18

CDH6安装教程(亲自测试越坑版)

一、Hadoop大数据平台1、Hadoop发行版(1)完全开源的原生的ApacheHadoop(2)Cloudera与Hortonworks公司的CDH和HDP：在Cloudera和Hortonworks

inrgihc·2023-11-25 14:14

Hadoop发行版 Cloudera CDH 6.3.2及CM 安装包下载（阿里云盘不限速）

CDH（全称Cloudera’sDistribution,includingApacheHadoop）是由Cloudera公司构建的Hadoop稳定发行版，不仅含有ApacheHadoop，还整合了Hive

风情客家__·2023-11-25 14:11

ARCH新装过程

wiki.archlinux.org/index.php/Fdiskmount：https://wiki.archlinux.org/index.php/Mount2.出现网络问题时，需要配置###BasicDHCPnetworkThissetupwille

半步江南·2023-11-24 13:50

HBase本地安装Snappy

环境HBasecdh5-1.2.0_5.12.1环境特别重要。它直接关系到需要使用的Snappy以及Hadoop的版本。如果版本对不上，很可能出现链接本地动态链接库时的错误。操作操作其

AlstonWilliams·2023-11-24 09:08

Impala-大数据时代快速SQL引擎

Impala介绍ApacheImpala是由Cloudera开发并开源的一款基于HDFS/Hbase的MPPSQL引擎，它拥有和Hadoop一样的可扩展性、它提供了类SQL（类Hsql）语法，在多用户场景下也能拥有较高的响应速度和吞吐量

盛装吾步·2023-11-24 02:30

如何优雅地使用 java 连接 HBase 客户端

放弃不难，但坚持很酷~HBase版本：1.2.0-cdh5.7.0一、客户端的长短连接java远程连接HBase客户端，大体分为两种方式。一种是长连接，一种是短连接。

create17·2023-11-23 20:37

CDH之HIVE-ON-SPARK、Spark配置

原：CDH之HIVE-ON-SPARK、Spark配置_小基基o_O的博客-CSDN博客_cdhhiveonsparkHIVEONSPARK配置CDH6.3.2的HIVE版本为：2.1.1+cdh6.3.2HIVE

javastart·2023-11-23 12:00

分享一份京东大数据技术官私藏：Kafka核心设计与实践原理

目前越来越多的开源分布式处理系统如Cloudera、Storm、Spark、Flink等都支持与Kafk

m0_64926671·2023-11-23 09:53

一文流：hive使用 bulk load 批量导入数据到 hbase

本文主要参考了hbase和hive官方文档的说明，并结合cdh和hdp的一些教程以及个人在生产中的实践进行记录。

if200·2023-11-23 09:31

CDH6.2.1 集群在线安装kafka 和 brokerid报错以及连接超时报错总结

进入clouderamanager点击添加服选择kafka然后点击选择主机本教程选择了三台机器点击继续进入ReviewChanges页面配置zookeeper的目录配置JavaHelpSizeofBroker

安心做个小废物·2023-11-22 09:35

maven 本地jar包使用deploy命令上传到私服

陈佳锋·2023-11-21 07:47

hugegraph图数据库环境搭建

centos7版本：1.4.0server和studio：https://pan.baidu.com/s/1nMvbaXcAHHcUvZDok-upkg提取码：71t9修改hugegraph-0.10.4配置文件cdhugegraph

11111kgd·2023-11-21 03:46

kafka_consumer不消费数据的问题排查

背景：初始的时候，在cdh中部署了kafka集群后来方案改为kafka消息平台和cdh中的hive，spark等计算平台分离由于之前的kafka部署配置，污染到后面的apache的kafka集群，使得其消费不到消息我们查看

都教授2000·2023-11-20 23:32

制造业的物联网未来

DaveShuman，Cloudera的物联网和制造零售行业方案负责人将物联网与上个世纪90年代的互联网进行对比，称物联网是其个人职业生涯当中第二次亲历一个产业的诞生，两相对比，他认为物联网的时代才刚刚开始

风和雪的路人·2023-11-20 21:20

Flume框架

第1章Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

暗东方·2023-11-20 18:15

Flume日志采集系统的安装和部署

由Cloudera公司开发，然后贡献给了apache现已经成为apache下面的一级开源项目。

wangzfox·2023-11-20 18:44

大数据技术之Flume(概述,安装,案例等)

第1章概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

往事随风_h·2023-11-20 18:37

浅谈交互式查询⼯工具Impala(一)

一、Impala概述（Impala是什什么，优势，劣势，与Hive对⽐）Impala是什什么Impala是Cloudera提供的⼀一款开源的针对HDFS和HBASE中的PB级别数据进⾏行行交互式实时查询

顾子豪·2023-11-20 11:14

argocd

部署argocdhttps://github.com/argoproj/argo-cd/releaseskubectlcreatenamespaceargocdkubectlapply-nargocd-fhttps

inner222·2023-11-19 19:19

HDFS 使用Hadoop 中自带的词频统计程序，对数据集进行词频统计

一、准备工作：1.按CDH环境说明文档配置相对目录转到/user/hdfs，那么新创建的用户文件夹bigdata***就在/user/hdfs目录之下。

码猿小菜鸡·2023-11-19 16:28

CDH6.3.2集成Apache Flink1.12.0

目录一、编译Flink1下载flink源码2增加maven镜像3执行编译命令二、编译parcel1下载flink-parcel2修改参数3复制安装包4编译parcel5编译csd6上传文件三、CDH集成

终回首·2023-11-19 14:19

推荐频道

Cloudera(CDH)