CDH

大数据技术学习笔记之hive框架基础3-sqoop工具的使用及具体业务分析

一、CDH版本的介绍及环境部署-》Hadoop的三大发行版本-》ApacheHadoop-》clouderaHadoop：CDH-》Hortonworks:HDP-》选用CDH版本的好处-》解决每个框架之间的兼容性问题
黄剑锋1996·2023-12-02 19:50

Kubernetes集群部署—部署etcd集群（二）

文章目录1准备cfssl证书生成工具2生成Etcd证书2.1自签证书颁发机构（CA）2.2使用自签CA签发EtcdHTTPS证书3从Github下载etcd二进制文件4部署Etcd集群4.1创建工作目录并解压二进制包
杰哥的技术杂货铺·2023-12-02 09:43

混合云案例：利用 Databend Cloud 高效加速私有 Databend 的策略与实施

目前，Databend在多个用户场景中得到广泛应用，包括：新媒体行业数据分析及大屏数据展示云上CDH替代以减少本地磁盘和资源占用性能明显提升的云上Greenplum替代方案降低用户管理复杂度的云上Clickhouse
Databend·2023-12-01 20:58

Spark写入es：EsHadoopRemoteException: version_conflict_engine_exception

背景介绍业务场景：spark批量写入es，基于es-hadoop组件实现批处理任务定时调度cdh5.5.3集群，spark2.3，elasticsearch6.4.3es中对应索引的_id由程序控制，保证全局唯一仅测试环境出现
weixin_34117522·2023-12-01 09:59

navicat连接mysql报错ssh_Navicat 连接SSH方式连接mysql报错 ssh:expected key exchange group packet...

只需要在sshd配置文件中加入以下行即可：[email protected],ecdh-sha2-nistp256,ecdh-sha2-nistp384,
徐德民·2023-11-30 16:00

大数据学习-离线数仓项目实战笔记（上）

1.1.软件版本产品版本Hadoop2.9.2Hive2.3.7Flume1.9DataX3.0Airflow1.10Atlas1.2.0Griffin0.4.0Impalaimpala-2.3.0-cdh5.5.0MySQL5.71.2
ys4tnaf·2023-11-30 15:24

数据仓库搭建

1.1什么是数据仓库1.2OLTP与OLAP2项目需求及架构设计3项目框架4框架版本选型4.1Hadoop版本综述4.2社区版与第三方发行版的比较4.2.1.Apache社区版4.2.2.第三方发行版（CDH
赵广陆·2023-11-30 13:32

Hadoop入门笔记

2006Cloudera内部集成了很多大数据框架，对应产品CDH。2008Hortonworks文档较好，对应产品HDP。2011Horton
阳宝宝的向日葵·2023-11-30 05:44

Spark on YARN的部署

yarn来调度Spark，比默认的Spark运行模式性能要好的多，前提是首先部署好hadoopHDFS并且运行在yarn上，然后就可以开始部署sparkonyarn了，假设现在准备环境已经部署完毕，这里是在CDH
GoodInSun·2023-11-30 03:23

Java jmx学习---Hive metric

监控这里，目前已知的大数据平台组件比如FusionInsight、CDH对服务的监控做的就很好，无奈，我司的产品属于小本经营，自己从apache里面拿来hive源码，然后直接改点配置文件，就准备上线。
小可0306·2023-11-29 17:01

123.Impala查询缓慢问题与解决

ImpalaDaemon已启用-convert_legacy_hive_parquet_utc_timestampsHive创建测试表，其中“statsdate”字段为TIMESTAMP类型：[root@cdh4scripts
大勇任卷舒·2023-11-29 15:53

Linux安装flume并实现监控文件

flume的安装1.找到flume的安装包并复制到/usr目录下sudocpflume-ng-1.6.0-cdh5.6.0.tar.gz/usr步骤2.解压缩sudotar-zxvfflume-ng-1.6.0
思君_4cd3·2023-11-29 02:56

kerberos mysql配置_CDH安装Kerberos （包含主从配置）

很多企业CDH是没有集成kerberos，原因是kerberos部署后，服务使用起来变复杂，大部分只配置了sentry做权限管理；但真正的CDH多租户应该是身份验证+权限管理。
丰雅·2023-11-28 23:28

Kerberos高可用

文章目录1.备节点安装Kerberos服务2.修改主节点配置3.备节点配置4.节点数据同步至备节点5.节点数据同步至备节点6.配置主节点crontab任务定时同步数据1.备节点安装Kerberos服务cdh001
不饿同学·2023-11-28 23:56

Kerberos高可用HA配置

关于CDH6集成kerberos的配置参见我的另一篇文章：CDH6集成kerberos，感兴趣的朋友可以查阅。
Moon_魔宽·2023-11-28 23:56

0592-5.16.1-如何配置Kerberos高可用

本文主要讲述如何在CDH5.16.1中配置Kerberos服务的高可用。
Hadoop_SC·2023-11-28 23:54

环境准备（06）YARN环境搭建 & 提交作业到YARN

1.配置文件目录/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop2.mapred-site.xml[hadoop@hadoop001hadoop]$cpmapred-site.xml.templatemapred-site.xmlmapreduce.framework.nameyarn3
乌鲁木齐001号程序员·2023-11-28 15:13

HAProxy+KeepAlived高可用负载均衡搭建

KeepalivedforLinux-Version2.0.171、HAProxy安装与配置（基于Centos7）IP为192.168.10.91）解压tarxvfhaproxy-2.0.1.tar.gz2）编译安装haproxycdhaproxy
麦芽maiya·2023-11-28 10:52

2020-07-24

资料仅供参考：objchttps://opensource.apple.com/tarballs/objc4/runloophttps://opensource.apple.com/tarballs/CF/gcdhttps
super_2e20·2023-11-28 03:23

linux du -h按文件大小,linux中du的用法

语法：du[-abcDhHklmsSx0][-L][-XFile][--block-size=SIZE][--exclude=PATTERN][--max-depth=N][--help][--version
小儿外科裴医生·2023-11-28 03:46

perfetto命令 抓取 trace

1.启动Android模拟器进入到cmd中，敲入下面的命令H:cdH:\Sdk\emulator.\emulator.exe-list-avds.
hg2016·2023-11-27 16:00

openssl + ECDH + linux+开发详解（C++）

一、什么是ECDHECDH（EllipticCurveDiffie-Hellman）是一种基于椭圆曲线密码学的密钥交换协议，用于在通信双方之间安全地协商共享密钥。
N阶二进制·2023-11-27 07:39

nginx禁用3DES和DES弱加密算法

3DES和DES弱加密算法yuminstall-ynmapnmap-sV-p443--scriptssl-enum-ciphers127.0.0.1#注释下面的语句（用这个即可）#ssl_ciphersECDHE-RSA-AES128
securitor·2023-11-26 10:37

3.CENTOS安装CDH和Kudu-2

版本：CENTOS7.2CDH5.10Kudu1.23.1Kudu安装CDH从5.10开始，打包集成Kudu1.2，并且Cloudera正式提供支持。
大勇任卷舒·2023-11-26 07:24

java hdfs kerberos 认证超时 Receive timed out

背景cdh6集群为阿里服务器，三台机器搭建而成，并且开启了kerberos，现在想尝试一下用javaapi读取hdfs数据。
KK架构·2023-11-26 00:53

HBase探索篇 _ OpenJdk15编译并部署CDH版HBase

文章目录1.前言2.准备工作3.项目配置3.1项目导入3.2编译配置3.3程序包javax.annotation不存在3.4maven-shade-plugin升级版本3.5程序包javax.xml.ws.http不存在3.6SomeEnforcerruleshavefailed.3.7hbase-spark模块编译报错3.8处理一些编译时的警告信息4.本地启动和功能测试4.1HMasterApp
大猿小猿向前冲·2023-11-25 14:20

CDH-6.3.2完整安装附带资源包

#########创建文件夹############mkdir-p/opt/softwearmkdir-p/opt/module所有服务器都需要创建############安装百度网盘##############1、centos服务器安装百度云盘pipinstallbypy2、输入bypyinfo链接:https://pan.baidu.com/s/1ANDiUQIuZCgYiZOeFpFbxg提
sunnyboy_4·2023-11-25 14:49

基于CentOS7的CDH6.3.2完全分布式集群搭建【上】

第一次搭建CDH，留个文档记录下出现的问题和学到的东西。
HansBigData·2023-11-25 14:18

cdh亲测2022/11/12

一、Hadoop大数据平台1、Hadoop发行版(1)完全开源的原生的ApacheHadoop(2)Cloudera与Hortonworks公司的CDH和HDP：在Cloudera和Hortonworks
Tian.Mrs·2023-11-25 14:18

第一步 CDH6.3.2集成自制Flink1.12.7

一共分两步走：第一步：CDH制作Flink1.12.7第二步：CDH集成Flink1.12.7前提说明早期CDH6.3.2集成的Flink1.12存在log4j漏洞，所以需要重新编译这是之前Flink1.12
secretWHD·2023-11-25 14:18

CDH6安装教程(亲自测试越坑版)

一、Hadoop大数据平台1、Hadoop发行版(1)完全开源的原生的ApacheHadoop(2)Cloudera与Hortonworks公司的CDH和HDP：在Cloudera和Hortonworks
inrgihc·2023-11-25 14:14

Hadoop发行版 Cloudera CDH 6.3.2及CM 安装包下载（阿里云盘 不限速）

CDH（全称Cloudera’sDistribution,includingApacheHadoop）是由Cloudera公司构建的Hadoop稳定发行版，不仅含有ApacheHadoop，还整合了Hive
风情客家__·2023-11-25 14:11

ARCH新装过程

wiki.archlinux.org/index.php/Fdiskmount：https://wiki.archlinux.org/index.php/Mount2.出现网络问题时，需要配置###BasicDHCPnetworkThissetupwille
半步江南·2023-11-24 13:50

HBase本地安装Snappy

环境HBasecdh5-1.2.0_5.12.1环境特别重要。它直接关系到需要使用的Snappy以及Hadoop的版本。如果版本对不上，很可能出现链接本地动态链接库时的错误。操作操作其
AlstonWilliams·2023-11-24 09:08

如何优雅地使用 java 连接 HBase 客户端

放弃不难，但坚持很酷~HBase版本：1.2.0-cdh5.7.0一、客户端的长短连接java远程连接HBase客户端，大体分为两种方式。一种是长连接，一种是短连接。
create17·2023-11-23 20:37

CDH之HIVE-ON-SPARK、Spark配置

原：CDH之HIVE-ON-SPARK、Spark配置_小基基o_O的博客-CSDN博客_cdhhiveonsparkHIVEONSPARK配置CDH6.3.2的HIVE版本为：2.1.1+cdh6.3.2HIVE
javastart·2023-11-23 12:00

一文流：hive使用 bulk load 批量导入数据到 hbase

本文主要参考了hbase和hive官方文档的说明，并结合cdh和hdp的一些教程以及个人在生产中的实践进行记录。
if200·2023-11-23 09:31

CDH6.2.1 集群在线安装kafka 和 brokerid报错 以及 连接超时报错 总结

进入clouderamanager点击添加服选择kafka然后点击选择主机本教程选择了三台机器点击继续进入ReviewChanges页面配置zookeeper的目录配置JavaHelpSizeofBroker(一定要大于512)点击继续，运行完成后安装成功（如果是首次安装）因为不是首次安装所以就出现了报错此时我们点击角色日志查看报错日志通过日志可以看出是brokerid不匹配的问题这个时候我们有两
安心做个小废物·2023-11-22 09:35

hugegraph图数据库环境搭建

centos7版本：1.4.0server和studio：https://pan.baidu.com/s/1nMvbaXcAHHcUvZDok-upkg提取码：71t9修改hugegraph-0.10.4配置文件cdhugegraph
11111kgd·2023-11-21 03:46

kafka_consumer不消费数据的问题排查

背景：初始的时候，在cdh中部署了kafka集群后来方案改为kafka消息平台和cdh中的hive，spark等计算平台分离由于之前的kafka部署配置，污染到后面的apache的kafka集群，使得其消费不到消息我们查看
都教授2000·2023-11-20 23:32

argocd

部署argocdhttps://github.com/argoproj/argo-cd/releaseskubectlcreatenamespaceargocdkubectlapply-nargocd-fhttps
inner222·2023-11-19 19:19

HDFS 使用Hadoop 中自带的词频统计程序，对数据集进行词频统计

一、准备工作：1.按CDH环境说明文档配置相对目录转到/user/hdfs，那么新创建的用户文件夹bigdata***就在/user/hdfs目录之下。
码猿小菜鸡·2023-11-19 16:28

CDH6.3.2集成Apache Flink1.12.0

目录一、编译Flink1下载flink源码2增加maven镜像3执行编译命令二、编译parcel1下载flink-parcel2修改参数3复制安装包4编译parcel5编译csd6上传文件三、CDH集成
终回首·2023-11-19 14:19

3.Apache Hive 查询报错 FAILED: org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

版本CDH6.2.0Hive2.1.1-cdh6.2.0一、问题执行查询视图的sql报错:FAILED:ExecutionError,returncode3fromorg.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
终回首·2023-11-19 14:18

Apache Hive源码阅读环境搭建

前置软件：JDK1.8Maven3.3.91下载源码#下载源码gitclonehttps://github.com/apache/hive.gitcdhive#查看标签gittag#切换到要阅读的指定版本的
终回首·2023-11-19 14:08

开源大数据组件

utm_source=alading&utm_campaign=repoBI报表：DataEasehttps://github.com/dataease/dataease集群管理HDP/CDH/CDP–Todo
刘金宝_Arvin·2023-11-19 01:33

Hive在SQL标准权限模式下创建UDF失败的问题排查

环境：CDH5.16Hive1.1.0已开启KerberosHive授权使用SQLStandardsBasedAuthorization模式（以下简称SSBA模式）症状表现：在编译好UDF的jar包之后
咕噜咕噜大数据·2023-11-19 00:48

cdh 不在 sudoers 文件中。此事将被报告。

之前重装linuxcentos系统后，建立用户cdh。在进行sudoyuminstallXXX时，报如下错误。cdh不在sudoers文件中。此事将被报告。
DSP_G·2023-11-17 03:46

【KeyarchOS】安装部署CM5.13.0和CDH5.13.0实践

目录1概述2安装准备2.1操作系统环境2.2CM版本3安装3.1安装CM5.13.04运行CM安装CDH4.1启动CM服务4.2初始化CM并安装CDH5.13.01概述浪潮信息KOS是浪潮信息基于LinuxKernel
KeyarchOS·2023-11-16 10:03

ZooKeeper安装部署和客户端连接

安装zookeeper的注意事项：安装前需要安装好jdk检测集群时间是否同步检测防火墙是否关闭检测主机ip映射有没有配置##下载安装包、解压下载地址：CDH版本：http://archive.cloudera.com
a大数据yyds·2023-11-15 21:35
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他