CDH

Alluxio 简单使用

一、AlluxioHA下载tar包，这里选择了2.0版本，下载后解压到cdh01ssh免密配置：cpconf/alluxio-site.properties.templateconf/alluxio-site.properties
w1992wishes·2023-10-22 17:13

Hadoop 系列（七）—— HDFS Java API

如果是CDH版本的Hadoop，还需要额外指明其仓库地址：4.0.0com.heibaiyinghdfs-java-api1.0UTF-82.6.0-cdh5.15.2clouderahttps://repository.cloudera.com
heibaiying·2023-10-22 01:01

【200页】CDH安装运维手册

摘要：1.200页CDH大数据集群运维手册2.内容涵盖大数据集群安装、节点管理、用户管理、资源管理和安全管理目录1.ClouderaManager使用【1】2.配置安装源【2】2.1.配置Linux源【
大数据研习社·2023-10-21 18:14

hadoop基础结构

1.hadoop几个点HADOOP免费CDH收费HDP收费后2者合并成为CDP2.结构图HDFS就是分布式存储，包含NameNode（nn）、DataNode(dn)、SecondaryNameNode
阿里纳斯_0097·2023-10-20 20:09

大数据技术系列（1）

1系统平台（Hadoop、CDH、HDP）1.1Hadoop  ApacheHadoop是一个
爱吃西瓜的小菜鸟·2023-10-20 11:32

docker安装下airflow调度CDH中hive,报错ModuleNotFoundError: No module named ‘sasl‘

docker安装下airflow调度CDH中hive,报错ModuleNotFoundError:Nomodulenamed‘sasl’完整报错[2021-03-2514:38:48,763]{{models.py
Vivellice·2023-10-20 09:46

windows 配置kerberos访问启用spnego的CDH 集群web UI页面

一问题描述CDH集群启用HTTPWeb控制台的Kerberos身份验证后，FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的WebUI(如Namenode的50070
weixin_34038652·2023-10-20 08:18

启用Kerberos后，Windows上浏览器访问CDH页面的那些事

前言在对Hadoop集群施加安全认证的过程中，往往会有需要开启对应服务组件WebUI认证的需求。在启用认证后，如果直接使用浏览器打开WebUI页面，都会提示需要进行认证。大部分情况下，都会用到下面几个步骤，来在Windows上打开需要认证的WebUI：安装Firefox浏览器安装MITKerberosWindows客户端配置krb5.ini文件配置Firefox的高级选项：network.nego
咕噜咕噜大数据·2023-10-20 08:47

Windows 配置kerberos访问并启动访问CDH 集群web UI页面

1、问题描述：CDH集群启用HTTPWeb控制台的Kerberos身份验证后，FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的WebUI(如Namenode的50070
大大大大大大太阳·2023-10-20 08:14

CDH启用Kerberos导致hdfs,yarn等页面无法访问解决

CDH启用Kerberos，导致namenode和resourcemanager等页面无法访问，访问页面的时候报错Problemaccessing/cluster.Reason解决方案：将hdfs/yarn
me凡·2023-10-20 08:13

安装HAProxy实现Impala负载均衡(有Kerberos)

实现软均衡负载，具体方案；在客户端与服务端直接搭建HAProxy服务，监听相应接口，分发请求；以下是通过HAProxy实现impala均衡负载方案前提条件：impala服务正常本文impala版本3.2.0+cdh6.3.2
邢一·2023-10-20 08:12

openssl-key-exchange 基于ECDH (Elliptic-Curve Diffie–Hellman) 的密钥交换流程

openssl-key-exchange本文摘自我在GitHub的开源项目https://github.com/zhoupeng6d/openssl-key-exchange简介该方案介绍一种通过ECDH
zhoupeng6d·2023-10-20 07:27

ZooKeeper的安装与详解

安装zookeeper的注意事项：安装前需要安装好jdk检测集群时间是否同步检测防火墙是否关闭检测主机ip映射有没有配置##下载安装包、解压下载地址：CDH版本：http://archive.cloudera.com
大数据狂人·2023-10-20 06:19

基于mpvue的微信小程序全栈保姆式教程一

预览最终效果https://github.com/FFGF/XCDHBook/blob/master/static/XCDHBook.gif顺便推荐一个视频转gif的好工具https://ezgif.com
qq_17112235·2023-10-20 00:11

rust学习 （一）rustc和cargo

（1.2）helloworld：mkdir+文件夹名XXX：创建空白文件夹XXX；例如mkdirhello_world（俩单词之间用“_”连接起来）cd+文件夹名XXX：进入文件夹XXX；例如cdhello_world
一只工程鸭·2023-10-19 23:42

maven指南

@(OTHERS)[maven]maven指南1maven下载出错2打包超级包shade与provided3依赖冲突NoSuchMethodErrorClassNotFoundException4添加CDH
jediael_lu·2023-10-19 22:40

压测九种工具

下载地址：http_load-12mar2006.tar.gz安装很简单#tarzxvfhttp_load-12mar2006.tar.gz#cdhttp
佳司海心·2023-10-19 19:22

tomcat、nginx实现四层转发+七层代理+动静分离实验

1nginx3——20.0.0.31——代理服务器2动态页面：tomcat1——20.0.0.12——后端服务器1tomcat2——20.0.0.22——后端服务器2实验步骤：1、nginx1四层代理cdhtmlvimindex.html2
咩咩230·2023-10-19 08:14

在两个kafka集群同步topic

在两个kafka集群同步topic目标：把debezium节点所在集群上的kafka集群的名为sysdata的topic同步到目标集群cdh上的kafka集群上。
yostkevin·2023-10-19 04:19

hue实现对hiveserver2 的负载均衡

如果你使用的是CDH集群那就很是方便的在ClouderaManager中，进入HDFSService进入Instances标签页面，点击AddRoleInstances按钮，如下图所示点击Continue
墨卿风竹·2023-10-18 19:12

vue普通加密以及国密SM2、SM3、sm4的使用

/package/sm-crypto介绍1.SM2是非对称加密算法它是基于椭圆曲线密码的公钥密码算法标准，其秘钥长度256bit，包含数字签名、密钥交换和公钥加密，用于替换RSA/DH/ECDSA/ECDH
hyduan200·2023-10-18 14:26

CDH5.15 安装spark2 ，启动报错，求解

[root@hadoop1csd]#spark2-shellExceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/fs/FSDataInputStreamatorg.apache.spark.deploy.SparkSubmitArgumentsanonfun$mergeDefaultSparkPropert
秦记·2023-10-18 05:37

发布springboot-demo到私有HARBOR并使用k8s部署

type类型HARBOR新版本安装https://segmentfault.com/a/1190000022812745tar-xvfharbor-offline-installer-v2.5.0.tgzcdharborcpharbor.yml.tmplha
牧竹子·2023-10-18 02:57

CDH6.3.1离线安装（内含安装包）

一、安装前准备1、安装包链接：https://pan.baidu.com/s/1drZV1CtUn8h3DHt6wjeVvw?pwd=1234提取码：1234image.png2、服务器准备2.1配置host相互访问都用配置的host进行访问所有机器使用同一个配置[root@gy-dev-app~]#vim/etc/hosts127.0.0.1localhostlocalhost.localdom
黄蜂怪·2023-10-18 02:50

如何在CDH5.16.2中部署海豚调度器Apache Dolphin Scheduler 1.2.0

://dolphinscheduler.apache.org/en-us/Github:https://github.com/apache/incubator-dolphinscheduler部署环境CDH
青年夏日科技·2023-10-18 01:46

待看的优秀文章链接

苹果官方文档objchttps://opensource.apple.com/tarballs/objc4/runloophttps://opensource.apple.com/tarballs/CF/gcdhttps
洧中苇_4187·2023-10-17 23:41

HDFS Java API

如果是CDH版本的Hadoop，还需要额外指明其仓库地址：<?xmlversion="1.0"encoding="UTF-8"?</
shangjg3·2023-10-17 19:59

\OBJ\templiate.axf: Error: L6218E: Undefined symbol PcdHalt (referred from rc522.o).

keil5报错记录:…\OBJ\templiate.axf:Error:L6218E:UndefinedsymbolPcdHalt(referredfromrc522.o).先来百度翻一下：目标\模板.
Ydon?tkwhmeIS·2023-10-17 18:29

Linux上使用SSH连接Git

git:[zhichao@localhost/]$yuminstallgit生成密钥:[zhichao@localhost/]$ssh-keygen打开密钥文件:[zhichao@localhost/]cdhome
思想永无止境·2023-10-17 07:08

实录分享 | Alluxio 在网易大数据的应用与优化

一、背景介绍网易有数大数据基础平台NDH：NDH是网易对标ClouderaCDH的一个内部实现，是网易内部广泛使用的一个基础平台。
Alluxio·2023-10-17 06:30

Spark读写HBase表数据

cloudera-reposorg.apache.sparkspark-core_2.112.3.3org.apache.commonscommons-lang33.7org.apache.hbasehbase-spark2.1.0-cdh6.2.0org.apache.spa
扎西的德勒·2023-10-17 04:14

搭建Atlas2.2.0 集成CDH6.3.2 生产环境+kerberos

首先确保环境的干净，如果之前有安装过清理掉相关残留确保安装atlas的服务器有足够的内存（至少16G），有必要的hadoop角色HDFS客户端—检索和更新Hadoop使用的用户组信息（UGI）中帐户成员资格的信息。对调试很有用。HBaseClient-Atlas存储其Janus数据库，用于初始导入HBase内容，因此它需要持续访问HBase服务中的两个表。Hive客户端-用于初始导入Hive内容。
Mumunu-·2023-10-16 21:49

大数据学习笔记，学习清单

大数据目前技术组件有很多，比如有hdfs,hive,spark,flink,kafka,clickhouse,cdh,nifi,streamset等等技术，主流的开发语言有Java，Scala，Python
平凡天下·2023-10-16 06:59

Linux环境下Hive的安装

一、安装Hive1.1下载并解压下载所需版本的Hive，这里我下载版本为cdh5.15.2。
Keven He·2023-10-15 17:27

Hive 系列（二）—— Linux 环境下 Hive 的安装部署

一、安装Hive1.1下载并解压下载所需版本的Hive，这里我下载版本为cdh5.15.2。
weixin_30362083·2023-10-15 17:56

linux下基于hadoop安装hive和Zeppelin安装

将包放在opt目录下/opt/soft/hive110/lib目录下[root@wqopt]#tar-zxfhive-1.1.0-cdh5.14.2.tar.gz[root@wqopt]#mvhive-
SKY_WU95·2023-10-15 17:17

基于Linux系统的HIVE安装

2、安装包解压tar-zxf/opt/zookeeper-3.4.5-cdh5.14.2.tar.gz3、将解压文件放到op
叶子不落·2023-10-15 17:46

【教程】使用vuepress构建静态文档网站，并部署到github上

VuePress(vuejs.org)构建项目我们跟着官网的教程先构建一个demo这里我把vuepress-starter这个项目名称换成了howtolive创建并进入一个新目录mkdirhowtolive&&cdhowtolive
橙子1111·2023-10-15 15:18

CDH 6.3.1 集成Atlas

备注:安装之前先要准备好JDK1.8ZookeeperKafkaHbaseSolr一.Atlas下载现在linux环境通过git下载:gitclone-brelease-2.1.0-rc3https://github.com/apache/atlas.git然后拷贝回到windows环境下，因为后期要用编译ATLAS源码。二.ATLAS源码编译2.1IntellijIDEA导入Maven项目选择O
只是甲·2023-10-15 11:48

Spark 启动java.lang.NoClassDefFoundError: com/fasterxml/jackson/databind/Module 报错

自己试着找了一下包,Ok成功启动,在这里记下,避免其他人在这块费时间下面是异常信息,很明显是缺少类,之前一直以为是自己没有配置清楚,没有想到是缺包,博主的是在装的伪分布版本如下hadoop-2.6.0-cdh5.12.1
徴心·2023-10-15 00:50

kafka eagle（EFAK）的介绍和保姆级安装教程

本文主要介绍Apache和CDH平台下kafkaeagle的安装配置教程，ClouderaCDP平台可以选择自带的SMM，也可以像CDH一样配置kafkaeagle（推荐）。
炼数成器·2023-10-14 18:54

Ubuntu修改mtu

出现expectingSSH2_MSG_KEX_ECDH_REPLY。2、需要修改系统MTU，Ubuntu默认为1500；修改为1492。
jyong·2023-10-14 07:40

linux中ubuntu安装hashcat方法以及使用GPU破解

gitgitclonehttps://github.com/hashcat/hashcat.git#gitclonehttps://kgithub.com/hashcat/hashcat.git#国内镜像克隆cdhashcatmakemakeinstallnewgrp
云霄IT·2023-10-14 06:01

【Kylin】【Hive】【hive-testbench】tpch 数据集生成失败，提示报错class org.apache.hadoop.hdfs.web.HftpFileSystem ...

gitclonehttps://github.com/hortonworks/hive-testbench.gitcdhive-testbench/./tpch-build.sh./tpch-setu
JustinXTT·2023-10-13 09:24

Rust语言——cargo

语句cargonewhello_cargo来生成一个cargo项目(cargo项目可以实现大型的代码任务)，以下为cargo结构：cargo.toml为该cargo文件的配置文件随后在cmd中输入命令:cdhello_cargo
一只猪咪·2023-10-13 02:29

Hive源码调试

格式化namenode2.4启动hdoop3、编译Hive3.1编译3.2配置hive3.3初始化元数据库4、调试参考链接1、概述  最近用到了HiveHook的一些功能，每次打包后都要将jar包拷贝到CDH
0x3E6·2023-10-11 14:50

Cdhit的使用说明

最近在完成一项任务的时候要利用cdhit序列聚类软件对几万条的序列文件进行聚类，基本摸清了用法，在此记录一下，并在此感谢肥肥的帮助经历这件事，我吸取了教训，就是想要摸清一个软件的全部用法，不应该只是凭着在
不玩手机的蛇佬腔·2023-10-11 00:42

椭圆曲线介绍（四）：椭圆曲线安全性，与RSA对比

在上一篇博客中，我们已经介绍了两种椭圆曲线上面的密码学算法：ECDH和ECDSA。注意到两种算法的安全性都是基于了椭圆曲线中的离散对数问题。但是，还没有严谨的数学证明说明离散对数问题确实是困难的
AdijeShen·2023-10-10 22:53

第7节 hudi 0.9 与Flink 1.12.2 集成测试

Flink从hudi0.9的编译pom中查看，编译时用的flink版本是1.12.2,在官网下载Indexof/dist/flink/flink-1.12.2（1）上传到集群中因为是测试流程，先单节点上传至cdh06
第一次看海·2023-10-10 21:27

java.nio.channels.SocketChannel[connection-pending remote=/xx.xx.xx.xx:9866]

目录背景问题描述解决办法背景CDH集群在内网中部署，外网客户端需要正常提交任务到内网集群Yarn上，但外网客户端和内网网络不能直接连通，于是通过将内网中的每台主机绑定一个浮动ip，然后开通外网客户端和浮动
qiangzi_lg·2023-10-10 17:31
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他