Cloudera(CDH)

pyspark on yarn

如果是搭建的CDH或者CDP可以直接从管理界面下载配置文件。直接下载hive组件的客户端配置就可以，它里面包含了hdfs和yarn的配置。
骑着蜗牛向前跑·2023-12-16 03:34

hue的安装和hadoop集群整合

一、Hue概述HUE（HadoopUserExperience）是一个开源的ApacheHadoopUI系统，由ClouderaDesktop演化而来，最后Cloudera公司将其贡献给Apache基金会的
五块兰州拉面·2023-12-16 00:15

Hue安装部署

1Hue简介1.1Hue介绍Hue是一个开源的ApacheHadoopUI系统，最早是由ClouderaDesktop演化而来，由Cloudera贡献给开源社区，它是基于PythonWeb框架Django
chenlouzhen1603·2023-12-16 00:43

大数据各组件安装笔记汇总

/bin/bashecho"-----------------cdh01-------------------------"/opt/apps/jdk1.8.0_45/bin/jpsecho""for(
ZGFAgf·2023-12-16 00:11

sparkStreaming与kafka整合案例

pom文件4.0.0com.cllday011.0-SNAPSHOTaliyunhttp://maven.aliyun.com/nexus/content/groups/public/clouderahttps
古城的风cll·2023-12-15 22:08

kafka 常用命令【学习笔记】

Kafka环境变量配置exportKAFKA_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/kafkaexportPATH
专注代码七年·2023-12-15 21:24

大数据基础知识

Hadoop、Hbase、Spark、Flink、Flume、Kafka、Sqoop、HDFS、Hive、Mapreduce、Impala、Spark-Sql、Elasticsearch、Yarn、Hue、ClouderaManager
偶余杭·2023-12-15 17:22

kudu由来、架构、数据存储结构、注意事项

一、kudu背景介绍Kudu是Cloudera开源的新型列式存储系统，是ApacheHadoop生态圈的成员之一(incubating)，专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺
AllenGd·2023-12-15 13:32

大数据组件sqoop部署安装与测试练习

环境说明10.176.2.101master10.176.2.103zjx0310.176.2.105zjx05cent-os6.5zookeepercdh3.4.5hadoopapache2.7.7mysql5.17jdk1.8.191sqoop1.4.7
zwb_jianshu·2023-12-15 06:05

大数据篇|Hadoop发展史及介绍

文章目录一、Hadoop介绍1.1、Hadoop是什么二、Hadoop发展史2.1、创始人2.2、Hadoop发展历史/起源2.3、Hadoop三大发行版本2.3.1、ApacheHadoop2.3.2、ClouderaHadoop2.3.3
五月天的尾巴·2023-12-15 03:56

2.CENTOS安装CDH和Kudu-1

版本：CENTOS7.2CDH5.10Kudu1.22.1概述本文CENTOS7.2操作系统部署CDH企业版的过程。
大勇任卷舒·2023-12-15 01:40

Ambari和ClouderManager分析对比

ambari和clouderaManager这两个系统，目的就是简化hadoop生态集群的安装、配置，同时提高hadoop运维效率，以及对hadoop集群进行监控。
weixin_30481087·2023-12-14 20:42

用fabric-sdk-java调用Fabcar链码

一、启动fabcar1、设置go代理goenv-wGOPROXY=https://goproxy.io,directgoenv-wGO111MODULE=on2、启动fabcar测试网络cdhyperleger
小青蛙呱呱跳·2023-12-14 16:13

物联网架构之CDH

1、常规初始化操作三个节点都需要执行hostnamectlset-hostnamecdhmasteryum-yinstallvimlrzsznet-toolscat>>/etc/hosts>/etc/profile
叮咚网工·2023-12-14 14:58

Beyond Compare 3密钥序列号分享及密钥被撤销的解决办法

BeyondCompare3密钥：---BEGINLICENSEKEY---mv1nPlXAywBDCdhxFc9QOVv6TBcQHLAXBQUAKTh3ie4fqSEOnWrPsnVkFyt0wAkJHweoExRJWWVwwCniKNROSdJzJXE6YVapYW7f
nanke_yh·2023-12-07 00:15

巨量引擎APK

/keytool-printcert-fileE:\AndroidStudioProject\dcdhTT\android_studio\app\release\zip\META-INF\CERT.RSA
小春熙子·2023-12-06 14:37

数据仓库安全框架Sentry调研

CDH版本的Hadoop在对数据安全上的处理通常采用Kerberos+Sentry的结构。其中，Kerberos主要负责平台用户的权限管理，Sentry则负责数据的权限管理。
大数据faner·2023-12-06 02:47

termux配置python安装kali_termux安装kali Nethunter(无需root)

如果您不在主目录中，请在终端中使用cdhome命令更改目录。设备上需要安装一些软件包和git才能使kaliLinux正常工作。
weixin_40004051·2023-12-06 00:55

HTTP 和 HTTPS的区别

2.默认端口号：4433.TCP三次握手即可+SSL/TTL四次握手(RSA算法和ECDHE算法)4.采用对称加密和非对称加密结合的「混合加密」方式：在通信建立前采用非对称加密的方式交换
_OLi_·2023-12-05 08:29

CDH6下线DataNode节点

CDH6下线DataNode节点1.版本说明2.找到HDFS的实例3.解除授权4.重启集群5.注意事项1.版本说明我这里使用的是CDH6,更高版本请参考https://www.dandelioncloud.cn
真香IT·2023-12-05 04:01

一个大数据架构师应该掌握的技能

1.行业平台1）大平台谷歌云亚马逊云阿里云腾讯云网易云华为云2）小平台国云国双青云勤思3）专业工具平台海致BDP永洪易观4）APP分析平台mixpanelgrowingIO神策诸葛IO2.技术选型1）CDH2
潘永青·2023-12-05 02:13

Spark读写Oracle性能深度调优

1、环境准备  在本次测试环境中，用6台机器搭建了CDH的Hadoop平台，Spark2.2版本搭配Yarn进行资
weixin_43370502·2023-12-04 21:16

04数据平台Flume

Flume是Cloudera提供的高可用，高可靠性，分布式的海量日志采集、聚合和传输的系统工具。
kk_io·2023-12-04 04:20

Flume

FlumeFlume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。
felix521·2023-12-04 01:41

初始化 Clouder Manager 数据库报错Unable to find JDBC driver for database type: MySQL

CDH部署初始化ClouderManager数据库报错。
Appreciate(欣赏)·2023-12-03 23:17

一劳永逸办法 Intellij idea 报错：Error : java 不支持发行版本5

在settings中找到FileandCodeTemplates在找到Mavenimage.png在pom.xml中添加此配置UTF-8UTF-89cdh5.5.299UTF-82.102.10.4添加这个配置
落雪无尘V·2023-12-03 21:42

Centos7源码安装Apache(httpd-2.4.53)及问题解决

编写测试网页参考出错解决安装HTTPD下载地址.wgethttps://dlcdn.apache.org/httpd/httpd-2.4.53.tar.gz#下载tar-zxvfhttpd-2.4.53.tar.gz#解压缩cdhttpd
Noneofmine·2023-12-03 18:53

大数据技术之Oozie

一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对HadoopMapReduce、PigJobs的任务调度与协调。Oozie需要部署到JavaServlet容器中运行。
星川皆无恙·2023-12-03 13:00

大数据技术之Flume（超级详细）

大数据技术之Flume（超级详细）第1章概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
星川皆无恙·2023-12-03 13:58

修改 Python 的 JA3 ， 突破反爬虫指纹

而requests里面默认的加密算法如下：ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:ECDH+AES128:DH+AES:ECDH+HIGH:DH+HIGH
___n·2023-12-03 11:21

决策 Diffie-Hellman DDH 和 CDH

密码学中的Diffie-Hellman问题有几种变体：计算问题(CDH)和决策问题(DDH)。这篇文章将解释两者，并举例说明前者如何困难而后者如何简单。
vvoennvv·2023-12-03 04:59

大数据技术学习笔记之hive框架基础3-sqoop工具的使用及具体业务分析

一、CDH版本的介绍及环境部署-》Hadoop的三大发行版本-》ApacheHadoop-》clouderaHadoop：CDH-》Hortonworks:HDP-》选用CDH版本的好处-》解决每个框架之间的兼容性问题
黄剑锋1996·2023-12-02 19:50

Kubernetes集群部署—部署etcd集群（二）

文章目录1准备cfssl证书生成工具2生成Etcd证书2.1自签证书颁发机构（CA）2.2使用自签CA签发EtcdHTTPS证书3从Github下载etcd二进制文件4部署Etcd集群4.1创建工作目录并解压二进制包
杰哥的技术杂货铺·2023-12-02 09:43

混合云案例：利用 Databend Cloud 高效加速私有 Databend 的策略与实施

目前，Databend在多个用户场景中得到广泛应用，包括：新媒体行业数据分析及大屏数据展示云上CDH替代以减少本地磁盘和资源占用性能明显提升的云上Greenplum替代方案降低用户管理复杂度的云上Clickhouse
Databend·2023-12-01 20:58

Spark写入es：EsHadoopRemoteException: version_conflict_engine_exception

背景介绍业务场景：spark批量写入es，基于es-hadoop组件实现批处理任务定时调度cdh5.5.3集群，spark2.3，elasticsearch6.4.3es中对应索引的_id由程序控制，保证全局唯一仅测试环境出现
weixin_34117522·2023-12-01 09:59

navicat连接mysql报错ssh_Navicat 连接SSH方式连接mysql报错 ssh:expected key exchange group packet...

只需要在sshd配置文件中加入以下行即可：[email protected],ecdh-sha2-nistp256,ecdh-sha2-nistp384,
徐德民·2023-11-30 16:00

大数据学习-离线数仓项目实战笔记（上）

1.1.软件版本产品版本Hadoop2.9.2Hive2.3.7Flume1.9DataX3.0Airflow1.10Atlas1.2.0Griffin0.4.0Impalaimpala-2.3.0-cdh5.5.0MySQL5.71.2
ys4tnaf·2023-11-30 15:24

数据仓库搭建

1.1什么是数据仓库1.2OLTP与OLAP2项目需求及架构设计3项目框架4框架版本选型4.1Hadoop版本综述4.2社区版与第三方发行版的比较4.2.1.Apache社区版4.2.2.第三方发行版（CDH
赵广陆·2023-11-30 13:32

Hadoop入门笔记

第1章Hadoop概述1.1Hadoop是什么1.2Hadoop发展历史（了解）1.3Hadoop三大发行版本（了解）Hadoop三大发行版本：Apache、Cloudera、Hortonworks。
阳宝宝的向日葵·2023-11-30 05:44

Spark on YARN的部署

yarn来调度Spark，比默认的Spark运行模式性能要好的多，前提是首先部署好hadoopHDFS并且运行在yarn上，然后就可以开始部署sparkonyarn了，假设现在准备环境已经部署完毕，这里是在CDH
GoodInSun·2023-11-30 03:23

IDEA：外部引入jar包，打包失败，提示程序包找不到

/ImpalaJDBC41.jar-DgroupId=com.cloudera.impala-Dartifa
梦里Coding·2023-11-29 19:58

Java jmx学习---Hive metric

监控这里，目前已知的大数据平台组件比如FusionInsight、CDH对服务的监控做的就很好，无奈，我司的产品属于小本经营，自己从apache里面拿来hive源码，然后直接改点配置文件，就准备上线。
小可0306·2023-11-29 17:01

123.Impala查询缓慢问题与解决

ImpalaDaemon已启用-convert_legacy_hive_parquet_utc_timestampsHive创建测试表，其中“statsdate”字段为TIMESTAMP类型：[root@cdh4scripts
大勇任卷舒·2023-11-29 15:53

Linux安装flume并实现监控文件

flume的安装1.找到flume的安装包并复制到/usr目录下sudocpflume-ng-1.6.0-cdh5.6.0.tar.gz/usr步骤2.解压缩sudotar-zxvfflume-ng-1.6.0
思君_4cd3·2023-11-29 02:56

kerberos mysql配置_CDH安装Kerberos （包含主从配置）

很多企业CDH是没有集成kerberos，原因是kerberos部署后，服务使用起来变复杂，大部分只配置了sentry做权限管理；但真正的CDH多租户应该是身份验证+权限管理。
丰雅·2023-11-28 23:28

Kerberos高可用

文章目录1.备节点安装Kerberos服务2.修改主节点配置3.备节点配置4.节点数据同步至备节点5.节点数据同步至备节点6.配置主节点crontab任务定时同步数据1.备节点安装Kerberos服务cdh001
不饿同学·2023-11-28 23:56

Kerberos高可用HA配置

关于CDH6集成kerberos的配置参见我的另一篇文章：CDH6集成kerberos，感兴趣的朋友可以查阅。
Moon_魔宽·2023-11-28 23:56

0592-5.16.1-如何配置Kerberos高可用

本文主要讲述如何在CDH5.16.1中配置Kerberos服务的高可用。
Hadoop_SC·2023-11-28 23:54

解决Spark SQL读数据库时不支持某些数据类型的问题

一、系统环境Spark版本：2.1.0.cloudera1JDK版本：JavaHotSpot(TM)64-BitSer
alexlee666·2023-11-28 20:49

环境准备（06）YARN环境搭建 & 提交作业到YARN

1.配置文件目录/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop2.mapred-site.xml[hadoop@hadoop001hadoop]$cpmapred-site.xml.templatemapred-site.xmlmapreduce.framework.nameyarn3
乌鲁木齐001号程序员·2023-11-28 15:13
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他