Cloudera(CDH)

spark消费kafka(cdh启用kerberos)

不生产博客，只是别人博客的裁缝一入kerberos深似海，从此节操是个玩意儿之前写过一篇spark消费kafka问题记录(cdh5.16.2)，主要记录了安装spark2后，spark的问题，和本地可以执行
hadoop程序猿·2023-03-28 22:10

WIFI密码破解

1.安装xcode,macport安装aircrack-ngsudoportinstallaircrack-ng安装Hashcat,cdhashcat//进入目录sudomakesudomakeinstall
淡然z·2023-03-28 20:30

虚拟机centos7配置Hadoop单节点伪分布配置教程

的博客-CSDN博客centos7克隆虚拟机完成后的的一些配置介绍_张小鱼༒的博客-CSDN博客文章目录目录系列文章目录文章目录前言一、前期准备二、Hadoop介绍2.1、ApacheHadoop2.2、ClouderaHadoop2.3
张小鱼༒·2023-03-28 19:06

大数据技术之Flume

第1章Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
DK_521·2023-03-28 19:34

阿里巴巴认证_Android开发规范

spm=5176.8764728.aliyun-edu-course-header.10.63ac57daCDHAkr#sku=yuncode2012000001阿里巴巴Android开发手册地址：https
小马哒哒001·2023-03-28 18:13

一、CDH6.2大数据平台安装手册

一、集群规划实际工作中搭建CDH集群的话，原则上来说，机子越多越好，如果资源有限的话，建议前期最好4台机子，4台机子的话，针对hadoop集群而言可以设置为1主3从，如果考虑到HA的话，就需要最少5台机子
阿靖哦·2023-03-28 16:25

大数据之CDH5.16.1集成Tez0.9.2

上两篇中，我们介绍完了CDH环境的基本搭建。在这篇中，我们讲述对hive的一个优化措施之一：执行引擎tez。
LearnBigData·2023-03-28 12:50

CDH平台-Hue集成Oracle报错:no oracle client library found on host:…

在Hue的编辑器中可以集成Oralce进行查询，集成过程中报错：nooracleclientlibraryfoundonhost:…可以通过以下方法解决:解决方法：在Hue服务的服务器上安装以下对应版本Oracle包：oracle-instantclient11.2-basic-11.2.0.4.0-1.x86_64.rpmoracle-instantclient11.2-devel-11.2.0
jay1122·2023-03-27 17:55

关于后台启动spark-submit的操作

主机环境：Centos7.33台hadoop版本：hadoop-2.6.0-cdh5.7.0hbase版本：hbase-1.2.0-cdh5.7.0spark版本：spark-2.2.0-bin-2.6.0
Hiwes·2023-03-27 05:44

nginx配置https证书后，ie8无法访问

查阅大量资料后，发现一位大佬表明ie8使用CBC3算法,找不到原文链接了，如果作者有看到，请联系我，本文仅做记录serverssl配置ssl_ciphersssl_ciphersEECDH+AESGCM
上下而求索·2023-03-26 20:56

大数据随记 —— Hadoop 概述

大数据系列文章：目录文章目录一、Hadoop概述二、Hadoop组件介绍三、Hadoop版本介绍①ApacheHadoop②ClouderaHadoop（CDH）③HortonWorksHadoop（HDP
繁依Fanyi·2023-03-26 18:11

java.io.FileNotFoundException: File does not exist: hdfs://xxx

一、产生问题背景我们公司正在准备从cdh迁回社区版hadoop集群，启动flink任务的时候，还未运行就直接报错：Causedby:org.apache.flink.yarn.YarnClusterDescriptor
FishMAN__·2023-03-26 11:39

Hue 入门

2安装部署2.1、帮助文档http://archive.cloudera.com/cdh5/cdh/5/hue-
djm猿·2023-03-26 01:24

CDH6.3.1在谷歌云的搭建

这两个礼拜，我分别试出了CDH在谷歌云和本地的搭建方法，堪称血泪史啊，话不多说，直接整活。1.为什么要用CDH官方回答：利用业界领先的现代数据管理平台CDH，可以最大程度地利用数据。
两只cows·2023-03-25 23:19

CDH环境Kafka Manager安装配置

一、下载安装包下载地址：https://github.com/yahoo/kafka-managerkafka-manager-master.zip二、解压到指定目录unzipkafka-manager-master.zip–d/opt/kafka-monitor-tools/kafka-manager三、修改配置文件1.修改KafkaManager配置文件vi/opt/kafka-monitor
枫棱·2023-03-25 21:03

使用parquet-tools工具查看parquet文件

cdh默认安装了。
代码足迹·2023-03-24 17:21

CDH5.13.x文档翻译SQL Differences Between Impala and Hive

https://www.cloudera.com/documentation/enterprise/5-13-x/topics/impala_langref_unsupported.html#langref_hiveql_deltaImpala
gregocean·2023-03-24 07:10

关于CRT连接kali 2020 报错Key exchange failed问题

www.cnblogs.com/xjcn/p/13470254.html/etc/ssh/sshd_config最后一行写上：[email protected],ecdh-sha2
3hua·2023-03-24 07:25

如何使用JMX_Expoter+Prometheus+Grafana监控Hadoop集群

JMX_Expoter监控因为目前CDH以及HDP后续要合并闭源，公司打算花时间自研一个类似的平台，我也对集群监控这块下了点功夫。
Mengkai Liu·2023-03-23 20:32

大数据技术之CM安装------1

第1章ClouderaManager1.1clouderamanager的概念简单来说，ClouderaManager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内
ItStar·2023-03-23 00:30

vue项目的搭建

vueinitwebpackhello-vue2.然后我们需要安装依赖，依次安装你所需要的依赖，这里我们需要下载的有vue-router,element-ui,sass-loader和node-sass四个插件cdhello-vue
MrH_永无BUG·2023-03-22 05:05

Cloudera Hadoop（cdh5.1.0）平台搭建2

选择免费的版本，因为免费的版本功能足够使用节点IP一般连续，采用图中的模式会比较好，然后搜索后目前有两个阶节点，选中，继续选择Parcel（离线）安装，但是CDH版本是5.3.0，我们安装的是5.1.0
鹰击长空123·2023-03-21 19:00

正确使用Impala的invalidate metadata与refresh语句

在CDH中默认是MySQL，我们可以通过showtablesinhive语句清晰地看到HiveM
LittleMagic·2023-03-21 13:13

spark on hbase 读写

本文主要讲述了spark对hbase进行独写的两种方式，这两种方式分别为：1.利用spark提供的newAPIHadoopRDDapi对hbase进行读写2.SparkOnHbase，这种方式其实是利用Cloudera-labs
Ivan_030c·2023-03-21 04:47

Hbase三节点集群搭建

Hadoop集群以及Zookeeper集群Hadoop集群的搭建参考：Hadoop三节点集群搭建Zookeeper集群的搭建参考：Zookeeper三节点集群搭建安装中用到的软件包hbase-1.2.0-cdh5.14.2
HideOnStream·2023-03-20 17:30

CDH6.3.1 hue 配置hbase

对于hbase的可视化界面，目前比较好用的就是hue的了，刚好cdh自带了hue所以配置器来比较方便，这里记录一下配置步骤按照这篇文章的配置已经后还需要进行HBaseThriftServer的配置https
胖子捏肚子·2023-03-20 16:20

CDH 5.13 集群有2台服务器，发生自动重启，有报错

2018-08-0610:28:21,732ERRORParcelUpdateService:com.cloudera.parcel.components.ParcelDownloaderImpl:(1skipped
秦记·2023-03-20 03:47

CDH 6.3.1 rpm+http安装部署

一、准备工作1.离线部署主要分为三块:a.MySQL离线部署b.CM离线部署c.Parcel⽂件离线源部署2.规划节点MySQL部署组件Parcel文件离线源CM进程大数据组件cdh001ParcelActivityMonitorNNRMDNNMcdh002MySqlAlertPublisherEventServerDNNMcdh003HostMonitorServiceMonitorDNNM3
吃货大米饭·2023-03-19 20:02

Flink-cdc写入hudi并使用hive和spark-sql查询(基于flink1.13.5和hudi0.10.0，flink-cdc2.1.1)

一、环境准备flink1.13.5flink-cdc2.1.1hudi-0.10.0spark-3.1.2、hadoop-2.6.5、hive-1.1.0(cdh5.16版本)jar包:hudi-spark3
小三你妹·2023-03-19 11:32

Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践

1.测试过程环境版本说明Flink1.13.1Scala2.11CDH6.2.0Hadoop3.0.0Hive2.1.1Hudi0.10(master)PrestoDB0.256Mysql5.72.集群服务器基础环境
大数据技术架构·2023-03-19 11:26

【Apache Phoenix简介、存储结构、基本操作、安装】

ApachePhoenix简介、存储结构、基本操作、安装（附安装包）1.简介、概述1.1phoenix特点1.2存储结构1.3Phoenix与Hbase之间的表映射关系1.4Phoenix数据类型2.基于CDH6.3.2
yuhh_·2023-03-19 11:45

Streampark集成Cloudera Flink、ldap、告警，以及部署常见问题

集成背景我们当前集群使用的是ClouderaCDP，Flink版本为ClouderaVersion1.14，整体Flink安装目录以及配置文件结构与社区版本有较大出入。
酥酥饼一号·2023-03-19 11:12

CDH-离线安装 记录

vim/etc/hosts172.16.13.129129.master172.16.13.130130.slave172.16.13.131131.slave永久修改服务器namehostnamectlset-hostnameyourhostname服务器设置systemctlstopfirewalld关闭防火墙systemctldisablefirewalld禁止防火墙开机自启vim/etc/
帅帅的大同人·2023-03-19 10:47

MAC OS程序的签名问题

如果出现如下错误:notvalidforuseinprocessusingLibraryValidation:mappedfilehasnocdhash,completelyunsigned?
dotphoenix·2023-03-17 14:19

completely unsigned? Code has to be at least ad-hoc signed

notvalidforuseinprocessusingLibraryValidation:mappedfilehasnocdhash,completelyunsigned?
Sico2Sico·2023-03-17 14:48

janusgraph 自建server使用手记

环境java8环境hadoop安装启动versionserversmastercdh-hadoop-2.6.0spark-slave10,spark-slave11,spark-slave12,spark-slave13
水他·2023-03-17 08:42

2018-09-24 wes文献阅读4

和RAD51C基因的种系突变Journal:GastroenterologyIF:20.773Articlehistory:accepted2017April摘要：10%胃癌有家族遗传倾向，目前只发现CDH1
凤凰_0949·2023-03-17 00:58

go基础例子

创建模块#创建项目文件mkdirhellocdhello2.初始化模块gomodinitexample.com/hello创建接口go#创建文件vimhello.go添加代码//一个模块只能有一个main
ICEMARK·2023-03-16 18:35

ijkplayer支持rtmp

一、视频文件推流方式：这个是ffmpeg本地路径cdH:\第三方插件\ffmpeg-20200802-b48397e-win64-static\ffmpeg-20200802-b48397e-win64
gold_tq·2023-03-16 02:02

CDH6.3配置HDFS高可用，多NameNode

概述搭建HDFS的NameNode集群,在单个NameNode宕机或繁忙时,可以做故障转移和压力平摊;配置的过程比较复杂,网上的可查资料也很少步骤1.停止运行中的所有hdfs角色,并删除SecondaryNameNode开启了高可用,不需要SecondaryNameNode,该角色并不具备故障转移的功能,可以理解为一个备份点,解读SecondaryNameNode的功能;在只有一个NameNode
清蒸三文鱼_·2023-03-16 02:40

How to use gitk on Mac OS X 10.15.4

Thereisnogitkingit2.26.0whichisinstalledinMacOSX10.15.4Ihavetomovegitbackto2.23withstepsbelowbrewunlinkgitcdhomebrew-corecdFormulagitcheckoutd04b60b58git.rbbrewinstallgit.rbgit
默默熊·2023-03-15 17:39

环境准备（03）HDFS核心配置文件

1.解压hadooptar-zxvfhadoop-2.6.0-cdh5.7.0.tar.gz-C~/app/2.配置文件位置/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/
乌鲁木齐001号程序员·2023-03-15 13:27

使用idea操作Hbase数据库

首先创建一个maven项目，然后再pom.xml文件中添加clouderahttps://repository.cloudera.com/artifactory/cloudera-reposorg.apache.hbasehbase-server1.2.4org.apache.hbasehbase-client1.2.4org.apache.hbasehbase1.2.4org.apache.hb
不愿透露姓名的李某某·2023-03-15 12:45

pyspark系列2-linux安装pyspark

Scale1.1安装java1.2安装Scala1.2.1安装1.2.2配置1.2.3启动二.安装ApacheSpark三.pyspark案例参考:一.安装Java和Scale1.1安装java因为我这个环境是CDH6.3.1
只是甲·2023-03-15 12:12

【pyspark】CDH升级后Spark写入Hbase报错问题

【pyspark】CDH升级后Spark写入Hbase报错问题前言报错一找不到StringToImmutableBytesWritableConverte类分析解决办法报错二找不到org.apache.hadoop.hbase.client.Put
Jack_Roy·2023-03-15 12:33

CDH6.3.2整合DolphinScheduler3.0.0

注意事项zookeeper版本兼容要查看dolphinscheduler的libs目录下zookeeper的jar包CDH6.3.2DolphinScheduler3.0.0使用CDH或其他大数据平台,
Zakza·2023-03-15 02:16

CDH之ntp、chronyc 时间同步问题

1.cdh集群版本5.12.3CentOS7.52、错误提示建议这是主机运行状况测试，用于检查主机的系统时钟是否显示与其NTP服务器不同步。
文儿哥·2023-03-15 02:44

Yarn调度器和调度算法

CDH框架
一抹鱼肚白·2023-03-14 22:58

helm 搭建私有chart库

本文介绍helm自建私有仓库，私有创库是通过nginx实现的在网站根目录创建一个charts目录，专门存放helm打包的压缩包打包package#创建一个临时测试目录mkdirhelmtestcdhelmtest
明天你好_ee9a·2023-03-14 19:57

HADOOP-集群搭建（1）

cd/kkb/install/hadoop-2.6.0-cdh5.14.2/格式化格式化操作只有在首次启动的时候需要，以后再也不需要了node01执行一遍即可bin/hdfsnamenode-format
拼搏向上001·2023-03-14 17:06
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他