CDH5

Spark(Streaming)写入数据到文件-关键为根据数据内容输出到不同自定义名称文件(saveAsHadoopFile以及自定义MultipleOutputFormat)

注意:本文中使用的版本是spark2.2.1和2.6.0-cdh5.11.0背景在工作中，需要将从kafka收到的数据
超级侠哥·2023-10-28 15:17

CentOS 7 下安装 Impala 5.14报错解决方法

Error:Package:impala-shell-2.11.0+cdh5.14.0+0-1.cdh5.14.0.p0.50.el6.x86_64(cdh)Requires:libpython2.6.
YasinZhu·2023-10-28 06:45

Cloudera Hadoop 5& Hadoop高阶管理及调优课程(CDH5,Hadoop2.0,HA,安全,管理,调优)

1.课程环境本课程涉及的技术产品及相关版本：技术版本LinuxCentOS6.5Java1.7Hadoop2.02.6.0Hadoop1.01.2.1Zookeeper3.4.6CDHHadoop5.3.0Vmware10Hive0.13.1HBase0.98.6Impala2.1.0Oozie4.0.0Hue3.7.02.内容简介本教程针对有一定Hadoop基础的学员，深入讲解如下方面的内容：1
weixin_33856370·2023-10-24 08:00

hadoopCDHStart

thenecho------------$iisstartinghdfs-------------ssh$i"source/etc/profile&&/opt/module/CDH/hadoop-2.5.0-cdh5.3.6
白纸糊·2023-10-23 21:23

Sqoop的安装与配置

Sqoop安装准备安装Sqoop的前提是已经具备Java和Hadoop、Hive、ZooKeeper、HBase的环境安装步骤上传安装包sqoop-1.4.6-cdh5.14.2.tar.gz到虚拟机中解压
菜鸟也学大数据·2023-10-23 00:56

Hadoop 系列（七）—— HDFS Java API

如果是CDH版本的Hadoop，还需要额外指明其仓库地址：4.0.0com.heibaiyinghdfs-java-api1.0UTF-82.6.0-cdh5.15.2clouderahttps://repository.cloudera.com
heibaiying·2023-10-22 01:01

ZooKeeper的安装与详解

zookeeper的注意事项：安装前需要安装好jdk检测集群时间是否同步检测防火墙是否关闭检测主机ip映射有没有配置##下载安装包、解压下载地址：CDH版本：http://archive.cloudera.com/cdh5
大数据狂人·2023-10-20 06:19

CDH5.15 安装spark2 ，启动报错，求解

[root@hadoop1csd]#spark2-shellExceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/fs/FSDataInputStreamatorg.apache.spark.deploy.SparkSubmitArgumentsanonfun$mergeDefaultSparkPropert
秦记·2023-10-18 05:37

如何在CDH5.16.2中部署海豚调度器Apache Dolphin Scheduler 1.2.0

ApacheDolphinScheduler组件介绍分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。官网:https://dolphinscheduler.apache.org/en-us/Github:https://github.com/apache/incubator-dolphinscheduler部署环境CDH
青年夏日科技·2023-10-18 01:46

Linux环境下Hive的安装

一、安装Hive1.1下载并解压下载所需版本的Hive，这里我下载版本为cdh5.15.2。
Keven He·2023-10-15 17:27

Hive 系列（二）—— Linux 环境下 Hive 的安装部署

一、安装Hive1.1下载并解压下载所需版本的Hive，这里我下载版本为cdh5.15.2。
weixin_30362083·2023-10-15 17:56

linux下基于hadoop安装hive和Zeppelin安装

将包放在opt目录下/opt/soft/hive110/lib目录下[root@wqopt]#tar-zxfhive-1.1.0-cdh5.14.2.tar.gz[root@wqopt]#mvhive-
SKY_WU95·2023-10-15 17:17

基于Linux系统的HIVE安装

2、安装包解压tar-zxf/opt/zookeeper-3.4.5-cdh5.14.2.tar.gz3、将解压文件放到op
叶子不落·2023-10-15 17:46

Spark 启动java.lang.NoClassDefFoundError: com/fasterxml/jackson/databind/Module 报错

自己试着找了一下包,Ok成功启动,在这里记下,避免其他人在这块费时间下面是异常信息,很明显是缺少类,之前一直以为是自己没有配置清楚,没有想到是缺包,博主的是在装的伪分布版本如下hadoop-2.6.0-cdh5.12.1
徴心·2023-10-15 00:50

Hadoop-2.5.0-cdh5.2.0 获取源码及编译

笔者在使用Hadoop-2.5.0-cdh5.3.2遇到的则是第二种情况。因为从官网下直接下载的二进制ta包下，压根就木有本地库（在apachehadoop相同位置）。
该昵称已经被占用·2023-10-10 16:09

那些在CDH5中是bug，到了CDH6版本就修复了的问题

盘点那些在CDH5中是bug，到了CDH6版本就修复了的问题。
ClouderaHadoop·2023-10-07 11:09

Spark集群环境搭建

Hadoop和JAVA的开发环境-1.上传Spark和Scala压缩包（到~/software文件夹中）-2.解压压缩包$tar-zxvf~/software/spark-1.6.1-bin-2.5.0-cdh5.3.6cdh
kuntoria·2023-10-07 03:20

spark sql操作数据

编程方式定义Schema4、spark操作mysql数据库在windows操作5、spark操作Hive数据出现bug1无法访问/export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0
侬本多情。·2023-09-30 20:31

-大数据入门-1-Hadoop-hdfs伪分布式部署

软件为主的生态圈(hivesqoopsparkflink…)狭义:apachehadoop软件官网APAche:www.apache.orgCDH:http://archive.cloudera.com/cdh5
吾..二..二·2023-09-28 02:19

Spark学习笔记(三)：使用Java调用Spark集群

UTF-81.81.82.6.0-cdh5.14.21.1.0-cdh5.14.21.2.0-cdh5.14.22.11.82.4.4clouderahttps://repository.cloudera.com
bluesnail95·2023-09-24 09:24

hive初始化mysql失败_hive 未初始化元数据库报错

启动hive-metastore和hive-server2用beeline连接hive报错[root@node04hive]#beelineBeelineversion0.13.1-cdh5.3.0byApacheHivebeeline
润姐姐Samantha·2023-09-23 04:43

配置HBase和zookeeper

/zookeeper-3.4.5-cdh5.14.2.tar.gz-C/opt/soft/tar-zxf./hbase-2.3.5-bin.tar.gz-C../soft/三、改名字mv.
罗刹海是市式市世视士·2023-09-21 05:25

HBase1.1.2编译

说明：1.HBase1.1.2社区版基于Hadoop2.6.0-cdh5.4.5编译、打包(不要问我为什么这么怪，一两句说不清,其他版修改为对应的version即可)操作步骤：一、源码下载http://
数大招疯·2023-09-19 04:16

Flume源码导入IDEA

1、下载flume-ng-1.6.0-cdh5.7.0-src.tar.gz地址：http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0
喵星人ZC·2023-09-14 09:24

CDH部署文档

rpm-bundle.tarmysql-connector-java-5.1.36-bin.jarcloudera-manager-centos7-cm5.16.1_x86_64.tar.gzCDH-5.16.1-1.cdh5.16
Heisenhower·2023-09-14 06:30

CDH5.12.1

CDH部署*Centos7中安装CDH5.12.1*hostnameipnode1(master)172.17.134.226node2172.17.134.226node3172.17.134.226
自由如风才是少年的梦·2023-09-13 00:16

Hadoop下hive安装配置

hive安装确保虚拟机上有mysql1、将hive放入opt中解压tar-zxfhive-1.1.0-cdh5.14.2.tar.gz2、配置环境变量exportHIVE_PATH=/opt/hiveexportPATH
xin980724·2023-09-12 05:07

Flink 1.14.X集成Hudi 0.11.0详细步骤

Pflink-bundle-shade-hive1b.选中packaging/hudi-flink-bundlemvncleaninstall-DskipTests-Dhadoop.version=2.6.0-cdh5
代码之巅·2023-09-11 07:45

HDFS删除节点

退役旧数据节点目标：掌握HDFS在集群中删除掉无效节点的步骤第一步：创建dfs.hosts.exclude配置文件在namenod的cd/export/servers/hadoop-2.6.0-cdh5.14.0
大数据面试指南·2023-09-07 00:51

Impala负载均衡异常处理

1背景介绍文档编写目的记录Impala的负载均衡踩坑记录Hue配置Impala的负载均衡Java应用将Impala作为查询引擎环境介绍CDH5.16.2HA-proxy实现impala的负载均衡为什么impala
Eights-Li·2023-09-01 04:34

大数据学习：Hive安装部署

请大家保持统一使用hadoop普通用户操作1.1先决条件搭建好三节点Hadoop集群；node03上先安装好MySQL服务；1.2准备安装包下载hive的安装包http://archive.cloudera.com/cdh5
zui初的梦想·2023-08-31 20:34

离线yum源安装CDH5.15.0

准备工作默认服务器为centos7，jdk1.8可以参考这篇文章，到第8步，安装httpd服务之后，直接到第10步，下载依赖包。下载rpm文件及parcel包下载cloudera-manager.repo修改baseurl中cm版本为实际版本。[cloudera-manager]#PackagesforClouderaManager,Version5,onRedHatorCentOS6x86_64
南知唔知·2023-08-28 06:04

大数据之 Spark 安装（macOS Mojave）

本教程采用CDH版，以避免版本依赖冲突导致错误，本教程同样适用于Linux（推荐CentOS）;hadoop版本：hadoop-2.6.0-cdh5.9.3.tar.gzSpark版本：spark-1.6.0
etrols·2023-08-24 10:31

hibench 对CDH5.13.1进行基准测试（测试项目hadoop\spark\)HDFS作HA高可靠性

使用CDH5.13.1部署了HADOOP集群之后，需要进行基准性能测试。一、hibench安装1.安装位置要求。因为是全量安装，其中有SPARK的测试（SPARK2.0）。
weixin_30262255·2023-08-23 00:44

linux 安装hue

http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/Hue的版本：cdh5.3.6-hue-3.7.0->需要编译才能使用->联网pingwww.baidu.com
小赖同学啊·2023-08-19 05:49

CDH6.3配置安装实操

CDH6与CDH5的安装步骤一致，主要包括以下四部分：1.安全前置准备，包括安装操作系统、关闭防火墙、同步服务器时钟等；2.外部数据库如MySQL安装3.安装ClouderaManager；4.安装CDH
MrGrant·2023-08-18 06:57

使用FIFO的文件控制shell的线程数

/bin/bashdate+'%Y/%m/%d%H:%M:%S'HADOOP_CONF_DIR=/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-1.cdh5.7.0
飞天大漠·2023-08-17 12:17

Cloudera 管理Hadoop API 依赖

CDH4和CDH5更复杂：它们将MRv1和M
金刚_30bf·2023-08-17 10:25

Centos 7 离线安装Cloudera Manager6 和CDH6.3.1

零、前言之前写过一篇CDH5的，本文是在之前操作基础上进行的Centos7离线安装ClouderaManager5和CDH5.13.0CDH6与CDH5安装的整体流程基本一致，而且简单了不少。
LY丶Smile·2023-08-13 19:59

基于阿里云服务器搭建CDH之后Hadoop50070页面访问不了

在CDH5.12搭建完成之后NameNode的WebUI50070访问不了。遇到这个其实不难解决！首先一定确保hadoop搭建无误。
李指导、·2023-08-11 06:19

cdh5.15.1集成flink说明

本文说明如何在已有的cdh集群上添加flink服务。分为如下几步进行说明：1.环境说明2.flink-parcel的制作3.cm添加flink-parcel4.cm上添加flink服务5.验证环境说明flink-parcel制作前提：在制作flink-parcel的时候保证git、maven已安装并可以访问外网。制作分为如下步骤：1）下载制作包执行命令：gitclonehttps://github
Demo_zfs·2023-08-09 04:54

CDH测试环境搭建

CDH测试环境搭建需要的软件及包的地址：Centos镜像：http://mirror.nsc.liu.se/centos-store/7.3.1611/isos/x86_64/CDH5.15.1-1parcel
圈半球·2023-08-09 02:11

CDH集群修改/设置hive的动态分区（dynamic）相关参数hive.exec.dynamic.partition.mode=nonstrick

1、集群环境CDH5.13.2hive版本1.2.12、设置参数##开启客户端显示数据的字段信息hive.cli.print.header=true##开启显示当前库的名称hive.cli.print.current.db
文儿哥·2023-07-27 02:58

CDH5.16.1安装kafka

CDH5.16.1安装kafka1.简介:CDH的parcel包中是没有kafka的，需要从新下载parcel包安装。或者在线安装，但是在线安装都很慢，这里使用下载parcel包离线安装的方式。
丿灬逐风·2023-07-26 06:35

工作流调度器azkaban

一、准备安装VMware15虚拟化软件安装CentOS7虚拟机3个安装3节点的hadoop-2.6.0-cdh5.14.2集群安装了hive安装了zookeeper集群安装了hbase集群二、主题azkaban
JN冰·2023-07-25 16:33

Centos7+安装Impala

Impala下载地址下载所有文件Impala工具下载地址下载：bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm安装Impala的其他依赖
IT_小白·2023-07-24 17:41

[Hive]创建UDF不重启集群解决方案

clouderahttps://repository.cloudera.com/artifactory/cloudera-repos/org.apache.hadoophadoop-common2.6.0-cdh5.14.2
帅可儿妞·2023-07-22 00:52

hadoop,spark中使用lzo

一、环境准备hadoop-2.6.0-cdh5.15.1并支持压缩(参考:hadoop安装文档)lzojar包(下载地址:lzojar下载地址)lzo安装包(下载地址:lzo下载地址)lzop安装包(下载地址
吃货大米饭·2023-07-20 16:02

98.StreamSets实时采集Kafka

98.1演示环境介绍已安装Kafka并正常运行未启用KerberosRedHat版本：7.4CM和CDH版本：cdh5.13.3kafka版本：3.0.0(0.11.0)Kudu版本：1.5.098.2
大勇任卷舒·2023-07-15 20:09

Spark实战之读写HBase

1配置1.1开发环境：HBase：hbase-1.0.0-cdh5.4.5.tar.gzHadoop：hadoop-2.6.0-cdh5.4.5.tar.gzZooKeeper：zookeeper-3.4.5
朝和(zixi0825)·2023-06-23 08:11
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他