CDH5 第3页

hadoop,spark中使用lzo

一、环境准备hadoop-2.6.0-cdh5.15.1并支持压缩(参考:hadoop安装文档)lzojar包(下载地址:lzojar下载地址)lzo安装包(下载地址:lzo下载地址)lzop安装包(下载地址

吃货大米饭·2023-07-20 16:02

98.StreamSets实时采集Kafka

98.1演示环境介绍已安装Kafka并正常运行未启用KerberosRedHat版本：7.4CM和CDH版本：cdh5.13.3kafka版本：3.0.0(0.11.0)Kudu版本：1.5.098.2

大勇任卷舒·2023-07-15 20:09

Spark实战之读写HBase

1配置1.1开发环境：HBase：hbase-1.0.0-cdh5.4.5.tar.gzHadoop：hadoop-2.6.0-cdh5.4.5.tar.gzZooKeeper：zookeeper-3.4.5

朝和(zixi0825)·2023-06-23 08:11

vue-cli4+vant+rem+sass+vuex+axios封装+webpack搭建前端项目

webpack4+vantui+sass+rem适配方案+axios封装，构建手机端模板脚手架启动项目gitclonehttps://github.com/teach-tian/h5-vue-cli4.gitcdh5

行动很重要冲冲冲·2023-06-13 20:55

作业四 : CentOS 7 下 Oozie-4.0.0-cdh5.3.6 安装及WordCount示例

安装准备oozie-4.0.0-cdh5.3.6http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.3.6.tar.gzext-2.2.ziphttp

V1cttor·2023-06-13 06:26

hadoop hdfs 性能调优

一直在做fullgc,此时hdfs基本处于不可用状态,此时系统可用内存又不足,而且cpu负载很高.由于这个环境第一次接手维护.这篇文章主要总结下如何做的优化.环境:hadoop版本:Hadoop2.6.0-cdh5.5.0

oo_思维天空·2023-06-13 04:23

CDH 5.10.2 添加Hive HiveMetastore不能启动的坑

今天用CDH5.10.2版本添加Hive组件的时候，持续报错，不得不说这个版本真能锻炼人…首先报的是驱动类找不到的异常，将mysql的jdbc包放到/usr/share/java目录下，注意去掉版本名称

綮地·2023-06-12 12:47

Hive之HPLSQL安装手册

软件版本信息：CDH：cdh5.14.0Hive:1.1.0Impala：2.11.0一：下载地址Hplsql官网：http:www.hplsql.org/download下载的是：hplsql-0.3.31

脸ル粉嘟嘟·2023-06-10 14:17

flume学习与总结记录

agent的设计官方文档，http://flume.apache.org/FlumeUserGuide.html2.flume环境的搭建下载地址：http://archive.cloudera.com/cdh5

嘿嘿海海·2023-06-10 09:47

Hadoop 环境搭建单机伪分布式

前期准备虚拟机镜像：CentOS-7-x86_64-DVD-1708【选择了GNOME和XWindow兼容、开发环境，内存8G以上】hadoop版本：hadoop-2.6.0-cdh5.7.0.tar.gzjdk

歌哥居士·2023-06-09 06:12

10.Hadoop:Hive环境搭建

Hive环境搭建1.系统环境：OS：CentOSLinuxrelease7.5.1804(Core)CPU：2核心Memory：1GB运行用户：rootJDK版本：1.8.0_252Hadoop版本：cdh5.16.22

負笈在线·2023-06-07 18:23

16.1 hue

一、介绍image.png二、下载到cdh网站下载,下载版本为hue-3.7-cdh5.3.6版本过高可能与hive版本不兼容,高版本的hue需要和高版本的hive配合使用三、解压放到第三台机器上。

6cc89d7ec09f·2023-06-07 15:56

大数据技术之CM安装------2（含大数据学习教程）

台虚拟机分配好内存建议8G、4G、4G1.2本次安装需要的jar包#注意：必须是OracleJDK、不要使用OpenJDK1.jdk-8u144-linux-x64.tar.gz2.CDH-5.12.1-1.cdh5.12.1

ItStar·2023-04-21 21:56

搭一个大数据环境玩玩简单的数据分析

一、准备好需要用到的软件1.ssh软件：xshell5xftp2.使用cloudreacdh5.8.0系列，下载地址：http://archive-primary.cloudera

JeasonHe·2023-04-15 19:20

CDH6.3.2安装（rhel7.6)

鱼观渔_·2023-04-14 17:02

Spark读写HBase实践

2.6.0-cdh5.7.01.2.0-cdh5.7.0org.apache.hadoophadoop-client${hadoop.

北邮郭大宝·2023-04-13 06:42

CDH5部署三部曲之一：准备工作

欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；系列介绍《CDH5

程序员欣宸·2023-04-12 21:56

ZooKeeper运行环境搭建

分布式安装部署前置条件jdk已经安装完成，三台机器防火墙已经关闭用第7章笔记里的三台备胎虚拟机2、解压安装解压zookeeper安装包到/opt/install/目录下tar-zxvfzookeeper-3.4.5-cdh5.14.2

Cheney6·2023-04-11 10:29

在有Sentry控制下的CDH中部署Hive的UDF

问题在CDH5.13.x启用Sentry后，HiveServer2的Client(Beeline、Thrift)中不能使用addjar语句（hivecli方式还是可以的，不过这样无法控制权限Sentry

gregocean·2023-04-10 16:30

cdh5.15.1添加kafka服务

安装好cdh后在cloudera-manager管理界面上并没有kafka服务，在CDH官网中关于Kafka的安装和升级中已经说到，在CDH中，Kafka作为一个分布式的parcel，单独出来作为parcel分发安装包。只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了，就可以实现完美集成了。（一）查看版本对应访问网址https://www.cloudera.com/docu

Demo_zfs·2023-04-10 10:05

【大数据开发】sqoop报错汇总

cp/usr/local/hive/lib/hive-shims-*/usr/local/sqoop/lib/解决办法：cp/usr/local/hive/lib/hive-common-1.1.0-cdh5.13.2

这个妹妹我见过·2023-04-08 07:25

Thrift JDBC/ODBC Server安装

添加Clouderamaven镜像在spark的pom文件中添加CDH的maven镜像[1]，并添加Hadoopcdh5.6.1的profileclouderahttps://repository.cloudera.com

专职掏大粪·2023-04-06 16:29

Flume简介及安装

2.Flume架构二.Flume安装及环境配置1.准备安装包flume-ng-1.6.0-cdh5.14.0.tar.gz2.解压flume安装包3.修改配置文件一.Flume简介1.什么是Flume？

May--J--Oldhu·2023-04-05 03:19

浅析怎样使用yum安装CDH Hadoop集群

使用yum安装CDHHadoop集群2013.04.06Update:2014.07.21添加lzo的安装2014.05.20修改cdh4为cdh5进行安装。

tianhuak·2023-04-04 09:24

Hive单机安装文档

一、下载安装包wgethttp://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz或者rz上传本地包到linux系统2019-07-

吃货大米饭·2023-04-03 16:16

Hadoop HA原理及架构

HDFSHA官网：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/hadoop-project-dist/

Exzzla·2023-04-03 04:16

doris原生安装

doris原生安装—尝试集成到cdh5失败安装前先查看doris端口是否本占用，调整fe.conf和be.conf对应端口号，因为hadoop集群安装8030和8040我这里端口都改掉了，具体怎样修改看本集群端口占用情况

select_where·2023-04-03 02:48

hadoop 伪分布式安装流程

什么的前边有已经写好的shell脚本可以直接用或者自己配置也可以3.准备工作完成后下载hadoop安装包4.我的是已经下载好了先放在/opt目录下5.然后解压文件tar-zxfhadoop-2.6.0-cdh5.14.2

宝罗·2023-04-02 13:19

CDH集群安装

45920733下载CDH下载CMhttp://archive.cloudera.com/cm5/->cm->5->选择自己要下载的版本下载parcelshttp://archive.cloudera.com/cdh5

_未知数·2023-04-01 18:36

hadoop 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster

的使用找不到hadoop的classpath一般在shell中输入hadoopclasspath输出为/etc/hadoop/conf:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2

Helen_Cat·2023-04-01 01:42

【亲妈级教学】Flink1.11编译

版本版本：flink-release-1.11.0-rc4hadoop.version=2.6.0-cdh5.15.1从pom文件中可以看出需要预先编译flink-shaded11版本11.0首先编译flink-shaded1

重生之我在异世界打工·2023-03-31 12:28

280亿条大数据处理实战——(三)环境安装

/dev/make-distribution.sh--name2.6.0-cdh5.7.0--tgz-Phadoop-2.6-Phive

爱睡懒觉的老舅·2023-03-31 04:00

如何编译Spark

tgz源码jdk-8u144-linux-x64.tar.gz JDK1.8以上 apache-maven-3.3.9-bin.tar.gzscala-2.11.8.tgzhadoop-2.6.0-cdh5.15.1

mm_ren·2023-03-30 01:19

HBase集群搭建

1.下载相应的jar包所有关于CDH版本的软件包下载地址如下http://archive.cloudera.com/cdh5/cdh/5/HBase对应的版本下载地址如下http://archive.cloudera.com

大数据老哥·2023-03-30 00:33

HBase RegionServer动态感知过程

本文基于hbase-1.2.0-cdh5.7.2版本进行讲述，不能的版本存在细微的差别，大体一致。

凡尔Issac·2023-03-29 07:30

spark消费kafka(cdh启用kerberos)

不生产博客，只是别人博客的裁缝一入kerberos深似海，从此节操是个玩意儿之前写过一篇spark消费kafka问题记录(cdh5.16.2)，主要记录了安装spark2后，spark的问题，和本地可以执行

hadoop程序猿·2023-03-28 22:10

大数据之CDH5.16.1集成Tez0.9.2

俗话说：磨刀不误砍柴工。。上两篇中，我们介绍完了CDH环境的基本搭建。在这篇中，我们讲述对hive的一个优化措施之一：执行引擎tez。在HDP中hive的执行引擎默认是tez，而在CDH中默认则是mr，大家都知道mr效率是比较低的，tez则相对比较高。tez官网地址为：http://tez.apache.org/tez是在hadoop2才引入的，如图所示：tez.png图片来源：https://z

LearnBigData·2023-03-28 12:50

关于后台启动spark-submit的操作

主机环境：Centos7.33台hadoop版本：hadoop-2.6.0-cdh5.7.0hbase版本：hbase-1.2.0-cdh5.7.0spark版本：spark-2.2.0-bin-2.6.0

Hiwes·2023-03-27 05:44

Hue 入门

2安装部署2.1、帮助文档http://archive.cloudera.com/cdh5/cdh/5/hue-

djm猿·2023-03-26 01:24

CDH5.13.x文档翻译SQL Differences Between Impala and Hive

https://www.cloudera.com/documentation/enterprise/5-13-x/topics/impala_langref_unsupported.html#langref_hiveql_deltaImpala的SQL语法遵循SQL-92标准，还包括了很多业界扩展比如内置函数。查看PortingSQLfromOtherDatabaseSystemstoImpala

gregocean·2023-03-24 07:10

Cloudera Hadoop（cdh5.1.0）平台搭建2

（离线）安装，但是CDH版本是5.3.0，我们安装的是5.1.0版本的，点击更多选项进行版本修改在URL中可以看出系统默认是按照最新的版本我们需要改成5.1.0的返回，在进入这个页面的时候，就可以选择CDH5.1.0

鹰击长空123·2023-03-21 19:00

Hbase三节点集群搭建

Hadoop集群以及Zookeeper集群Hadoop集群的搭建参考：Hadoop三节点集群搭建Zookeeper集群的搭建参考：Zookeeper三节点集群搭建安装中用到的软件包hbase-1.2.0-cdh5.14.2

HideOnStream·2023-03-20 17:30

Flink-cdc写入hudi并使用hive和spark-sql查询(基于flink1.13.5和hudi0.10.0，flink-cdc2.1.1)

一、环境准备flink1.13.5flink-cdc2.1.1hudi-0.10.0spark-3.1.2、hadoop-2.6.5、hive-1.1.0(cdh5.16版本)jar包:hudi-spark3

小三你妹·2023-03-19 11:32

环境准备（03）HDFS核心配置文件

1.解压hadooptar-zxvfhadoop-2.6.0-cdh5.7.0.tar.gz-C~/app/2.配置文件位置/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/

乌鲁木齐001号程序员·2023-03-15 13:27

HADOOP-集群搭建（1）

cd/kkb/install/hadoop-2.6.0-cdh5.14.2/格式化格式化操作只有在首次启动的时候需要，以后再也不需要了node01执行一遍即可bin/hdfsnamenode-format

拼搏向上001·2023-03-14 17:06

Hadoop集群间数据迁移

数据迁移1、问题描述新搭建了一套CDH5.13.1集群，需要将原apache上的数据迁移至新集群。

朱佳宇·2023-03-13 00:16

KAFKA环境配置以及运行

KAFKA理解首先下载zookeeper（cdh5.7.0版本），解压，配置环境变量。

muffinfeng·2023-03-10 21:16

Hadoop2.x分布式集群部署12

一、Hadoop2.x分布式集群部署-HDFS1.hadoop2.x版本下载及安装https://archive.apache.org/disthttp://archive.cloudera.com/cdh5

麻帅·2023-02-17 22:29

Hbase的HMaster无法启动

环境介绍：Hadoop：hadoop-2.6.0-cdh5.15.1Java:1.8.0_201Hbase:hive-1.1.0-cdh5.15.1内容介绍hbase分布式安装，但是暂时使用hbase自带

翻滚牛犊·2023-02-07 08:43

Hive(十一)之SQOOP

开启集群服务配置sqoop-env.sh文件：#exportHADOOP_COMMON_HOME=exportHADOOP_COMMON_HOME=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6

DarrenmondZhang·2023-02-05 03:54

推荐频道

CDH5