cdh5 第20页

flume spooldir 定期采集日期目录

2019独角兽企业重金招聘Python工程师标准>>>这里以cdh5-1.6.0_5.10.2为例。

weixin_33863087·2020-06-28 07:09

在CDH5.14.4 中安装StreamSets与案例运行

在CDH5.14.4中安装StreamSets与案例运行标签（空格分隔）：大数据平台构建一：Streamset简介与系统环境介绍二：安装软件准备三：在CDH5.14.4集成使用StreamSets四：streamsets

weixin_33835690·2020-06-28 06:16

CM5（5.11.0）和CDH5（5.11.0）离线安装

转载自：http://www.cnblogs.com/codedevelop/p/6762555.html概述CDH(Cloudera'sDistribution,includingApacheHadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的ApacheHadoop构建，并集成了很多补丁，可直接用于生产环境。ClouderaManager则是为了便于在集群中进

weixin_33816300·2020-06-28 05:30

WorkFlow中Sqoop Action运行案例

复制样例[[email protected]cdh5.3.6]$cp-rexamples/apps/sqoopoozie-apps/样例重新命令mvsqoopsqoop-import

明明德撩码·2020-06-28 05:11

CDH添加KAFKA

系统环境：centos7jdk1.8.0_101python2.7.5CDH5.12.2kerberos1.15.1-19.el72.kafkaparcel包下载，分配和激活地址：http://archive.cloudera.com

weixin_33709609·2020-06-28 03:05

HDFS文件系统JAVA api访问接口（基于hadoop大数据平台）

在搭建完hadoop大数据系统（我是使用CDH5.16.1进行安装）后，如何访问hdfs文件系统上的数据呢？那当然是通过构建maven项目使用javaapi接口进行文件了。

独立小桥风满袖·2020-06-28 02:56

Hbase启动的时候出现：[RpcServer.handler=28,port=60000] ipc.RpcServer: RpcServer.handler=28,port=60000: exiti...

hadoop版本：CDH5.02Hbase版本：hbase-0.96.1.1-cdh5.0.2配置文件：hbase-site.xmlhbase.rootdirhdfs://master24:8010/hbaseThedirectorysharedbyRegionServers.hbase.cluster.distributedtruehbase.zookeeper.property.clientP

weixin_30648963·2020-06-27 22:28

kudu安装部署

并配置安装yum源[root@hadoop03soft]#wgethttp://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/cdh5.14.0-centos6

weixin_30648963·2020-06-27 22:27

CDH5.12.1 安装部署

###通过http://192.168.50.200:7180/cmf/login访问CM控制台4.CDH安装4.1CDH集群安装向导1.admin/admin登陆到CM2.同意license协议，点击继续3.选择60试用，点击继续4.点击“继续”5.输入主机IP或者名称，点击搜索找到主机名后点击继续6.点击“继续”7.使用parcel选项，点击“更多选项”，点击“-”删除其他所有的地址，输入ht

weixin_30537391·2020-06-27 21:46

nodemanager异常 org.fusesource.leveldbjni.internal.NativeDB$DBException: Corruption: checksum mismatch...

系统环境：ubuntu14.04serverclouderaCDH5.10共计28个节点。单节点内存128G。有6台机器是24核，22台机器是32核。

weixin_30439067·2020-06-27 19:49

为CDH 5.7集群添加Kerberos身份验证及Sentry权限控制

转载请注明出处：http://www.cnblogs.com/xiaodf/4.为CDH5集群添加Kerberos身份验证4.1安装sentry1、点击“操作”，“添加服务”；2、选择sentry，并“

weixin_30340819·2020-06-27 18:24

MapReduce任务参数调优

Hadoop的默认配置文件（以cdh5.0.1为例）：core-default.xmlhdfs-default.xmlmapred-default.xml说明：在hadoop2中有些参数名称过时了，例如原来的

wangjinyuan161·2020-06-27 13:06

hadoop伪分布式安装步骤

可以参考hadoop官网：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist/hadoop-common

困火·2020-06-27 10:09

Flink-1.9.1集成读写Hive（基于CDH 5.14.2集成成功）

1.2.12.Sql-client简单功能测试3.Java提交Flinkjobdemo参考写在前面本文记录了一次在CDH-5.14.2集群中（Hive升级到Hive1.2.1、Hadoop2.6.0-cdh5.14.2

猫不夜行·2020-06-27 09:16

CDH-5.14.2集群升级Hive-1.1.0至Hive-1.2.1

参考：CDH5.1.5(parcels)集群中hive1.1.0升级到hive-1.2.1步骤全，升级hive元数据库，数据不丢失（亲测可用）操作步骤：下载hive-1.2.1-bin解压：[root@

猫不夜行·2020-06-27 09:46

CDH5.14安装Spark报错：Error: JAVA_HOME is not set and could not be found.

安装spark过程报错：Error:JAVA_HOMEisnotsetandcouldnotbefound.排查java是否装好：[root@node02module]#java-versionjavaversion"1.8.0_91"[root@node02module]#exportdeclare-xCLASSPATH=".:/*/*/jdk1.8.0_91/lib/dt.jar:/*/*/j

猫不夜行·2020-06-27 09:45

CDH-5.14.2添加Hive

并分发到每一个节点中（集群分发脚本）[root@node01~]#cp/opt/software/mysql-connector-java.jar/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2

猫不夜行·2020-06-27 09:45

Hue中使用Oozie的workflow执行MR过程

写在前面：研究所里搭建了一套CDH5.9版本的hadoop集群，以前一直使用命令行去操作，这几天尝试Hue中使用Oozie的Workflows去执行MR程序，发现踩了好多坑（以前没使用过，也没找到相应的教程

带着小板凳学习·2020-06-27 08:26

CENTOS 7.5离线安装Cloudera Manager 5和CDH5(5.15.0) 完全教程

特别声明：LZ按照教程完整的走了一遍，最终所有组件都是正常的，中间遇到很多坑，做了一些修改，本文最后会将遇到的一些坑总结到一片新文章中windows虚拟机安装CDHcpu16G内存默认单核单线DEV2Server&&Agent5G默认单核单线DEV3Agent1G默认单核单线DEV4Agent1G关于CDH和ClouderaManager CDH(Cloudera’sDistribution

蜗牛!Destiny·2020-06-27 06:35

hadoop ha

#################centos7########################hadoop-2.5.0-cdh5.3.6分布式HA##########JDKJAVA_HOME=/opt

虎城威威·2020-06-27 06:51

hadoop伪分布配置

#################centos7########################hadoop-2.5.0-cdh5.3.6伪分布式##########JDKJAVA_HOME=/opt/

虎城威威·2020-06-27 06:50

CDH6.2 集成Sentry，Hive，Hue，Impala权限控制

Hadoop使用的CDH集成环境，从CDH5.3跨越到CDH6.2之前在CDH5.3上将hive从0.13升级到1.2.1。

简单的心1·2020-06-27 03:20

CDH5.12.1集群安装配置

CDH5.12.1&Kerberos安装配置环境:操作系统：CentOS7JDK版本：1.8.144所需安装包及版本说明：由于我们的操作系统为CentOS7，需要下载以下文件：下载地址:http://archive.cloudera.com

Edward.Liu·2020-06-27 01:20

Hbase插入表数据异常： RetriesExhaustedWithDetailsException: Failed 1 action: tableName: 1 time

导包的库地址错误引起：1.2.0-cdh5.7.0org.apache.hbasehbase-client${hbase.version}org.apache.hbasehbase-server${hbase.version

安静的数据流·2020-06-26 23:54

搭建5个节点的hadoop集群环境（CDH5）

搭建一个分布式的hadoop集群环境，下面是详细步骤，使用cdh5。

沐茈静·2020-06-26 22:16

SPARK 源码分析技术分享(带bilibili视频)

SPARK源码分析技术分享(带bilibili视频)【本站点正在持续更新中…2018-12-05…】SPARK1.6.0-cdh5.15.0Hadoop2.6.0-cdh5.15.0spark-scala-maven

thinktothings·2020-06-26 18:18

1.2.6 大数据2.x 集群安装系列-- zookeeper分布式集群部署

版本zookeeper-3.4.5-cdh5.10.0配置conf/zoo.cfgtickTime=2000心跳时间单位initLimit=1010*2000初始连接最长忍受心跳间隔dataDir=/opt

txidol-Fly·2020-06-26 18:21

Spark大数据学习笔记_第6篇_flume安装

大数据学习笔记_第6篇_flume安装1.安装flume2.修改flume配置文件3.创建需要的文件夹4.启动flume-agent5.测试flume1.安装flume1、将flume-ng-1.5.0-cdh5.3.6

superbeyone·2020-06-26 16:48

Flume1.7及以上版本的Kafka Sink batchsize（flumeBatchSize）配置问题

在flume-ng-1.6.0-cdh5.14.4中KafkaSink也使用flumeBatchSize参数。

子秦1117·2020-06-26 16:13

Sqoop 可执行文件

配置文件：**sqoop-env.sh#exportHADOOP_COMMON_HOME=exportHADOOP_COMMON_HOME=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6

stupid_Qiu·2020-06-26 15:26

阿里云服务器上单机部署大数据开发环境（hadoop2.6-cdh5.8.0系列）

一、准备好需要用到的软件1.ssh软件：xshell5xftp2.使用cloudreacdh5.8.0系列，下载地址hadoop-2.6.0-cdh5.8.0.t

strugglm·2020-06-26 15:39

centos7 安装flume

jdk1.8https://blog.csdn.net/starkpan/article/details/812936202、进入linux下载flume，这里采用的版本是flume-ng-1.6.0-cdh5.7.0

starkpan·2020-06-26 14:16

Flume的安装部署

CDH版本：http://archive.cloudera.com/cdh5/cdh/5/官网版本：http://flume.apache.org/FlumeUserGuide.html#hbasesink2

Rachel_Channing·2020-06-26 12:31

大数据平台运维------CM与CDH的升级

1.升级说明CM与CDH的升级过程有点类似与安装过程，这里我们也是采用离线安装模式，各软件版本信息为：操作系统：CentOS6.8CDH版本：5.7.1：CDH-5.7.1-1.cdh5.7.1.p0.11

春梦了却了无痕·2020-06-26 11:20

cdh5.7.2+cento6.8集群搭建(虚拟机)

1所需安装包以及下载地址1.1操作系统版本:CentOS6.8CDHParcel文件下载地址cdh安装包下载的文件CDH-5.7.2-1.cdh5.7.2.p0.18-el6.parcel.sha1，扩展名改为

liujm·2020-06-26 09:55

大数据之CM+CDH5.16.1（二）

接着上一篇继续安装CDH环境三、安装CM和CDH3.1CDH下载以CentOS7.5和CDH5.16.1举例3.1.1cm的tar包下载下载地址：http://archive.cloudera.com/

LearnBigData·2020-06-26 09:10

CDH安装Kylin2.0及操作

Kylin2.0及操作第一步，安装1，安装包准备最新安装包版本为2.0，下载链接如下：http://kylin.apache.org/download/下载内容为apache-kylin-2.0.0-bin-cdh57

1057718341_h·2020-06-26 08:28

使用scala操作hbase api

hbase的api我也不熟,scala也不熟悉,所以就用来练手了代码是两个类ConfigUtil是用来产生configuration的TestHbaeJavaApi是用来测试hbaseapi的jar包是用的cdh5.7.1

qqpy789·2020-06-26 04:22

Hive>Hive的两种访问方式

Hive交互shell在Hive客户端，配置hive到环境变量的前提下，在节点的任意位置直接输入hive+回车第一种交互方式：Hive交互shellcd/export/servers/hive-1.1.0-cdh5.14.0bin

千千匿迹·2020-06-26 03:35

Flume>Flume安装部署

Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境上传安装包到数据源所在节点上这里我们采用在第三台机器来进行安装上传安装文件并解压tar-zxvfflume-ng-1.6.0-cdh5.14.0

千千匿迹·2020-06-26 03:35

三台机器集群搭建

下载的地址：http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.14.2.tar.gzhttp://archive.cloudera.com/

jan0215·2020-06-26 00:09

CentOS7下离线安装CM和CDH5.14

一、准备工作1、环境搭建以及软件包下载Linux：centOS764位jdk：1.8CDH：5.14.4http://archive.cloudera.com/cdh5/parcels/5.14/下载下图三个文件

毕竟远侦探·2020-06-25 23:47

HDFS利用JavaAPI进行文件读写

cdh版Hadoop的jar包导入地址:https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh5

人间怪物·2020-06-25 22:48

CDH5.7.0安装实践

CDH5.7.0安装实践规划:ip1masterip2slaveip3slaveip4slave(addnode&&yumrepo)--ip4作为后备的添加结点和yum源一.基础配置(每台机器都要操作)

Lincoln_chen·2020-06-25 19:44

Zeppelin配置hbase解释器

Zeppelin配置hbase解释器准备环境：Centos6.9zeppelin-0.8.0-bin-all.tgzCDH-5.11.0-1.cdh5.11.0zeppelin安装过程见上一篇文章：zeppelin

麻雀加·2020-06-25 17:24

CDH5.16.1完全离线部署

目录CDH下载配置hostname及hosts关闭所有节点的防火火墙及清空规则关闭所有节点的selinux设置所有节点的时区一一致及时钟同步设置时区时间同步部署集群的JDK离线部署MySQL5.7CDH部署创建CDH的元数据库和⽤户、amon服务的数据库及⽤户hadoop001节点部署mysqljdbcjar离线部署cmserver及agenthadoop001节点部署离线parcel源hadoo

好笨的菜鸟·2020-06-25 15:14

CDH5安装出现“为 CDH 群集安装指定主机”

安装得时候，准备了7台机器，只有一台加载出来：解决方案：1.查询子节点得对应端口有没有启动：lsof-i:71822.没有启动得话，去看看安装得日志cd/var/log/cloudera-scm-agent/进入这个目录，查看.log文件，看看异常信息；破案了，原来是我配置host得时候，配置错误，配置了host，实际上应该是hosts文件然后在修改所有主机/etc/cloudera-scm-ag

PunkP·2020-06-25 15:46

Flume TaildirSource 实现递归

下载源码flume-ng-1.6.0-cdh5.7.0-src.tar.gz修改源码打开org.apache.flume.source.taildir.ReliableTaildirEventReader

好笨的菜鸟·2020-06-25 15:12

flume-ng-1.6.0-cdh5.12.2 源码编译

安装包flume-ng-1.6.0-cdh5.12.2-src.tar.gz源码编译#解压进入跟目录tar-zxvfflume-ng-1.6.0-cdh5.12.2-src.tar.gzcdflume-ng

好笨的菜鸟·2020-06-25 15:12

spark-2.4.2-bin-2.6.0-cdh5.7.0源码编译

准备工作jdk-8u211-linux-x64.tar.gzspark-2.4.2.tgzapache-maven-3.6.1-bin.tar.gz注：根据官方文档显示spark-2.4.2编译需要Java8、Maven-3.5.4及以上版本配置环境解压jdk，并配置Java环境变量解压Maven，配置Maven环境变量编译准备tar-zxvfspark-2.4.2.tgz#解压spark源码包c

好笨的菜鸟·2020-06-25 15:12

推荐频道

cdh5

flume spooldir 定期采集日期目录

在CDH5.14.4 中安装StreamSets与案例运行

CM5（5.11.0）和CDH5（5.11.0）离线安装

WorkFlow中Sqoop Action运行案例

CDH添加KAFKA

HDFS文件系统JAVA api访问接口（基于hadoop大数据平台）

Hbase启动的时候出现：[RpcServer.handler=28,port=60000] ipc.RpcServer: RpcServer.handler=28,port=60000: exiti...

kudu安装部署

CDH5.12.1 安装部署

nodemanager异常 org.fusesource.leveldbjni.internal.NativeDB$DBException: Corruption: checksum mismatch...

为CDH 5.7集群添加Kerberos身份验证及Sentry权限控制

MapReduce任务参数调优

hadoop伪分布式安装步骤

Flink-1.9.1集成读写Hive（基于CDH 5.14.2集成成功）

CDH-5.14.2集群升级Hive-1.1.0至Hive-1.2.1

CDH5.14安装Spark报错：Error: JAVA_HOME is not set and could not be found.

CDH-5.14.2添加Hive

Hue中使用Oozie的workflow执行MR过程

CENTOS 7.5离线安装Cloudera Manager 5和CDH5(5.15.0) 完全教程

hadoop ha

hadoop伪分布配置

CDH6.2 集成Sentry，Hive，Hue，Impala权限控制

CDH5.12.1集群安装配置

Hbase插入表数据异常： RetriesExhaustedWithDetailsException: Failed 1 action: tableName: 1 time

搭建5个节点的hadoop集群环境（CDH5）

SPARK 源码分析技术分享(带bilibili视频)

1.2.6 大数据2.x 集群安装系列-- zookeeper分布式集群部署

Spark大数据学习笔记_第6篇_flume安装

Flume1.7及以上版本的Kafka Sink batchsize（flumeBatchSize） 配置问题

Sqoop 可执行文件

阿里云服务器上单机部署大数据开发环境（hadoop2.6-cdh5.8.0系列）

centos7 安装flume

Flume的安装部署

大数据平台运维------CM与CDH的升级

cdh5.7.2+cento6.8集群搭建(虚拟机)

大数据之CM+CDH5.16.1（二）

CDH安装Kylin2.0及操作

使用scala操作hbase api

Hive>Hive的两种访问方式

Flume>Flume安装部署

三台机器集群搭建

CentOS7下离线安装CM和CDH5.14

HDFS利用JavaAPI进行文件读写

CDH5.7.0安装实践

Zeppelin配置hbase解释器

CDH5.16.1完全离线部署

CDH5安装出现“为 CDH 群集安装指定主机”

Flume TaildirSource 实现递归

flume-ng-1.6.0-cdh5.12.2 源码编译

spark-2.4.2-bin-2.6.0-cdh5.7.0源码编译

Flume1.7及以上版本的Kafka Sink batchsize（flumeBatchSize）配置问题