CDH5

Flume TaildirSource 实现递归

下载源码flume-ng-1.6.0-cdh5.7.0-src.tar.gz修改源码打开org.apache.flume.source.taildir.ReliableTaildirEventReader
好笨的菜鸟·2020-06-25 15:12

flume-ng-1.6.0-cdh5.12.2 源码编译

安装包flume-ng-1.6.0-cdh5.12.2-src.tar.gz源码编译#解压进入跟目录tar-zxvfflume-ng-1.6.0-cdh5.12.2-src.tar.gzcdflume-ng
好笨的菜鸟·2020-06-25 15:12

spark-2.4.2-bin-2.6.0-cdh5.7.0源码编译

准备工作jdk-8u211-linux-x64.tar.gzspark-2.4.2.tgzapache-maven-3.6.1-bin.tar.gz注：根据官方文档显示spark-2.4.2编译需要Java8、Maven-3.5.4及以上版本配置环境解压jdk，并配置Java环境变量解压Maven，配置Maven环境变量编译准备tar-zxvfspark-2.4.2.tgz#解压spark源码包c
好笨的菜鸟·2020-06-25 15:12

mysql8.x下hue的安装 及 解决 my_config.h 不存在的问题

//docs.gethue.com/latest/quickstart/环境准备CentOS7.6hadoop2.7.2mysql8.0.17python2.7.5解压hue版本：hue-3.9.0-cdh5.9.3
萌萌哒的理工男·2020-06-25 15:19

【备忘】Sqoop、Flume、Oozie、Hue大数据工具视频教程

第1章数据转换工具Sqoop101大数据Hadoop2.x协作.框架的功能.mp402Sqoop功能概述和版本、架构讲解.mp403Sqoop使用要点(核心)及企业版本讲解.mp404使用CDH5.3.6
qq_38472057·2020-06-25 14:55

大数据------Strom集群安装配置（详细教程）

https://www.acfun.cn/a/ac10294589（免费教程）由于CDH5.12本身不集成Strom，所以需要单独使用Strom+Zookeeper进行集群安装和搭建。
ItStar·2020-06-25 14:18

CDH集成Kerberos

一、安装Kerberos1.整体说明软件版本操作系统：CentOs6.8CDH版本：Hadoop2.6.0-cdh5.9.0JDK版本：jdk1.7.0_67-cloudera运行用户：root集群主机角色划分
小米棍·2020-06-25 12:55

Mahout使用K-Means进行中文文本聚类

一、数据准备版本说明使用的Mahout版本为apache-mahout-distribution-0.10.1使用的Hadoop版本为hadoop-2.3.0-cdh5.0.0分词使用爬虫对每个URL的标题
首席撩妹指导官·2020-06-25 12:48

Cloudera大数据平台环境搭建(基于CentOS7的虚拟机环境)

,离线安装CDH和ClouderaManager过程,软件版本如下:NO.软件名称版本1操作系统CentOS-7-x86_64-Minimal-1804.iso2JDK3ClouderManager4CDH5
哈尔科夫扫地僧·2020-06-25 10:44

cdh版本的flume安装以及配置

Apache版本下载地址：http://archive.apache.org/dist/flume/CDH版本下载地址：http://archive.cloudera.com/cdh5/cdh/5/flume-ng
大数据爱好者社区·2020-06-25 09:22

使用flume搭建日志收集系统

环境操作系统：CentOS7*2Flume版本：flume-ng-1.6.0-cdh5.7.0
桥路丶·2020-06-25 07:58

Intellij IDEA开发Hadoop伪分布式应用

在上一篇博客中（https://blog.csdn.net/qq_33588730/article/details/81123614）安装CDH5.15.0之后，安装好的是单机版Hadoop，并且准备好了伪分布式与全分布式需要的
书忆江南·2020-06-25 07:22

CDH5.16.2安装Hue、kylin、spark2遇到的坑

环境：centos7#uname-aLinuxhadoop0013.10.0-957.el7.x86_64#1SMPThuNov823:39:32UTC2018x86_64x86_64x86_64GNU/Linux1、socket.error:[Errno98]Addressalreadyinuse找了很久到底是哪个和hue冲突，原来是我们的一个小工具“宝塔linux面板”的端口号也是8888,。
且插梅花醉平阳·2020-06-25 06:26

kerberos安装及高可用配置

一．1.Redhat7.42.CDH5.153.采用root用户进行操作4.192.168.8.181master1.com（主机）192.168.8.182master2.com（备机）192.168.8.183slave183
这只猫有点胖·2020-06-25 05:26

大数据平台搭建------CDH单机部署

utm_source=blogxgwz3一、部署前的准备1、检查jdk是否安装：参考jdk安装配置文档（jdk7或jdk8，所有节点都要一致）2、兼容性建议：CentOS6.8+CDH5.11.x(x>
qq_31102103·2020-06-25 05:56

cdh版本hadoop五节点部署

details/51446674启动集群1、启动zookeeper[hadoop@cdhnode1app]$runRemoteCmd.sh"/home/hadoop/app/zookeeper-3.4.5-cdh5.4.5
lijie_cq·2020-06-25 00:11

Flume的原理和基本使用

Flume官网：http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.15.1/概述  Flume是一个分布式日志的的采集框架，其核心是把数据从数据源
实力不允许偷懒·2020-06-25 00:16

Centos6.7 + CDH5.4.5 HADOOP 集群环境离线安装

Centos6.7+CDH5.4.5HADOOP集群环境离线安装版本历史：日期版本描述作者2016-06-111.0CDH5.5.7离线安装2016-07-112.0CDH5.4.5HADOOP重新编写目录
qq_16620187·2020-06-24 23:17

hadoop基础----hadoop实战(七)-----hadoop管理工具---使用Cloudera Manager安装Hadoop---Cloudera Manager和CDH5.8离线安装

hadoop基础----hadoop实战(六)-----hadoop管理工具---ClouderaManager---CDH介绍简介我们在上篇文章中已经了解了CDH，为了后续的学习，我们本章就来安装CDH5.8
张小凡vip·2020-06-24 21:36

HUE平台oozie 调度系统设置踩坑记录

StdoutputWarning:/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/bin/../lib/sqoop/..
poson·2020-06-24 20:39

使用python客户端访问impala

有较好的数据分析函数，所以需要使用python客户端来获取impala中的表数据，这里的测试环境是：操作系统：win7(linux下也可行)python2.7大数据环境：centos6.6CDH版本：CDH5.4.1impala2.1.2port
faith默默·2020-06-24 19:48

Alex 的 Hadoop 菜鸟教程: 第6课 Hbase 安装教程

原帖地址：http://blog.csdn.net/nsrainbow/article/details/38515007声明：本文基于Centos6.x+CDH5.x官方英文安装教程http://www.cloudera.com
alexxiyang·2020-06-24 18:07

Alex 的 Hadoop 菜鸟教程: 第7课 Hbase 使用教程

原帖地址：http://blog.csdn.net/nsrainbow/article/details/38758375声明：本文基于Centos6.x+CDH5.x本例中Hbase是安装成集群模式的本文通过建立
alexxiyang·2020-06-24 18:00

在centos7.2上Flink1.9.1源码编译（hadoop2.6.0-cdh5.15.1）

编译步骤参照官网：https://ci.apache.org/projects/flink/flink-docs-release-1.9/flinkDev/building.html0.按照官网：InadditionyouneedMaven3andaJDK(JavaDevelopmentKit).FlinkrequiresatleastJava8tobuild.配置好前置条件。1.github获取
muyingmiao·2020-06-24 16:33

Hbase复制(Replication )

Hbase复制使用手册1Hbase复制简介通过hbase的replication功能实现集群间的相互复制.2环境这里hbase版本为hbase-0.98.6-cdh5.3.33配置各个集群里配置hbase-site.xml
mnasd·2020-06-24 15:25

CDH5.16.2安装部署(三) CDH部署

一、离线部署cmserver及agent1.1拷贝cm包到其他节点[root@hadoop001cdh5162]#scpcloudera-manager-centos7-cm5.16.2_x86_64.
番茄炒蛋213·2020-06-24 14:55

CDH5.16.2安装部署(二)MySQL5.7.11离线部署

一、MySQL离线安装1、解压及创建目录[root@hadoop001cdh5162]#tar-xfmysql-5.7.11-linux-glibc2.5-x86_64.tar.gz/usr/local
番茄炒蛋213·2020-06-24 14:24

CDH5.16.2安装部署(一)准备工作

一、集群规划离线部署：mysqlcm(serveragent主从架构)parcel文件规划：hadoop001：mysqlcm-servercm-agentnnsnndnrmnmzkhadoop002：cm-agentdnnmbrokerzkhadoop003：cm-agentdnnmbrokerzk原则：选择第一台配置不是太强的做为工具节点mysqlcm-servercm-agent选择2台专门
番茄炒蛋213·2020-06-24 14:24

Centos7离线安装cdh5.15.1以及遇到等部分问题

公司有几台闲置机器，之前同事安装了cdh5.12.1，使用rpm安装，安装容易后期维护个人感觉很麻烦啊！特别是各种路径非常难找！
赣江·2020-06-24 13:31

spark maven项目加入scala

POM文件4.0.0com.unionpaysparkDemo1.0-SNAPSHOTUTF-82.4.02.6.0-cdh5.14.42.112.9.1compileclouderahttps://repository.cloudera.com
一只小菜鸟(*￣︶￣)·2020-06-24 13:56

kafka-cdh5.11环境中集成部署kafka

1.准备cdh集群搭建成功，且部署好zookeeper.因为kafka在CDH上要求用CDH上的Zookeeper管理而不是Kafka自带的Zookeeper管理。集群：cdh01192.168.50.248cdh02192.168.50.249cdh03192.168.50.247不同版本的cdh支持不同版本的kafka.根据官方的文档：能够安装的kafka版本为2.1.x下载需要的csd包下载
lisery_nj·2020-06-24 11:53

apache Kylin搭建 CDH版本

apache-kylin下载kylin:wgethttp://apache.fayea.com/kylin/apache-kylin-1.5.4/apache-kylin-1.5.4-cdh5.7-bin.tar.gz
星空刀客·2020-06-24 09:19

spark on yarn部署

DynamicallocationExternalShuffleServiceshuffle文件目录clustermodeclientmode三.调度FairScheduler队列设置资源抢占(Preempt)delayscheduling运行环境spark2.0.2cdh5.9.0
breeze_lsw·2020-06-24 09:24

Docker之Hadoop普通集群搭建

使用的镜像为hadoop-2.6.0-cdh5.4.5.tar.gz。在docker之上搭建一个容器为m
小林子405·2020-06-24 09:47

HDFS学习笔记:HDFS JavaAPI编程

eclipse、设置工作目录、新建java工程2.加入jar包新建名为lib的folder，将这些目录下的jar包都复制到lib里，然后buildpath/opt/software/hadoop-2.6.0-cdh5.14.0
SetsunaMeow·2020-06-24 09:47

CDH5.2+CM5.2+impala2+Spark1.1 集群搭建基础环境准备

准备工作详情如下：1在四台机器上安装CentOSrelease6.5(Final)64位（管理节点需要安装Mysql\Postgresql\redhat_lsb）2CDH5.2（包含了Spark1.1
当官的富·2020-06-24 08:59

Sqoop安装、配置和操作详解

开启集群服务3、配置文件：sqoop-env.sh，如下：#Setpathtowherebin/hadoopisavailableexportHADOOP_COMMON_HOME=/opt/modules/cdh5.3.6
lmh450201598·2020-06-24 08:22

HDFS Java api操作

pom.xml中添加相关依赖4.0.0com.lzc.hadoophadoop-api1.0-SNAPSHOThadoop-apihttp://www.example.comUTF-81.71.72.6.0-cdh5.7.0clouderahttps
lizc_lizc·2020-06-24 07:16

oozie的安装配置

1.下载ooziehttp://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.5.2.tar.gz解压到指定路径/usr/local/tar-xvfoozie
liuyunshengsir·2020-06-24 07:42

CDH安装kylin集群

参考:https://blog.csdn.net/eyeofeagle/article/details/88991967安装环境：cdh5.12.0kylin:apache-kylin-2.6.2-bin-cdh57
lin502·2020-06-24 05:37

分分钟解决HDFS无法启动的一个小问题------HDFS启动后一直处于安全状态

StartingNameNode2STARTUP_MSG:host=hadoop001/192.168.137.1413STARTUP_MSG:args=[]4STARTUP_MSG:version=2.6.0-cdh5.7.05STARTUP_MSG
lin502·2020-06-24 05:37

kylin实例

示例数据参见:kylin用实例说明原理环境centos6.5CDH5.15ApacheKylin2.1.0hive新表原始表createtableifnotexistschenzl.kylintest(
zhiliang-chen·2020-06-24 04:19

cdh5.5.1 配置启动flume

一、如何使用flume在CDH界面添加服务，选择flume之后选择主机，flume服务就启动了，下面就是配置参数二、关于配置文件有些网友在配置flume的时候，配置文件保存正常没有报错，但是hdfs上就没有数据，原因是因为，CDH的cloudera-monitor.properties里配置agent_name，所以我们配置的时候需要使用这个名字，cloudera-monitor.properti
levy_cui·2020-06-24 03:21

基于CDH5集群配置snappy压缩

基于CDH5集群配置snappy压缩，配置步骤如下：1、常用的三种压缩gzip,lzo,snappy，经分析对比算法压缩后/压缩前压缩速度解压速度GZIP13.4%21MB/s118MB/sLZO20.5%
kwu_ganymede·2020-06-24 01:23

NodeManager启动报错

org.fusesource.leveldbjni.internal.NativeDB$DBException:Corruption:checksummismatch系统环境：ubuntu14.04serverclouderaCDH5.10
DemonHunter211·2020-06-24 01:49

CDH5安装过程中cloudera.server.cmf.Main: Server failed.

可能导致这个的原因有很多，很多方法基本上都试过了但还是不行，下面是报错内容，如果和你一样，不妨参考一下是不是会和你有共同的问题2018-01-1512:42:20,103ERRORmain:com.cloudera.server.cmf.Main:Serverfailed.org.springframework.beans.factory.BeanCreationException:Errorcr
Beginner_Coder·2020-06-24 01:41

Kylin安装及使用

Kylin1.6CDH5.10安装Kylin有两种安装方式：单机及集群。本文以集群为例。单机版Kylin安装起来还是挺简单的，解压即安装。
shengjk1·2020-06-23 23:57

解决hive表注释乱码

环境cdh5.8.3+hive1.1.0。hive元数据库用的是mysql创建表后，用desc在hive中查看表信息，注释显示乱码。
昵称诚诚·2020-06-23 23:28

Centos 6.5 CM5.3.2和CDH5.3.2安装

说明：集群系统为Centos6.5，都是在root权限下进行配置，所有机器必须关闭SELinux，关闭防火墙，配置ssh免密码登录。root的密码要一致。1.CM5.3.2安装1.1系统配置（所有机器都要配置，在root权限下进行）关闭防火墙（永久，重启后生效）chkconfigiptablesoff关闭SELinuxvim/etc/selinux/config将SELINUX=enforcing
jjfnjit·2020-06-23 22:57

cdh5.14.2版flink1.10编译过程

一、编译环境1、Java（至少1.8以上）#java-versionopenjdkversion"1.8.0_252"OpenJDKRuntimeEnvironment(build1.8.0_252-b09)OpenJDK64-BitServerVM(build25.252-b09,mixedmode)2、Maven(至少Maven3以上版本）#mvn-vApacheMaven3.6.3(cece
古佛青灯·2020-06-23 20:25
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他