cdh5 第12页

StreamSets的简单使用

StreamSets的简单使用环境:StreamSets3.14.0kudu1.7.0-cdh5.16.21.创建一个directory2kudu的Pipline2.在Pipline流程中添加Directory

Migumigu1316·2020-08-14 16:51

给Ambari集群里安装可视化分析利器工具Hue步骤（图文详解）

CDH版本大数据集群下搭建Hue（hadoop-2.6.0-cdh5.5.4.gz+hue-3.9.0-cdh5.5.4.tar.gz）（博主推荐）以下，是我在Clouderamanager平台下，安装

weixin_33970449·2020-08-14 15:23

CDH5.14定期清理指南

目录：1、将HDFS备份数降低2、删除无用HDFS数据和Hbase表格3、设置kafka的日志时间4、删除本机无用文件5、清理Trash回收站6、Balancer重新平衡7、Cloudera监控日志清理8、查看一级目录大小1、将备份数降低1）将默认的备份数3设置为2。步鄹：CDH–>HDFS–>配置–>复制因子–>设置为22）执行命令:hadoopfs-setrep2path(记住为根目录/)3）

北京小辉·2020-08-14 15:46

如何在CDH5上部署Dolphin Scheduler 1.3.1

本篇文章大概8440字，阅读时间大约20分钟本文记录了在CDH5.16.2集群上集成DolphinScheduler1.3.1的详细流程，特别注意一下MySQL数据库的连接串！

Eights-Li·2020-08-14 15:17

【详细】如何将Java源码打包成可执行的jar文件（windows&linux系统都是可以执行的）

查看生成的manifest.mf文件：Manifest-Version:1.0Class-Path:hadoop-auth-2.5.0-cdh5.3.0.jarhadoop-common-2.5.

InvQ·2020-08-14 11:23

Impala SQL语句 COMPUTE STATS

表列和分区的数据分布情况;收集的信息存储在元数据库中,用于优化Impala查询;例如,如果Impala能确定一张表是大还是小,表里有多少唯一值,就可以为join查询或插入操作组织和并行化工作线程;实例CDH5.10

zhiliang-chen·2020-08-14 10:48

CDH5.9.0离线部署

部署环境：win7+vmware11+centos7.2+cdh5.9.01)关闭防火墙–#firewall-cmd–state–#systemctlstopfirewalld.service–#systemctldisablefirewalld.service

thinkpadshi·2020-08-13 19:30

sqoop安装与使用

安装：原生安装：appache１．解压安装，２．重命名sqoop-1.4.5-cdh5.4.4/sqoop-env-template.sh为sqoop-env.sh３．修改sqoop-env.sh配置：

大码王·2020-08-13 11:00

zookeeper安装配置启动

1.下载安装包下载地址：http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.13/2.解压:tar-zxfzookeeper-3.4.5-cdh5.3.6

金毛追着哈士奇·2020-08-12 13:21

Hive学习笔记：数据库、表、视图和索引

环境：CentOS7hive-1.1.0-cdh5.14.0hadoop-2.6.0-cdh5.14.0数据库DatabaseHive中数据库的概念类似于表的所在目录或者命名空间，在这一点上跟mysql

SetsunaMeow·2020-08-11 22:51

【Hive】性能调优 - map-side JOIN

Hive版本:hive-1.1.0-cdh5.14.2概述如果表关联时，有一张表很小，那么可以在大表通过mapper时将小表完全加载到内存中，Hive可以在map端完成关联过程，这就是所谓的map-sideJOIN

NextAction·2020-08-11 20:21

【Hive】性能调优 - EXPLAIN

Hive版本:hive-1.1.0-cdh5.14.2用户提交HiveQL查询后，Hive会把查询语句转换为MapReduce作业。

NextAction·2020-08-11 20:50

Kudu部署

2.Kudu的rpm下载地址http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.15.1/RP

muyingmiao·2020-08-11 05:29

impala安装部署(rpm安装)

1.下载impala所需的rpm包bigtop-utilsrpm包下载http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.8.3/RPMS/noarch

muyingmiao·2020-08-11 05:29

Tomcat Sqoop import异常及其解决方法

软件版本：Sqoop：1.4.6-cdh5.7.3，tomcat：7，JDK：1.7，IntellijIdea2014，Hadoop集群：CDH5.7.3；mysql：5.6；问题描述：在使用Sqoop

fansy1990·2020-08-11 05:05

sqoop系列-MySQL导入HIVE时间格问题

问题描述服务器系统版本：centos7.2cdh版本：cdh5.9.0hadoop版本：2.6.0+cdh5.9.0sqoop版本：1.4.6+cdh5.9.0hive版本：1.1.0+cdh5.9.0MySQL

数据新玩法·2020-08-11 05:44

sqoop系列-TextSplitter踩坑记

环境测试集群服务器系统版本：centos7.2cdh版本：cdh5.9.0hadoop版本：2.6.0+cdh5.9.0hive版本：1.1.0+cdh5.9.0sqoop版本：1.4.6+cdh5.9.0

数据新玩法·2020-08-11 05:13

sqoop导出到mysql中文乱码问题总结、utf8、gbk

今天使用sqoop1.4.5版本的（hadoop使用cdh5.4）因为乱码问题很是头痛半天。

顺顺顺子·2020-08-11 05:06

sqoop系列-sqoop MySQL 导入Hive JSON 字段乱码

集群信息服务器系统版本：centos7.2cdh版本：cdh5.9.0hadoop版本：2.6.0+cdh5.9.0hive版本：1.1.0+cdh5.9.0sqoop版本：1.4.6+cdh5.9.0

数据新玩法·2020-08-11 05:50

在clouder manager中使用Flume处理数据链

注意我的ClouderaManager使用的是CDH5.8的Parcel，在这个版本中，Kafka使用的是0.9.0.0d版本。Kakfa0.9与0.8的A

wangjinming1976·2020-08-11 04:04

Sqoop informix导入hive

/bin/bashsql=“select*fromtablename”/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/sqoop/bin/sqoopimport–connect

Jeremy-D·2020-08-11 03:37

Spark1.2及CDH5.2~CDH5.3安装和使用(B)

这篇文章参考How-to:RunaSimpleApacheSparkAppinCDH5编写而成，没有完全参照原文翻译，而是重新进行了整理，例如：spark版本改为1.2.0-cdh5.3.0，添加了Python

春宇大数据·2020-08-11 03:58

Spark1.2及CDH5.2~CDH5.3安装和使用(A)

本文主要记录Spark的安装过程配置过程并测试Spark的一些基本使用方法。安装环境如下：操作系统：CentOs6.5Hadoop版本：CDH-5.3.0Spark版本：1.2关于yum源的配置以及Hadoop集群的安装，请参考使用yum安装CDHHadoop集群。1.安装选择一个节点cdh1来安装Spark，首先查看Spark相关的包有哪些：$yumlist|grepsparkspark-cor

春宇大数据·2020-08-11 03:57

Hadoop安装与常见问题

前言先说一下当前环境：Ubuntu18.04jdk1.8Hadoop选用-2.6.0-cdh5.15.1用户名：supershuai-VirtualBoxHadoop的下载地址：http://archive.cloudera.com

旋转木马_浮世尘华·2020-08-10 19:16

Windows环境中MR任务的三种运行方式

本地运行解压hadoop安装tar包hadoop-2.5.0-cdh5.3.6.tar.gz，下载地址：http://archive.cloudera.com/cdh5/cdh/5/设置环境变量HADOOP_HOME

H_Hao·2020-08-10 16:07

sqoop job local 和 Cannot initialize Cluster 问题

hadoop版本：Hadoop2.3.0-cdh5.0.0sqoop版本：Sqoop1.4.4-cdh5.0.0配置好sqooop-env.xml:#Setpathtowherebin/hadoopisavailableexportHADOOP_COMMON_HOME

code_____monkey·2020-08-10 08:58

hive on tez踩坑记1-hive0.13 on tez

最近集群准备升级到cdh5.2.0，并使用tez，在测试集群cdh5.2.0已经稳定运行了很长时间，因此开始折腾hiveontez了，期间遇到不少问题，这里记录下。

weixin_34354173·2020-08-10 07:51

cdh版本的hive安装以及配置

hive依赖hadoop需要的软件包：hive-0.13.1-cdh5.3.6.tar.gz、hadoop-2.5.0-cdh5.3.6.tar.gz1、hadoop的安装步骤请访问：http://www.cnblogs.com

weixin_30726161·2020-08-10 07:12

Hadoop2.5.0在CentOS7下的安装部署

背景记录下Hadoop2.5.0在CentOS7下安装部署的过程步骤1、新建cdh文件夹，把hadoop的压缩包解压到cdh文件夹里面#mkdircdh#tar-zxvf hadoop-2.5.0-cdh5.3.6

coder_szc·2020-08-10 07:45

CDH集群升级hive

需求：升级CDH5.14.0集群的hive组件，由1.1.0升级为1.2.1，保证数据不丢失；下载hive-1.2.1的安装包；http://archive.apache.org/dist/hive/hive

留不住斜阳·2020-08-10 06:36

fuse挂载hdfs文件系统

fuse挂载hdfs文件系统步骤（以cdh5的源为主，对应hadoop2.6版本）1.cdh版本介绍1.hadoop源http://archive.cloudera.com/cdh5/http://archive.cloudera.com

memiracle·2020-08-09 22:23

CentOS7安装CDH5.14.0过程全纪录

引言这是在虚拟机上自己搭建的一个cdh集群，某些细节可能会有一些疏漏没有记载，但是大体流程绝无错误，可以放心参考，并且因为测试需要在一台真正的服务器上搭建过一个单节点的cdh，也是按照这个流程，安装cm时这一个仅有的服务器既是server同样也是agent。所以，hadoop无论是什么版本，单机和集群都可以适用。（集群可以，单机必然也可以）目录简介环境及软件说明环境说明所需软件及说明安装前的主机准

lipviolet·2020-08-09 22:33

CDH5.2挂载fuse-dfs问题解决

问题描述：要在本地挂载hdfs文件系统，然后在官网找到一下中文文档，详细内容连接如下：http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cdh_ig_hdfs_mountable.html需要用到的命令：非HA：$mkdir-p$hadoop-fuse-dfsdfs://:HA:$mkdi

kent7306·2020-08-09 21:41

生产HDFS Block损坏恢复最佳实践

1.文件ruozedata.md上传:[[email protected]cdh5.7.0]$hdfsdfs-mkdir/blockrecover19/07/0800:14:

钻石大门·2020-08-09 14:53

Flink on Yarn部署

gitclonehttps://github.com/apache/flinkmvncleaninstall-DskipTests-Pvendor-repos-Dhadoop.version=2.6.0-cdh5.10.2

tom_fans·2020-08-09 12:11

CDH 6.2官方文档索引

文章目录文档总览官方apicm管理扩容hive服务插件下载页面:ODBC等启用kerberos官方文档从CDH5升级到6Datanode磁盘大小的说明各角色硬件要求文档总览https://www.cloudera.com

t18092838767·2020-08-09 12:37

CDH Manager API 操作Yarn资源池

CDHManagerAPI操作Yarn资源池版本说明：CDH5.11.0API版本：v161API权限认证在使用RESTAPI访问CDHManager提供的相关接口的时候，需要进行权限认证。

shirukai·2020-08-09 12:46

Impala 调优

前几天在用impalaonCDH5.16.2查询数据的时候，突然遇到OOM（内存溢出）的问题，如下所示：经查阅资料发现，Impala的内存主要是由两个参数控制的。

渊云·2020-08-09 11:54

Flume源码编译、打包、修改Taildir Source支持递归

修改各组件版本，为了跟生产上其他组件版本匹配bug修复新特性的增加二次开发flume源码编译编译方式：IDEA+MAVEN编译版本：flume-ng-1.6.0-cdh5.15.1-src编译注意事项：

实力不允许偷懒·2020-08-09 10:24

【环境搭建】CDH版Hadoop环境搭建

1.下载组件首先去CDH网站上下载hadoop组件地址：http://archive.cloudera.com/cdh5/cdh/5/注意版本号要与其他的组件CDH版本一致2.环境配置设置主机名和用户名配置静态

weixin_34356310·2020-08-09 00:44

CDH版本Hadoop下载

下载地址：http://archive.cloudera.com/cdh5/cdh/5/你想下载得tgz包示例：http://archive.cloudera.com/cdh5/cdh/5/hadoop

weixin_33875564·2020-08-09 00:48

学习笔记:从0开始学习大数据-39.综合实训二：hive+hbase对nginx日志分析

1.flume导入nginx日志到hbasehbase先建立表create'nginx_log','log_info'[[email protected]cdh5.16.1-

领尚·2020-08-08 18:10

cdh5.9运行mapreduce uber任务报java.lang.RuntimeException: native snappy library not available错误

1.问题描述在对yarn进行了uber任务配置之后，运行了一个wordcount的mapreduce任务。控制台显示的已经在ubermodel下了：但是运行完了之后发现任务失败。接着查看了运行日志，发现报这个错误：2019-11-1215:20:18,565INFO[uber-SubtaskRunner]org.apache.hadoop.mapred.TaskAttemptListenerImp

我从大数据中找个零·2020-08-08 13:12

HIVE的安装及部署

我们在此处选择第三台机器作为我们hive的安装机器1.1、derby版hive直接使用：(不推荐)1、解压hivecd/export/softwares//解压安装包到指定位置tar-zxvfhive-1.1.0-cdh5.14.0

不会敲代码的小力·2020-08-08 11:44

Spark编译

前提在这里我们编译的是Spark2.2.0,Hadoop版本为hadoop-2.6.0-cdh5.7.0，Scala版本为2.11.8更多关于编译Spark2.2.0参见Spark编译官方文档环境要求TheMaven-basedbuildisthebuildofreferenceforApacheSpark.BuildingSparkusingMavenrequiresMaven3.3.9orne

NULL·2020-08-07 07:15

Flume + Kafka学习——整合Demo

Flume+Kafka学习——整合Demo环境Flume1.6.0-cdh5.7.0Kafka0.9.0.0FLume官方文档Flume1.6.0UserGuideKafka官网文档KafkaDocumentationFlumeApacheFlumeisadistributed