CDH5

“The CM is using external DB” bug的解决办法

上周升级CDH5的jdk从1.8_131到1.8_151,照常升完之后重启集群，结果集群挂了。无奈手动命令行关闭集群所有服务然后重启。
杨闯·2020-08-20 16:56

“The CM is using external DB” bug的解决办法

上周升级CDH5的jdk从1.8_131到1.8_151,照常升完之后重启集群，结果集群挂了。无奈手动命令行关闭集群所有服务然后重启。
杨闯·2020-08-20 16:56

Hive集成ElasticSearch

环境操作系统：Centos7集群：CDH5.16.2安装将elasticsearch-hadoop.jar添加到hive的classpath路径中方法1（此方法支持HDFS路径）addjar/path/
fengfengzai0101·2020-08-20 16:48

Hadoop上传文件失败

[[email protected]cdh5.3.6]$hdfsdfs-putSparkWordCount.txt/18/05/1322:17:51WARNutil.NativeCodeLoader
EmptyGlassHeart·2020-08-20 07:47

CM和CDH升级操作手册

相较于我们公司生产上还是cdh5.9.0有点掉队了，现在急需进行一场更新变革，跟上技术的脚步，适应行业的发展。
jhonshonjs·2020-08-20 04:09

彻底解决bash: hadoop: command not found...等问题

：hadoop：commandnotfount解决办法：$gedit/etc/profile进入编辑器后，添加Hadoop路径：exportHADOOP_HOME=/opt/hadoop-2.6.0-cdh5.6.0exportPATH
卡卡ni很帅·2020-08-19 19:14

Oozie环境的搭建

最近学习到一些大数据协同框架，其中遇到了一个工作流协同框架oozie，在安装oozie之前必须先安装好hadoop，Oozie环境搭建稍微比较麻烦一点，记录一下；首先准备资源：CDH版本的oozie:oozie-4.0.0-cdh5.3.6
ShiLuoHeroKing·2020-08-19 16:17

hadoop作业运行机制

1.前沿hadoop环境是cdh5.13，使用yarn作为资源管理器2.步骤详情2.1作业提交当调用job.submit()/job.waitForCompletion()时，向资源管理器请求一个应用ID
hi蜗牛慢跑·2020-08-19 10:24

大数据学习笔记（十六）-Hue的安装部署和使用

1.Hue的安装参考文档：http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.7.0/manual.html①安装Hue的依赖sudoyuminstallantasciidoccyrus-sasl-develcyrus-sasl-gssapigccgcc-c
狂暴棕熊·2020-08-19 10:51

Hue的全局配置文件hue.ini（图文详解）

Hue版本：hue-3.9.0-cdh5
weixin_34066347·2020-08-19 07:49

hadoop伪分布式安装流程

1.解压JDK1.82.解压Hadoop2.6.0CDH5.15.13.配置JDK环境变量4.配置Hadoop环境变量5.修改配置文件1)/etc/hadoop/hadoop-env.sh保证Java环境变量正确
weixin_30374009·2020-08-19 07:55

CDH5.14使用MySQL存储元数据

CDH使用cloudera-manager-installer.bin安装时默认安装了postgresql用来存储clouderamanager运行所需要的状态，但是一般生产环境使用外部数据库，这里介绍以下如何在cdh中使用MySQL配置Mysql数据库为ClouderaManager配置外部的数据库需要对此外部数据库进行一些配置1）需要配置Mysql的搜索引擎为InnoDB2）Mysql安装好以
cyclone_29·2020-08-19 03:25

下载Cloudera Repo

redhat/6/x86_64/gplextras/cloudera-gplextras5.repo-P/etc/yum.repos.dwgethttps://archive.cloudera.com/cdh5
anaijiao0225·2020-08-19 01:50

sqoop安装与使用

Hive中4、导入数据到HBase中5、HDFS向MySQL中导出数据6、编写sqoop脚本事前准备安装包tw6j一、解压安装将安装包托入/software目录下tar-zxvfsqoop-1.4.6-cdh5.14.2
日写BUG八百行·2020-08-18 23:09

sqoop2架构及安装部署

框架：安装sqoop的前提是已经具备java和hadoop的环境sqoop2版本详细下载地址http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.14.0
不由不该-·2020-08-18 23:41

ogon denied for user/password. Able to find the database server and database, but the login request

1.美图2.背景背景：安装好了CDH5.15.2集群的时候，安装Hive的时候，连接出问题，总是连接不上，使用工具可以远程连接，但是CDH页面不能连接。
九师兄·2020-08-18 21:43

Maven中同时使用CDH 的hive与ElasticSearch(ES) 内部依赖的netty jar冲突的问题

hive及ES如下org.springframework.dataspring-data-hadoop2.5.0.RELEASEorg.apache.hadoophadoop-common2.6.0-cdh5.13
yushuai_IT·2020-08-18 12:17

记录配置HDFS HA后，hive抛错Wrong FS

1.问题:在CDH5.x或者Apache环境下，配置了NameNode的HA后，Hive无正常查询数据了。
weixin_34292287·2020-08-18 12:00

SparkStreaming--输入源（本地文件）

args:Array[String]):Unit={System.setProperty("hadoop.home.dir","E:\\software\\bigdate\\hadoop-2.6.0-cdh5.15.0
wangfutai91·2020-08-18 11:10

CDH5.7.6搭建

说明：操作系统centos7注解：centos6.8也是如图步骤0准备：0.0总体规划IP地址主机名CPU内存备注192.168.1.5node12颗x2核4GB主节点192.168.1.6node22颗x1核2GB192.168.1.7node32颗x1核2GB192.168.1..8node42颗x1核2GB注：根据自己物理机器合理分配资源（物理机内存8G：给物理机留1-2g，虚拟机主节点2-
hyy1568786·2020-08-18 11:58

在cdh5.12平台里安装presto

安装Presto①下载软件wgethttps://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.192/presto-server-0.192.tar.gzroot@bigdata-148024:~#forain{24,25,26,27,28};dossh10.1.8.$amkdir-p/data1/presto/data;d
蘑菇丁·2020-08-18 11:43

spark streaming 自带例子NetworkWordCount

环境：apache-maven-3.3.9hadoop-2.6.0-cdh5.7.0hbase-1.2.0-cdh5.7.0jdk1.8.0_181kafka_2.11-0.9.0.0scala-2.11.8spark
璀璨下的一点星辰·2020-08-18 11:05

HBase开发实例学习

选择一款合适的开发IDE，具体安装方法就不介绍了，网上有很多参考资料，这里给出我的开发环境：操作系统：Ubuntu14.04LTSJava版本：jdk1.7.0_79Hadoop版本：hadoop-2.6.0-cdh5.7.1HBase
阳光奶爸·2020-08-18 10:21

solr-hbase二级索引及查询解决方案(一)

.参考了网络上的设计,建立二级索引是比较好的思路.于是就以solr存储hbase里面的列索引,实现了这个功能.需要的组件有:1.hbase2.solr3.key-valuestoreindexer4.CDH5
texture_texture·2020-08-18 10:48

4 cdh 5.12 centos 6.10三节点安装

4cdh5.12centos6.10三节点安装[root@hadoop1opt]#cat/etc/redhat-releaseCentOSrelease6.10(Final)#serviceiptablesstop
weixin_30569033·2020-08-18 04:14

Maven【九】-- 某些不是阿里云的jar包下载不下来

releasesclouderahttps://repository.cloudera.com/artifactory/cloudera-reposorg.apache.flumeflume-ng-core1.6.0-cdh5.14.0
你的橙子·2020-08-18 02:11

CDH相关包的下载地址：

CDH相关包的下载地址：http://archive.cloudera.com/cm5/cm/5/http://archive.cloudera.com/cdh5/parcels/latest/用户：userdel-rcloudera-scmps-ef
weixin_30846599·2020-08-17 16:04

Cloudera Manager5及CDH5在线（cloudera-manager-installer.bin）安装详细文档

1.1说明CDH官方有具体安装部署文档，及步骤详情http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/installation_installation.html此处为第一种方式ClouderaManager自动安装ClouderaManager5的要求和支持的版本具体详情http://ww
weixin_30735391·2020-08-17 16:27

[CDH基础]--Cloudera Manager的安装包和pacels下载链接

一、基本组件安装1、pacels下载：http://archive.cloudera.com/cdh5/parcels/2、ClouderaManager下载：http://archive.cloudera.com
highfei2011·2020-08-17 12:51

centos7 安装 cdh5 集群超详细教程

系统环境：主节点：master10.18.1.117从节点：slave1,slave2,slave310.18.1.118,10.18.119,10.18.1.120一、准备工作，系统环境搭建预先准备工作：CDH系统优化之关闭透明大页面及设置swappinesshttp://blog.csdn.net/post_yuan/article/details/549675081.关闭透明大页面首先查看透
mythsc·2020-08-17 09:41

spark-1.4.1-bin-cdh5.3.2 Maven编译

Spark编译前准备1.下载Spark1.4.1源码包，并解压进入spark官网下载：http://spark.apache.org/downloads.html或者笔者分享的百度云盘：链接：http://pan.baidu.com/s/17I67O密码：3cwf笔者解压到tar-zxvfspark-1.4.1.tgz-C/home/hadoop/softwares/2.安装Maven具体可参考笔
该昵称已经被占用·2020-08-17 09:14

记录配置HDFS HA后，hive抛错Wrong FS

1.问题:在CDH5.x或者Apache环境下，配置了NameNode的HA后，Hive无正常查询数据了。
crazy_stone0002·2020-08-17 05:09

hadoop distcp hftp hdfs跨集群拷贝常见问题归总

在工作中遇到部门间数据合作，需跨不同版本集群拷贝数据，从hadoop2.6.0-cdh5.7.0拷贝数据到hadoop2.7.1，记录所碰到的问题及解决方案。
hongtaq156136·2020-08-16 19:28

hadoop distcp hftp hdfs跨集群拷贝常见问题归总

在工作中遇到部门间数据合作，需跨不同版本集群拷贝数据，从hadoop2.6.0-cdh5.7.0拷贝数据到hadoop2.7.1，记录所碰到的问题及解决方案。
代码邪皇·2020-08-16 17:19

CentOS7.2卸载完CDH5.12后重装CDH

1因为是重装很多环境okAmysql环境okB防火墙okChostname绑定也没有问题Djdk也是okEroot用户，所以不涉及权限，如果不是请设置sudo权限用户Fntp服务正常Ghttpd服务正常H本地yum源配置正常Imysql连接驱动之前也有没有删除，正常cd/usr/share/java/3台机器都有2检查自己的软件包ok,之前设置过http://172.24.8.138/cm/5ht
a1346277·2020-08-16 11:56

Spark ML（5）：聚类算法（Kmeans和LDA）

一、环境配置1.spark2.1.0-cdh5.7.0（自编译）2.cdh5.7.03.scala2.11.84.centos6.4二、环境准备参考https://blog.csdn.net/u010886217
RayBreslin·2020-08-16 08:35

Spark问题记录

问题1问题描述项目中使用CDH5.8,在测试环境上使用spark-sql将数据写到Mysql时，一直报错如下java.lang.ClassNotFoundException:com.mysql.jdbc.Driver
灰灰鲁伊·2020-08-16 07:07

Hive系列-unix_timestamp 问题

问题描述环境测试集群服务器系统版本：centos7.2cdh版本：cdh5.9.0hadoop版本：2.6.0+cdh5.9.0hive版本：1.1.0+cdh5.9.0nodeManger节点：cdh003
数据新玩法·2020-08-15 21:16

hadoop伪分布式遇到的坑

start-all.shThisscriptisDeprecated.Insteadusestart-dfs.shandstart-yarn.shStartingnamenodeson[hadoop000]hadoop000:/home/hadoop/app/hadoop-2.6.0-cdh5.15.1
muyingmiao·2020-08-15 07:30

HiveMetaStore高可用性(HA)配置

软件环境Hadoop2.6.0-cdh5.9.0Hive1.1.0-cdh5.9.0Zookeeper3.4.5-cdh5.9.0工作原理常规连接MetaStoreHA前置条件Hadoop、Zookeeper
RotKang·2020-08-14 22:38

给Clouderamanager集群里安装可视化分析利器工具Hue步骤（图文详解）

CDH版本大数据集群下搭建Hue（hadoop-2.6.0-cdh5.5.4.gz+hue-3.9.0-cdh5.5.4.tar.gz）（博主推荐）以下，是我在Ambari集群平台下，安装Hue。
weixin_30877755·2020-08-14 20:25

杀掉spark on yarn-cluster服务和查看日志

运行时的日志：停止sparkonyarn-cluster服务命令：yarnapplication-killappid查看yarn-cluster运行时的日志：[[email protected]cdh5.4.1
千里风雪·2020-08-14 20:50

安装Hue后的一些功能的问题解决干货总结

Hue版本：hue-3.9.0-cdh5
HuFeiHu-Blog·2020-08-14 20:04

CDH5.14安装指南和维护(亲自搭建好多次)

目录：一、安装前期准备1）CDH的parcel下载2）ClouderaManager下载3）重要说明4）添加新节点说明二、Linux系统准备1)安装Java2)修改主机名3)Windows&Linux域名解析4)ssh免密登陆5)关闭防火墙6)关闭selinux7)安装Mysql8)NTP时间同步9)安装必备软件三、ClouderaManager安装1)主节点文件如下2)每台节点前期准备a)创建c
北京小辉·2020-08-14 19:27

HDFS元数据信息FSimage和Edits以及SecondaryNameNode辅助管理元数据信息

这两个文件就记录了所有的数据的元数据信息，元数据信息的保存目录配置在了hdfs-site.xml当中：dfs.namenode.name.dirfile:///export/servers/hadoop-2.6.0-cdh5.14.0
Nice_N·2020-08-14 19:52

部署HUE

第一步：下载Hue的压缩包并上传到linux解压http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.7.0.tar.gz第二步：编译安装启动2.1
5xh·2020-08-14 18:20

定时脚本: 删除HDFS中的过期文件

/bin/bashsource~/.bashrc#HADOOP所在的bin目录HADOOP_BIN_PATH=/home/hadoop/hadoop-2.3.0-cdh5.0.0/bin#待检测的HDFS
debang2014010·2020-08-14 17:23

如何配置CDH的企业微信-群机器人告警

企业微信群机器人）1文档主要内容实现ClouderaManager告警的企业微信群机器人转发实现思路是采用clouderamanager支持的自定义告警脚本方式，在脚本中调用企业微信群机器人的api测试环境CDH5.16.22
Eights-Li·2020-08-14 16:22

源码编译zepplin踩过的那些坑

zeppelin.apache.org/docs/0.7.3/install/build.htmlStep1.确定系统环境和需要的各软件版本Centos6.7OraceJDK1.8Hadoop2.6.0-cdh5.10.2hbase1.2.0
走向自由·2020-08-14 16:41

CDH5.16搭建Kylin和Dashboard功能开启

CDH5.16环境下搭建Kylin2.6.6注意事项:从v2.6.1开始，Kylin不再包含Spark二进制包,需要单独下载1.软件版本介绍:CDH5.16.2Kylin:2.6.62.CDH版本kylin2.6.6
Migumigu1316·2020-08-14 16:52
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他