E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
CDH5
centos7离线部署
CDH5
.16.2
40131121/11897302cloudera-manger版本和下载网址:cloudera-manager-centos7-cm5.16.2_x86_64.tar.gzCDH版本和下载网址:下载
CDH5
.16.2
yszhong123
·
2020-09-14 00:20
CDH
hadoop
Cloudera Manager集群搭建
ClouderaManager集群搭建环境说明:Linux版本Centos6.5CDH版本
CDH5
linux操作用户root一、安装包下载?
yuxiaojianran
·
2020-09-13 20:39
Cloudera Manager 5和
CDH5
离线安装
ClouderaManager5和
CDH5
离线安装前期准备:13台centos6.7(虚拟机部署)=12台(CDH集群)+1台(LAMP展示机器)HostNameIPmaster0110.255.184.32master0210.255.184.33slave0110.255.184.34slave0210.255.184.35slave0310.255.184.36slave0410.255.1
十色花
·
2020-09-13 20:28
集群部署
Hadoop
离线安装Cloudera Manager 5和
CDH5
及与遇到的问题总结
今天介绍一下:在linux系统下,如何搭建CDH集群.1.1ClouderaManager简介ClouderaManager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。ClouderaManager有四大功能:(1)管理:对集群进行管理,如添加、删除节点等操作。(2)
new个对象先
·
2020-09-13 20:10
开发环境搭建
cdh5
cloudera
Manager
linux
hadoop集群
集群安装
CDH5
.16.1集群企业真正离线部署
⼀.准备⼯作1.离线部署大纲MySQL离线部署CM离线部署Parcel⽂件离线源部署2.规划linux版本:CentOS7.2节点MySQL组件Parcel⽂件离线源CM服务进程⼤数据组件hadoop001MySQLParcelAlertPublisherEventServerNNRMDNNMZKhadoop002AlertPublisherEventServerDNNMZKhadoop003Ho
b10l07
·
2020-09-13 20:55
java
数据库
开发工具
Ubuntu14.04离线安装
CDH5
.6.0
相关包的下载地址:ClouderaManager地址:http://archive.cloudera.com/cm5/cm/5/CDH安装包地址:http://archive.cloudera.com/
cdh5
洽洽老大
·
2020-09-13 20:09
hadoop
CDH集群环境要求
CDH5
.x集群
CDH5
.X集群如下图所示:由于集群使用yarn的高可用机制,一般选择奇数台主机,所以,最小集群主机数要求应为3台。
WorkWorship
·
2020-09-13 19:02
大数据
cdh集群安装sqoop
sqoop-cdh安装:1、上传sqoop-1.4.6-
cdh5
.10.1.tar.gz包到/opt/sqoop目录2、解压缩文件:tar-zxfsqoop-1.4.6-
cdh5
.10.1.tar.gz3
1057718341_h
·
2020-09-13 19:02
mysql
sqoop
大数据-hadoop
离线安装Cloudera Manager 5和
CDH5
(最新版5.9.3) 完全教程(一)环境说明
系统环境实验环境:Windowsserver2008下VMware虚拟机操作系统:CentOS6.5x64ClouderaManager:5.9.3CDH:5.9.3安装说明由于处于数据安全保障,整个集群处于内网环境,采用全离线安装相关包的下载地址ClouderaManager下载地址:http://archive.cloudera.com/cm5/cm/5/说明:cloudera-manager
Lv_Hulk
·
2020-09-13 19:10
Cloudera(CDH)
Cloudera Manager5之安装部署
CDH5
.X
本文章介绍ClouderaManager的安装以及部署
CDH5
.X。主要分如下章节介绍。
邹中凡
·
2020-09-13 18:50
Hadoop
Cloudera
Flink on Yarn -
CDH5
本篇文章大概2892字,阅读时间约8分钟根据Flink官网资料,实操
CDH5
.16.2上配置Flinkonyarn,给出了flinkonyarn的集成方式和HA的配置方式1文档编写目的记录Flinkonyarn
Eights-Li
·
2020-09-13 18:15
CDH5
和Cloudera Manager5对环境的要求
说明:1.一下内容针对Cloudera5.X版本,2.内容来源http://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#xd_583c10bfdbd326ba--5a52cca-1476e7473cd--7f8dCDH与ClouderaMananger之间的版本要求1
wsppstwo
·
2020-09-13 18:34
大数据
05搭建cdh 生产环境搭建(生产可用)
自己一直没有时间去写,安装cdh的博客,看到几个大神写的安装cdh比较完整,这里做一个记录CDH安装包下载地址http://archive.cloudera.com/
cdh5
/parcels/5.13.3.2
weixin_34265814
·
2020-09-13 18:44
【基本知识】Flume基本环境搭建以及原理
系统:CentOS6.5JDK:1.8.0_144Flume:flume-ng-1.6.0-
cdh5
.12.0一、什么是Flumeflume作为cloudera开发的实时日志收集系统,受到了业界的认可与广泛应用
weixin_33958366
·
2020-09-13 18:42
Cloudera Manager CDH 5.12 大数据处理平台部署指南
ClouderaManager
CDH5
.12部署指南官方共给出了3中安装方式。第一种方法必须要求所有机器都能连网,由于各种网络超时错误,基本没法用。
运维个西瓜
·
2020-09-13 18:34
Bigdata-Cloudera
CDH5
生产环境推荐的硬件配置
Bigdata-Cloudera
CDH5
生产环境推荐的硬件配置MasterNodeHardwareRecommendationsTypicalconfigurationsforworkernodesWorkerNodes—CPUWorkerNodes—RAMWorkerNodes—Disk
adson1987
·
2020-09-13 17:58
BigData
java.io.IOException: Mkdirs failed to create /flume/hdfs2 (exists=false, cwd=file:/opt/
cdh5
.7.
在flume中报这样的错,说无法创建/flume/hdfs2这个是往hadoop上写hdfs的时候找不到,我的原因是没有把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到flume安装目录的conf目录去,移进去就好了
三房头o
·
2020-09-13 13:38
hadoop编译
本次编译的版本为hadoop-2.6.0-
cdh5
.7.0,从官网下载好源码和需要的工具等一,准备好工具,并上传至Linuxsoftware目录下#先安装好上传文件的命令rzyuminstalllrzsz-rw-r
冬瓜螺旋雪碧
·
2020-09-13 12:05
Hadoop
自己踩得坑
Prometheus监控工具安装部署
详细介绍见官网:https://prometheus.io/docs/introduction/overview/部署环境
CDH5
.16.2CentOS7Prometheus部署在CDH集群的
Eights-Li
·
2020-09-13 11:14
hue
hue:大数据的web工具,cloudera开源为以Hadoop为基础的生态系统的其他架构提供了一个统一的友好的web管理界面官网:http://archive.cloudera.com/
cdh5
/cdh
Vanessa_wanglu
·
2020-09-13 06:28
大数据
hue
大数据开发
Mac virtualbox linux 单节点hadoop安装
这里搭建的是慕课网大数据课程中的版本1、下载hadoopwgethttp://archive.cloudera.com/
cdh5
/cdh/5/hadoop-2.6.0-
cdh5
.7.0.tar.gz2、
starkpan
·
2020-09-13 02:32
hadoop
yarn
Zookeeper与Curator开发遇到的坑
做zookeeperclinet客户端开发,zookeeper使用如下版本:3.4.5-
cdh5
.15.1,curator-recipes使用3.3.0.
muyingmiao
·
2020-09-13 02:36
大数据
zookeeper
java.lang.NoClassDefFoundError: parquet/hadoop/ParquetOutputCommitter
CDH5
.7.0Spark-Shell启动错误java.lang.NoClassDefFoundError:parquet/hadoop/ParquetOutputCommitteratorg.apache.spark.sql.SQLConf
Jeremy-D
·
2020-09-12 20:36
大数据
部署问题
问题 spark zeepelin0.8.1无法使用map等算子
错误信息:目前我们有两个版本的CDH集群,
CDH5
.9.1,CDH6.1.1在安装了相同版本的zeepelin0.8.1,相同的代码,在
CDH5
.9.1中出现类找不到的错误org.apache.spark.SparkException
章锡平
·
2020-09-12 19:39
大数据—Spark
Kafka配置问题总结
1、
CDH5
.11.0、Kafka2.2.0环境当使用/opt/cloudera/parcels/KAFKA/bin/kafka-console-producer--broker-listDD01:9092
lookingforwardToHope
·
2020-09-12 11:41
kafka
kafka
kafka对接SparkStreaming的方式详解
环境kafka_2.11-0.10.0.1hadoop-2.6.0-
cdh5
.7.0spark-2.2.0-bin-2.6.0-
cdh5
.7.0Receiver方式环境不合适,只能简答描述特点该方式只能为
逗点儿
·
2020-09-11 21:57
spark读写hbase
1配置1.1开发环境:HBase:hbase-1.0.0-
cdh5
.4.5.tar.gzHadoop:hadoop-2.6.0-
cdh5
.4.5.tar.gzZooKeeper:zookeeper-3.4.5
克终
·
2020-09-11 19:47
分布式大数据处理引擎
HDFS的shell命令操作,hdfs的高级使用命令
HDFS的shell命令操作基本语法bin/hdfsdfs具体命令参数大全[
[email protected]
cdh5
.14.0]#bin/hdfsdfsUsage:Hadoopfs[genericoptions
真情流露哦呦
·
2020-09-11 17:20
HDFS
镜像文件下载
http://vault.centos.org/6.5/isos/x86_64/http://archive.cloudera.com/
cdh5
/repo-as-tarball/5.5.1/好书推荐InsidetheJavaVirtualMachine
wankunde
·
2020-09-11 17:04
Hbase安装(使用自带的ZooKeeper)
本次使用的是hbase-1.0.0-
cdh5
.6.0.tar版本参考博客:centos6.5下配置hbaseHBase初识、CentOS6.6中HBase安装与HBaseShell简单使用Hbase作者使用链接
Re:fused
·
2020-09-11 13:37
其他
Hue集成Hive
首先进入到Hue的conf目录下/export/servers/hue-3.9.0-
cdh5
.14.0/desktop/conf修改Hue.ini根据下面的内容对文件中对应的属性进行修改!
Alice菌
·
2020-09-11 11:13
Hadoop
#
Hue
Hive
Hadoop
云计算/大数据
Hue
spark IDEA开发环境搭建及运行问题
下图是例子:还用说么,引入相关jar包(等下再一一说明)包括scala,spark-assembly-1.4.1-hadoop2.5.0-
cdh5
.2.1.jar(按照你的spark和hadoop版本)
weixin_34360651
·
2020-09-11 11:11
Flume拦截器实现按照事件时间接入HDFS
采用Flume自定义拦截器可以实现按照事件时间Sink到HDFS目录,以应对数据的事件时间混乱问题1文档编写目的Flume自定义拦截器的开发和测试,应对日志事件时间混乱问题集群环境
CDH5
.16.22
Eights-Li
·
2020-09-11 08:24
IDEA+MAVEN开发Spark 词频统计
org.apache.sparkspark-core_2.112.2.0org.scala-langscala-library2.11.8org.apache.hadoophadoop-client2.6.0-
cdh5
.7.0IDEA
shell33168
·
2020-09-11 07:05
spark
oozie修改为GMT时间
1,修改oozie-site.xml:oozie.processing.timezoneGMT+08002,修改/opt/setup/oozie-4.0.0-
cdh5
.3.6/oozie-server/
forrestxingyunfei
·
2020-09-11 06:21
Oozie框架
Sqoop
1.sqoop安装cd/usr/localwgethttp://archive.cloudera.com/
cdh5
/cdh/5/sqoop-1.4.6-
cdh5
.7.1.tar.gztar-zxvfsqoop
weixin_39182877
·
2020-09-11 05:31
3)
CDH5
.9 Hive整合Sentry权限管理
2019独角兽企业重金招聘Python工程师标准>>>第一章配置服务1.HUE必要配置2.Hive必要配置启动过时应用第二章配置HUE用户三种相关的用户关系是:linux用户->hue用户->hive角色如果要添加的HUE用户不是集群中已存在的用户(hdfs、hive、sentry等用户已事先存在),就必须先在集群上每一个节点添加相应的用户组和用户。否则添加的用户能进入HUE的HIVE查询页,但是
weixin_34417814
·
2020-09-11 05:42
远程链接HBase调试报错:Exception in thread "main" java.lang.ExceptionInInitializerError
一、问题描述1.环境CentOS6,
CDH5
.7.0,hbase-1.2.0-
cdh5
.7.02.报错描述外部连接hbase服务器,在创建admin时报错:StringnameSpace="Test";
RayBreslin
·
2020-09-11 04:10
idea
hbase
HBase不同版本集群之间数据迁移
本文摘自:https://www.dazhuanlan.com/2019/10/20/5dac43ffeb75a/由于HBaseCDH4和
CDH5
数据格式不兼容,所以不能用“CopyTable”之类的方法来进行数据迁移
to.to
·
2020-09-11 03:36
#
HBASE
【大数据】hadoop--linux单机版安装(伪分布式)
1、JDK(建议使用JDK1.8.11)2、将hadoop-2.6.0-
cdh5
.14.2.tar.gz拖到root下的opt文件夹3、输入:tar-zxfhadoop-2.6.0-
cdh5
.14.2.
snacksindesks
·
2020-09-11 03:10
hadoop
【大数据】hadoop分布式数据库--HBase1.2.0伪分布式安装
伪分布式模式安装1.首先下载hbase1.2.0压缩包2.放到linux虚拟机的opt目录下[root@xxx~]#cd/opt3.解压压缩包[root@xxxopt]#tar-zxfhbase-1.2.0-
cdh5
.14.2
snacksindesks
·
2020-09-11 03:38
CDH 5.12 spark升级从1.6到2.2
CDH5
.12对应spark版本下载Spark升级包CSD文件下载SPARK2_ON_YARN-2.1.0.cloudera1.jarparcels包下载因为我的Linux版本是centos7,因此下载下面的两个包
克念
·
2020-09-11 03:33
linux
shell
数据仓库
ETL
环境搭建
JAVA byte 类型
centos6.5
CDH5
.15JDK1.8hbase1.2简介不管什么数据,计算机最终存储的是二进制的0和1,每个二进制占1位(bit);因为最早是老美发明的计算机,英语的所有字符使用8位二进制就能都表征了
zhiliang-chen
·
2020-09-11 01:56
JAVA
CDH的hive权限问题
目前使用的是cloudera的
CDH5
.1.0很多配置问题和网上主流的不太一样进行了文本分次之后的结果放入hive成功,但是查询的时候遇到如下问题org.apache.hadoop.security.AccessControlException
白神来了
·
2020-09-11 01:32
hadoop
CDH5
.8.4-hadoop2.6.0安装hive
1.安装MariaDB1.1使用yum源安装MariaDB[root@host151~]#yum-yinstallmariadbmariadb-server1.2启动MariaDB[root@host151~]#systemctlstartmariadb设置开机自启动[root@host151~]#systemctlenablemariadb1.2修改MariaDB配置文件修改/etc/my.cn
SimpleSimpleSimples
·
2020-09-11 00:23
BigData大数据相关
CDH5
.3 集成Hive,Hue权限控制
之前公司业务提出需求要对Hive进行权限控制hive版本1.2.1,升级过一次。1.HUE中添加用户bigdata给与hive访问权限新建一个用户组bigdata,将bigdata从default组移动到bigdata组。2.所有节点root用户登录useraddbigdatapasswdbigdatagpasswd-abigdatahadoop添加系统用户bigdata并添加到用户组hadoop
简单的心1
·
2020-09-10 23:52
Hive
HIVE: Authorization failed:No privilege 'Select' found for inputs
Authorizationfailed:Noprivilege'Select'foundforinputs本图上setsystem:user.name=hadoop为错误标注,不必理会Hadoop环境:
CDH5
.11
丶大白菜
·
2020-09-10 22:17
hive
CDH5
.8.4-hive的库表权限控制
1.查看hive的角色hive>showroles;FAILED:SemanticExceptionThecurrentbuiltinauthorizationinHiveisincompleteanddisabled.hive>sethive.security.authorization.task.factory=org.apache.hadoop.hive.ql.parse.authoriza
SimpleSimpleSimples
·
2020-09-10 22:08
BigData大数据相关
Apache Kylin CDH版本安装部署
1.1Kylin安装步骤l下载Kylin安装包登录http://www.apache.org/dyn/closer.cgi/kylin/apache-kylin-1.6.0/apache-kylin-1.6.0-
cdh5
.7
大数据令狐冲
·
2020-09-10 21:42
大数据
求助 hue下载csv文件时报错 ERROR The query result cannot be downloaded,Invalid query handle:
hiveserver2ERRORThequeryresultcannotbedownloaded.Traceback(mostrecentcalllast):File"/opt/cloudera/parcels/CDH-5.13.3-1.
cdh5
.13.3
蘑菇丁
·
2020-09-10 13:09
实验
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他