E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
cdh5
mysql8.x下hue的安装 及 解决 my_config.h 不存在的问题
//docs.gethue.com/latest/quickstart/环境准备CentOS7.6hadoop2.7.2mysql8.0.17python2.7.5解压hue版本:hue-3.9.0-
cdh5
.9.3
萌萌哒的理工男
·
2020-06-25 15:19
hue
【备忘】Sqoop、Flume、Oozie、Hue大数据工具视频教程
第1章数据转换工具Sqoop101大数据Hadoop2.x协作.框架的功能.mp402Sqoop功能概述和版本、架构讲解.mp403Sqoop使用要点(核心)及企业版本讲解.mp404使用
CDH5
.3.6
qq_38472057
·
2020-06-25 14:55
大数据------Strom集群安装配置(详细教程)
https://www.acfun.cn/a/ac10294589(免费教程)由于
CDH5
.12本身不集成Strom,所以需要单独使用Strom+Zookeeper进行集群安装和搭建。
ItStar
·
2020-06-25 14:18
CDH集成Kerberos
一、安装Kerberos1.整体说明软件版本操作系统:CentOs6.8CDH版本:Hadoop2.6.0-
cdh5
.9.0JDK版本:jdk1.7.0_67-cloudera运行用户:root集群主机角色划分
小米棍
·
2020-06-25 12:55
kerberos
Mahout使用K-Means进行中文文本聚类
一、数据准备版本说明使用的Mahout版本为apache-mahout-distribution-0.10.1使用的Hadoop版本为hadoop-2.3.0-
cdh5
.0.0分词使用爬虫对每个URL的标题
首席撩妹指导官
·
2020-06-25 12:48
大数据
Cloudera大数据平台环境搭建(基于CentOS7的虚拟机环境)
,离线安装CDH和ClouderaManager过程,软件版本如下:NO.软件名称版本1操作系统CentOS-7-x86_64-Minimal-1804.iso2JDK3ClouderManager4
CDH5
哈尔科夫扫地僧
·
2020-06-25 10:44
问题集
cdh版本的flume安装以及配置
Apache版本下载地址:http://archive.apache.org/dist/flume/CDH版本下载地址:http://archive.cloudera.com/
cdh5
/cdh/5/flume-ng
大数据爱好者社区
·
2020-06-25 09:22
flume
使用flume搭建日志收集系统
环境操作系统:CentOS7*2Flume版本:flume-ng-1.6.0-
cdh5
.7.0
桥路丶
·
2020-06-25 07:58
项目
大数据
linux
centos7
Intellij IDEA开发Hadoop伪分布式应用
在上一篇博客中(https://blog.csdn.net/qq_33588730/article/details/81123614)安装
CDH5
.15.0之后,安装好的是单机版Hadoop,并且准备好了伪分布式与全分布式需要的
书忆江南
·
2020-06-25 07:22
大数据
CDH5
.16.2安装Hue、kylin、spark2遇到的坑
环境:centos7#uname-aLinuxhadoop0013.10.0-957.el7.x86_64#1SMPThuNov823:39:32UTC2018x86_64x86_64x86_64GNU/Linux1、socket.error:[Errno98]Addressalreadyinuse找了很久到底是哪个和hue冲突,原来是我们的一个小工具“宝塔linux面板”的端口号也是8888,。
且插梅花醉平阳
·
2020-06-25 06:26
hadoop集群安装
kerberos安装及高可用配置
一.1.Redhat7.42.
CDH5
.153.采用root用户进行操作4.192.168.8.181master1.com(主机)192.168.8.182master2.com(备机)192.168.8.183slave183
这只猫有点胖
·
2020-06-25 05:26
kerberos
大数据平台搭建------CDH单机部署
utm_source=blogxgwz3一、部署前的准备1、检查jdk是否安装:参考jdk安装配置文档(jdk7或jdk8,所有节点都要一致)2、兼容性建议:CentOS6.8+
CDH5
.11.x(x>
qq_31102103
·
2020-06-25 05:56
大数据
cdh版本hadoop五节点部署
details/51446674启动集群1、启动zookeeper[hadoop@cdhnode1app]$runRemoteCmd.sh"/home/hadoop/app/zookeeper-3.4.5-
cdh5
.4.5
lijie_cq
·
2020-06-25 00:11
hadoop
Flume的原理和基本使用
Flume官网:http://archive.cloudera.com/
cdh5
/cdh/5/flume-ng-1.6.0-
cdh5
.15.1/概述 Flume是一个分布式日志的的采集框架,其核心是把数据从数据源
实力不允许偷懒
·
2020-06-25 00:16
Centos6.7 +
CDH5
.4.5 HADOOP 集群环境离线安装
Centos6.7+
CDH5
.4.5HADOOP集群环境离线安装版本历史:日期版本描述作者2016-06-111.0
CDH5
.5.7离线安装2016-07-112.0
CDH5
.4.5HADOOP重新编写目录
qq_16620187
·
2020-06-24 23:17
hadoop
CDH
hadoop基础----hadoop实战(七)-----hadoop管理工具---使用Cloudera Manager安装Hadoop---Cloudera Manager和
CDH5
.8离线安装
hadoop基础----hadoop实战(六)-----hadoop管理工具---ClouderaManager---CDH介绍简介我们在上篇文章中已经了解了CDH,为了后续的学习,我们本章就来安装
CDH5
.8
张小凡vip
·
2020-06-24 21:36
hadoop
HUE平台oozie 调度系统设置踩坑记录
StdoutputWarning:/opt/cloudera/parcels/CDH-5.13.0-1.
cdh5
.13.0.p0.29/bin/../lib/sqoop/..
poson
·
2020-06-24 20:39
hadoop
使用python客户端访问impala
有较好的数据分析函数,所以需要使用python客户端来获取impala中的表数据,这里的测试环境是:操作系统:win7(linux下也可行)python2.7大数据环境:centos6.6CDH版本:
CDH5
.4.1impala2.1.2port
faith默默
·
2020-06-24 19:48
python
Impala
Alex 的 Hadoop 菜鸟教程: 第6课 Hbase 安装教程
原帖地址:http://blog.csdn.net/nsrainbow/article/details/38515007声明:本文基于Centos6.x+
CDH5
.x官方英文安装教程http://www.cloudera.com
alexxiyang
·
2020-06-24 18:07
Alex的Hadoop菜鸟教程
Alex 的 Hadoop 菜鸟教程: 第7课 Hbase 使用教程
原帖地址:http://blog.csdn.net/nsrainbow/article/details/38758375声明:本文基于Centos6.x+
CDH5
.x本例中Hbase是安装成集群模式的本文通过建立
alexxiyang
·
2020-06-24 18:00
Alex的Hadoop菜鸟教程
在centos7.2上Flink1.9.1源码编译(hadoop2.6.0-
cdh5
.15.1)
编译步骤参照官网:https://ci.apache.org/projects/flink/flink-docs-release-1.9/flinkDev/building.html0.按照官网:InadditionyouneedMaven3andaJDK(JavaDevelopmentKit).FlinkrequiresatleastJava8tobuild.配置好前置条件。1.github获取
muyingmiao
·
2020-06-24 16:33
Flink
Hbase复制(Replication )
Hbase复制使用手册1Hbase复制简介通过hbase的replication功能实现集群间的相互复制.2环境这里hbase版本为hbase-0.98.6-
cdh5
.3.33配置各个集群里配置hbase-site.xml
mnasd
·
2020-06-24 15:25
hbase
CDH5
.16.2安装部署(三) CDH部署
一、离线部署cmserver及agent1.1拷贝cm包到其他节点[root@hadoop001
cdh5
162]#scpcloudera-manager-centos7-cm5.16.2_x86_64.
番茄炒蛋213
·
2020-06-24 14:55
大数据
CDH
CDH5
.16.2安装部署(二)MySQL5.7.11离线部署
一、MySQL离线安装1、解压及创建目录[root@hadoop001
cdh5
162]#tar-xfmysql-5.7.11-linux-glibc2.5-x86_64.tar.gz/usr/local
番茄炒蛋213
·
2020-06-24 14:24
大数据
CDH
CDH5
.16.2安装部署(一)准备工作
一、集群规划离线部署:mysqlcm(serveragent主从架构)parcel文件规划:hadoop001:mysqlcm-servercm-agentnnsnndnrmnmzkhadoop002:cm-agentdnnmbrokerzkhadoop003:cm-agentdnnmbrokerzk原则:选择第一台配置不是太强的做为工具节点mysqlcm-servercm-agent选择2台专门
番茄炒蛋213
·
2020-06-24 14:24
大数据
CDH
Centos7离线安装
cdh5
.15.1以及遇到等部分问题
公司有几台闲置机器,之前同事安装了
cdh5
.12.1,使用rpm安装,安装容易后期维护个人感觉很麻烦啊!特别是各种路径非常难找!
赣江
·
2020-06-24 13:31
后端开发
spark maven项目加入scala
POM文件4.0.0com.unionpaysparkDemo1.0-SNAPSHOTUTF-82.4.02.6.0-
cdh5
.14.42.112.9.1compileclouderahttps://repository.cloudera.com
一只小菜鸟(* ̄︶ ̄)
·
2020-06-24 13:56
Spark
kafka-
cdh5
.11环境中集成部署kafka
1.准备cdh集群搭建成功,且部署好zookeeper.因为kafka在CDH上要求用CDH上的Zookeeper管理而不是Kafka自带的Zookeeper管理。集群:cdh01192.168.50.248cdh02192.168.50.249cdh03192.168.50.247不同版本的cdh支持不同版本的kafka.根据官方的文档:能够安装的kafka版本为2.1.x下载需要的csd包下载
lisery_nj
·
2020-06-24 11:53
kafka
cdh
apache Kylin搭建 CDH版本
apache-kylin下载kylin:wgethttp://apache.fayea.com/kylin/apache-kylin-1.5.4/apache-kylin-1.5.4-
cdh5
.7-bin.tar.gz
星空刀客
·
2020-06-24 09:19
综合
spark on yarn部署
DynamicallocationExternalShuffleServiceshuffle文件目录clustermodeclientmode三.调度FairScheduler队列设置资源抢占(Preempt)delayscheduling运行环境spark2.0.2
cdh5
.9.0
breeze_lsw
·
2020-06-24 09:24
Spark
Docker之Hadoop普通集群搭建
使用的镜像为hadoop-2.6.0-
cdh5
.4.5.tar.gz。在docker之上搭建一个容器为m
小林子405
·
2020-06-24 09:47
HDFS学习笔记:HDFS JavaAPI编程
eclipse、设置工作目录、新建java工程2.加入jar包新建名为lib的folder,将这些目录下的jar包都复制到lib里,然后buildpath/opt/software/hadoop-2.6.0-
cdh5
.14.0
SetsunaMeow
·
2020-06-24 09:47
Hadoop
CDH5
.2+CM5.2+impala2+Spark1.1 集群搭建基础环境准备
准备工作详情如下:1在四台机器上安装CentOSrelease6.5(Final)64位(管理节点需要安装Mysql\Postgresql\redhat_lsb)2
CDH5
.2(包含了Spark1.1
当官的富
·
2020-06-24 08:59
大数据
Sqoop安装、配置和操作详解
开启集群服务3、配置文件:sqoop-env.sh,如下:#Setpathtowherebin/hadoopisavailableexportHADOOP_COMMON_HOME=/opt/modules/
cdh5
.3.6
lmh450201598
·
2020-06-24 08:22
hive
Sqoop
hadoop
HDFS Java api操作
pom.xml中添加相关依赖4.0.0com.lzc.hadoophadoop-api1.0-SNAPSHOThadoop-apihttp://www.example.comUTF-81.71.72.6.0-
cdh5
.7.0clouderahttps
lizc_lizc
·
2020-06-24 07:16
Hadoop
oozie的安装配置
1.下载ooziehttp://archive.cloudera.com/
cdh5
/cdh/5/oozie-4.1.0-
cdh5
.5.2.tar.gz解压到指定路径/usr/local/tar-xvfoozie
liuyunshengsir
·
2020-06-24 07:42
hadoop
CDH安装kylin集群
参考:https://blog.csdn.net/eyeofeagle/article/details/88991967安装环境:
cdh5
.12.0kylin:apache-kylin-2.6.2-bin-
cdh5
7
lin502
·
2020-06-24 05:37
BI
分分钟解决HDFS无法启动的一个小问题------HDFS启动后一直处于安全状态
StartingNameNode2STARTUP_MSG:host=hadoop001/192.168.137.1413STARTUP_MSG:args=[]4STARTUP_MSG:version=2.6.0-
cdh5
.7.05STARTUP_MSG
lin502
·
2020-06-24 05:37
Hadoop
kylin实例
示例数据参见:kylin用实例说明原理环境centos6.5
CDH5
.15ApacheKylin2.1.0hive新表原始表createtableifnotexistschenzl.kylintest(
zhiliang-chen
·
2020-06-24 04:19
#
Kylin
大数据运维
cdh5
.5.1 配置启动flume
一、如何使用flume在CDH界面添加服务,选择flume之后选择主机,flume服务就启动了,下面就是配置参数二、关于配置文件有些网友在配置flume的时候,配置文件保存正常没有报错,但是hdfs上就没有数据,原因是因为,CDH的cloudera-monitor.properties里配置agent_name,所以我们配置的时候需要使用这个名字,cloudera-monitor.properti
levy_cui
·
2020-06-24 03:21
Flume
CDH
基于
CDH5
集群配置snappy压缩
基于
CDH5
集群配置snappy压缩,配置步骤如下:1、常用的三种压缩gzip,lzo,snappy,经分析对比算法压缩后/压缩前压缩速度解压速度GZIP13.4%21MB/s118MB/sLZO20.5%
kwu_ganymede
·
2020-06-24 01:23
Hive
Spark
Hadoop
NodeManager启动报错
org.fusesource.leveldbjni.internal.NativeDB$DBException:Corruption:checksummismatch系统环境:ubuntu14.04servercloudera
CDH5
.10
DemonHunter211
·
2020-06-24 01:49
Hadoop
Yarn
CDH5
安装过程中cloudera.server.cmf.Main: Server failed.
可能导致这个的原因有很多,很多方法基本上都试过了但还是不行,下面是报错内容,如果和你一样,不妨参考一下是不是会和你有共同的问题2018-01-1512:42:20,103ERRORmain:com.cloudera.server.cmf.Main:Serverfailed.org.springframework.beans.factory.BeanCreationException:Errorcr
Beginner_Coder
·
2020-06-24 01:41
数据挖掘
Kylin安装及使用
Kylin1.6
CDH5
.10安装Kylin有两种安装方式:单机及集群。本文以集群为例。单机版Kylin安装起来还是挺简单的,解压即安装。
shengjk1
·
2020-06-23 23:57
工作之行
解决hive表注释乱码
环境
cdh5
.8.3+hive1.1.0。hive元数据库用的是mysql创建表后,用desc在hive中查看表信息,注释显示乱码。
昵称诚诚
·
2020-06-23 23:28
hive
Centos 6.5 CM5.3.2和
CDH5
.3.2安装
说明:集群系统为Centos6.5,都是在root权限下进行配置,所有机器必须关闭SELinux,关闭防火墙,配置ssh免密码登录。root的密码要一致。1.CM5.3.2安装1.1系统配置(所有机器都要配置,在root权限下进行)关闭防火墙(永久,重启后生效)chkconfigiptablesoff关闭SELinuxvim/etc/selinux/config将SELINUX=enforcing
jjfnjit
·
2020-06-23 22:57
hadoop
cdh5
.14.2版flink1.10编译过程
一、编译环境1、Java(至少1.8以上)#java-versionopenjdkversion"1.8.0_252"OpenJDKRuntimeEnvironment(build1.8.0_252-b09)OpenJDK64-BitServerVM(build25.252-b09,mixedmode)2、Maven(至少Maven3以上版本)#mvn-vApacheMaven3.6.3(cece
古佛青灯
·
2020-06-23 20:25
flink
Using the CDH 5 Maven Repository
引用自:http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_vd_
cdh5
_maven_repo.htmlThisisthedocumentationforCloudera5.4
jason9211
·
2020-06-23 20:38
Hadoop
在centos7上使用本地库方式离线安装
cdh5
一、环境配置1、前提准备已配置静态ip准备一个完整的跟当前系统一样的,系统镜像iso文件:centos下载下载需要的clouderamanager的rpm包:下载链接下载cdh的parcel包:下载链接下载mysql的安装包:下载链接准备mysql的连接包:mysql-connector-java2、配置hosts将所有需要的机器安装如下格式配置到hosts文件中:1.1.1.1foo-1.exa
夜读症惯着
·
2020-06-23 17:30
安装cdh
CDH-Hadoop集群CentOS下的搭建(离线安装)
说明:在本地虚拟机环境中进行
CDH5
.7.2集群的搭建,在搭建之前请先在虚拟机上装好三台CentOS7,三台内存分别为8g,2g,2g,博客为原创,转载请标明出处,另外由于各环境有版本等情况不同,大家在安装时特别是第一次安装的时候可能遇到的坑与我遇到的不一样
tuuuuski
·
2020-06-23 16:44
大数据
CDH
Hadoop
上一页
17
18
19
20
21
22
23
24
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他