E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Cloudera
015 大数据之Flume
1、ApacheFlume初识【Flume】Flume简单理解及使用实例Flume是
Cloudera
提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方
小哥哥咯
·
2023-09-25 06:05
大数据
big
data
flume
hadoop
八、大数据之Flume-01
八、大数据之Flume-01概述1、Flume定义Flume是
Cloudera
提供的一个高可用,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。
不念人间朝暮
·
2023-09-25 06:04
Flume
flume
大数据
flume安装部署及使用
修改配置文件三、Flume简单使用3.1使用Flume监听一个端口,收集该端口数据,并打印到控制台3.2使用Flume监听本地目录,将目录下的文件上传hdfs前言flume安装和使用一、Flume定义Flume是
Cloudera
菜鸡努力学习中
·
2023-09-24 14:25
flume
ETL工具
flume
hadoop
Flume架构总结
Flume简介:Flume是
Cloudera
提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理
Mr_Qifei
·
2023-09-24 09:40
Spark学习笔记(三):使用Java调用Spark集群
UTF-81.81.82.6.0-cdh5.14.21.1.0-cdh5.14.21.2.0-cdh5.14.22.11.82.4.4
cloudera
https://repository.
cloudera
.com
bluesnail95
·
2023-09-24 09:24
Reduce)
spark
Apacha Flume
0目录1.Flume概述2.Flume安装部署3.案例14.案例25.案例31.Flume概述1.1Flume定义Flume是
Cloudera
提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统
请给我一串代码好吗
·
2023-09-24 06:51
flume
大数据
日志采集引擎 —— Flume
Flume是
Cloudera
开发的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定义各类数据发送方,用于收集数据。
小胡_鸭
·
2023-09-24 02:24
CDH Service Monitor角色错误
Failedtoopenorcreatepartitioncom.
cloudera
.cmon.tstore.leveldb.LDBPartitionManager$LDBPartitionException
万事于足下
·
2023-09-23 18:11
一些错误
CDH
cdh部署成功后无法安装集群无法进入安装向导
cdh部署成功之后,登录后本应该出现安装向导,但是中间却是一片空白,而上方的
cloudera
图标和右上角的功能都正常,右下角有返回按钮,旁边继续按钮是一个灰框,没有文字。
万事于足下
·
2023-09-23 18:40
CDH
一些错误
前端
cdh
cloudera
cdh安装向导
CDH重新初始化Hive元数据库
初始化元数据需要使用cdhhive中的schematool脚本工具进行初始化,初始化脚本位置为
cloudera
/parcels/CDH/lib/hive/bin/接下来执行初始化命令.
头顶榴莲树
·
2023-09-23 04:11
大数据
hive
big
data
hadoop
大数据-hadoop
1.hadoop介绍1.1起源1.2版本1.3生产环境版本选择Hadoop三大发行版本:Apache、
Cloudera
、HortonworksApache版本最原始的版本
Cloudera
在大型互联网企业中用的较多
highly2009
·
2023-09-22 10:59
大数据
hadoop
网络
工作流调度引擎——Oozie
一、什么是OozieOozie由
Cloudera
公司贡献给Apache的基于工作流引擎的开源框架,用于Hadoop平台的工作流调度。
kiss火葱花
·
2023-09-19 22:35
大数据
oozie集成
python2访问CDH HBase Thrift2
启动HBaseThrift2执行命令,启动thrift2/opt/
cloudera
/parcels/CDH/lib/hbase/bin/hbase-daemon.sh--co
凡尔Issac
·
2023-09-18 04:45
CDH整合Flink(CDH6.3.2+Flink1.12.0)
包即可安装完成后添加环境变量[root@linux201~]vim/etc/profile.d/custom.sh添加如下内容#JAVA_HOMEJAVA_HOME=/usr/java/jdk1.8.0_181-
cloudera
PATH
mp9105
·
2023-09-18 00:06
CDH
Flink
CDH
大数据
基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化(二)
前面已经讨论了Hive和Impala,本节先介绍一下SparkSQL,然后从功能、架构、使用场景几个角度比较这三款产品的异同,最后附上分别由
cloudera
公司和SAS公司出示的关于这三款产品的性能对比报告
xuzhichao1231
·
2023-09-17 19:33
hadoop生态圈
hadoop
spark
数据可视化
数据仓库
生态圈
CDH集群部署
主要涉及到的资源有:
cloudera
-manager-server
cloudera
-manager-daemons
cloudera
-manager-agentmysql-connector-java.jarCD
hzwy23
·
2023-09-16 16:48
数据库
CDH
大数据
Data Lakehouse的未来-开放
Cloudera
客户运行着地球上一些最大的数据湖。这些数据湖为关键任务大规模数据分析、商业智能(BI)和机器学习用例(包括企业数据仓库)提供动力。
大数据杂货铺
·
2023-09-16 09:22
CDH完全卸载教程
适用于各版本CDH卸载1、停止集群2、停止
cloudera
ManagementService3、卸载
cloudera
managerserver(以下称为cmserver)以及
cloudera
manageragent
头顶榴莲树
·
2023-09-16 02:57
CDH
大数据
CDH
nutch,hbase记录
hbase表操作优化http://blog.pureisle.net/archives/1930.htmlHow-to:UseHBaseBulkLoading,andWhyhttp://blog.
cloudera
.com
feihuadao
·
2023-09-14 15:16
Cloudera
Manager中安装部署Flink服务
制作Flink的Parcel包和csd文件将Parcel包和manifest.json文件部署到httpd服务中[root@node01~]#mkdir-p/var/www/html/
cloudera
-repos
lei_charles
·
2023-09-14 10:45
Flume源码导入IDEA
1、下载flume-ng-1.6.0-cdh5.7.0-src.tar.gz地址:http://archive.
cloudera
.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0
喵星人ZC
·
2023-09-14 09:24
CDH部署文档
-linux-x64.rpmMySQL-5.6.31-1.linux_glibc2.5.x86_64.rpm-bundle.tarmysql-connector-java-5.1.36-bin.jar
cloudera
-manager-centos7
Heisenhower
·
2023-09-14 06:30
大数据平台环境部署手册(CDH6.0.0)
目录1系统环境-1-2文件下载-1-2.1Centos7-1-2.2
Cloudera
Manager6.0.0-1-2.3CDH6.0.0-1-3环境准备(一)-1-3.1更改hosts-1-3.2关闭防火墙
Together_aec7
·
2023-09-12 20:54
网工内推 | 云架构运维、网络工程师,base北京,最高20k
2、对集团数据中心系统的大数据基础架构(
Cloudera
DistributionHadoop)的规划、运维及管理相关工作。
HCIE考证研究所
·
2023-09-12 04:49
架构
运维
网络
华为认证
网络工程师
服务器
flink1.14 使用cdh 5.11 hive作为catalog,在编译时报错的问题
commons-configurationcommons-configuration1.10org.apache.htracehtrace-core3.1.0-incubatingorg.apache.htracehtrace-core44.0.1-incubatingorg.
cloudera
.htracehtrace-core2.04
xiaoyan5686670
·
2023-09-11 07:46
hive
flink
hadoop
CDH6.2.0(别的也适用) 编译flink1.14.3
1.方法有两种1.1克隆
cloudera
提供的打包,然后下载flink一步一步按照教程来,比较麻烦。1.2采用大佬开发好的脚本,直接一个shell搞定。
jiayeliDoCn
·
2023-09-11 07:16
cdh
flink
CDH
flink
CDH6.3 添加 Flink1.9 服务
第一步,下载jar包和parcel文件1、到https://archive.
cloudera
.com/csa/1.0.0.0/csd/下载:FLINK-1.9.0-csa1.0.0.0-cdh6.3.0
章光辉_数据
·
2023-09-08 15:28
如何免费获取CDH集群技术支持
由于
Cloudera
和Hortonworks合并后厂商政策调整,不再更新、不再免费、不再提供服务,众多企业用户生产集群面临着进退两难的窘境和未知的技术风险。社区版不再更新。
碧茂大数据
·
2023-09-07 21:10
cloudera
大数据
hadoop
kafka
spark
zookeeper
Impala
交互式查询工具Imapala第1部分Impala概念1.1Impala是什么Impala是
Cloudera
提供的一款开源的针对HDFS和HBASE中的PB级别数据进行交互式实时查询(Impala速度快)
BoomLee
·
2023-09-07 07:52
Bigdata
hadoop
mapreduce
big
data
CDH 之 Sentry 安装失败 Unable to find the MySQL JDBC driver
Exceptioninthread"main"java.lang.RuntimeException:java.lang.ClassNotFoundException:com.mysql.jdbc.Driveratcom.
cloudera
.cmf.service.hive.HiveMetastoreDbUtil.countTables
啊 这
·
2023-09-05 20:01
CDH
sentry
运维管理Hadoop生态集群工具比较
Cloudera
版本(CDH)Apache开源版本Hortonworks版本(HDP)上面的顺序也是在国内的使用率排序了。
叁金
·
2023-09-05 05:01
初识Kafka
高吞吐可持久化可水平扩展支持流数据处理广度:
Cloudera
,Storm,Spark,Flink等都支持与Kafka集成。Kafka三大角色消息系统系统解耦、冗余存储、流量削峰、缓冲、异步
李君临
·
2023-09-05 04:42
kafka
分布式
CDH6.3.2集成Kerberos
CDH6.3.2集成Kerberos一.参考docCDHenablekerberos:KerberosSecurityArtifactsOverview|6.3.x|
Cloudera
DocumentationCDHdisablekerberos
zui初的梦想
·
2023-09-04 04:03
redis
数据库
缓存
CDK &CDS 安装
一、下载安装包http://archive.
cloudera
.com/kafka/parcels/4.1.0/http://archive.
cloudera
.com/spark2/csd/SPARK2_
吃货大米饭
·
2023-09-02 15:28
Impala进阶
每一个节点都可以接收客户端的查询请求,并且对于连接到该Impalad的查询还要作为Coordinator节点(需要消耗一定的内存和CPU)存在,为了保证每一个节点的资源开销的平衡需要对于集群中的Impalad节点做一下负载均衡:
Cloudera
悠然予夏
·
2023-09-01 04:07
Hadoop生态圈技术
hadoop
大数据
Impala
大数据学习:impala基础
impala基础1.impala介绍1.1impala概述Impala是
Cloudera
公司推出,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。
zui初的梦想
·
2023-09-01 04:05
大数据
大数据
学习
java大数据开发训练营--Impala
第1部分Impala概述1.1Impala是什么Impala是
Cloudera
提供的⼀款开源的针对HDFS和HBASE中的PB级别数据进⾏交互式实时查询(Impala速度快),Impala是参照⾕歌的新三篇论
Laozizuiku
·
2023-09-01 04:34
java大数据
大数据
大数据学习:Hive安装部署
node03为例;请大家保持统一使用hadoop普通用户操作1.1先决条件搭建好三节点Hadoop集群;node03上先安装好MySQL服务;1.2准备安装包下载hive的安装包http://archive.
cloudera
.com
zui初的梦想
·
2023-08-31 20:34
大数据
大数据
学习
hive
离线yum源安装CDH5.15.0
下载rpm文件及parcel包下载
cloudera
-manager.repo修改baseurl中cm版本为实际版本。
南知唔知
·
2023-08-28 06:04
《Spark与Hadoop大数据分析》——2.4 安装 Hadoop 和 Spark 集群
在
Cloudera
、Hortonworks和MapR这所有三种流行的Hadoop发行版中,Spark都是作为服务提供的。在本书编写的时候,最新的Hadoop和Spark版本分别是2.7.2和2.0。
weixin_33989058
·
2023-08-24 21:10
大数据
操作系统
java
CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 )
CDH简介及CDH部署、原理和使用介绍(版本6.3.1)第一章:CDH简介CDH概念CDH是
Cloudera
的100%开源平台发行版,包括ApacheHadoop,专为满足企业需求而构建。
王亭_666
·
2023-08-24 19:44
大数据
cdh
cloudera
大数据
apache
etl工程师
记一次
cloudera
删除/var/lib/
cloudera
-host-monitor/ts/stream/日志导致无法重启问题
1、报错信息如下:日志目录/var/log/
cloudera
-scm-firehose/mgmt-cmf-mgmt-HOSTMONITOR-hadoop102.log.outCausedby:org.fusesource.leveldbjni.internal.NativeDB
sunnyboy_4
·
2023-08-23 21:16
hadoop
cloudera
大数据
Hive3新特性
2.鉴权变更:RangerHive默认使用storage-basedauthorization(SBA),HDP使用Ranger,
Cloudera
使用Sentry,Sentry到后面感觉复杂又不好用。
clive0x
·
2023-08-23 13:20
CDH重启
cloudera
-scm-agent报错:No socket could be created — ((‘127.0.0.1’, 9001): [Errno 98] Address alre
CDH集群重启
cloudera
-scm-agent,发现重启失败,查看日志如下:[21/Jul/202319:49:10+0000]11006HTTPServerThread-2_cploggingERROR
linweidong
·
2023-08-23 04:42
cloudera
大数据
修复HDFS JournalNode和NameNode硬盘损坏
如果部署了
Cloudera
的HDFSHA,那么在更换了新硬盘后,重启JournalNode会出现”JournalNotF
linweidong
·
2023-08-23 04:11
hdfs
hadoop
大数据
CDH集群离线部署(CM6.3.1 + CDH6.3.2 + CentOS7)
1.1原生Hadoop的问题版本管理过于混乱部署过程较为繁琐,升级难度较大兼容性差安全性低1.2CDH和CM(
Cloudera
Manager)CDH(
Cloudera
’sDistributionIncludingApacheHadoop
小宇0926
·
2023-08-22 04:50
Linux
大数据平台搭建
cloudera
centos
8.迁移CM和数据库-1
8.1实验内容环境介绍将
Cloudera
Manager在Kerberos环境下迁移至新的CM节点。
大勇任卷舒
·
2023-08-19 14:49
linux 安装hue
http://archive.
cloudera
.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/Hue的版本:cdh5.3.6-hue-3.7.0->需要编译才能使用->联网pingwww.baidu.com
小赖同学啊
·
2023-08-19 05:49
BigDate
hue
hue集成
hdfs
cloudera
-manager-agent-5
在配置cdh集群时候,以rpm包的方式安装
cloudera
-manager-agent-5....的时候一直报错无法安装,网上找了很多方法我自己的办法是:在后面加上"--nogpgcheck"参数,以强制安装
在朝阳寺树下
·
2023-08-19 02:31
CDH6.3配置安装实操
CDH6与CDH5的安装步骤一致,主要包括以下四部分:1.安全前置准备,包括安装操作系统、关闭防火墙、同步服务器时钟等;2.外部数据库如MySQL安装3.安装
Cloudera
Manager;4.安装CDH
MrGrant
·
2023-08-18 06:57
大数据
运维
hadoop
cloudera
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他