E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
cdh5
flume学习笔记(一):
cdh5
.14.2中安装,启动,测试flume
说明:此文特为初次使用cdh上flume,并且对flume有一定认识的同学参考使用,具体请参考官网:ApacheFlume™环境:centos7.31708,
cdh5
.14.21.在cdh中添加flume
zlsdmx
·
2020-06-21 15:01
flume
CDH
Flume完整实例一:从指定网络端口采集数据输出到控制台
从指定网络端口采集数据输出到控制台首先要安装Flume,其源码是Java,所以先安装JDK(我装的是1.8),Flume解压配置好环境后,检测flume是否安装成功:在bin目录下,比如:/home/apache-flume-1.6.0-
cdh5
.7.0
布衣清水
·
2020-06-21 15:01
大数据
Flume
docker 安装
cdh5
1下载cdh镜像两种方式1)直接拉取官网最新镜像文件当前官网最新版本是5.13dockerpullcloudera/quickstart:latest设置镜像版本信息dockertagcloudera/quickstart:latestcdh:5.13.02)官网下载镜像文件https://www.cloudera.com/downloads/quickstart_vms/5-13.html解压文
DoaneYang
·
2020-06-21 15:02
flume学习(十):使用Morphline Interceptor
kitesdk.org/docs/current/kite-morphlines/morphlinesReferenceGuide.html这里有一个注意点,是和clouderasearch版本有关系的,我是用
CDH5
.0.0
xiao_jun_0820
·
2020-06-21 14:07
cloudera
mamager
Morphlines
flume-ng
大数据之
CDH5
.8.3集成安装Apache Kylin与探索使用
博文目录0.Kylin概览(官方)1.Kylin特性3.Kylin生态圈3.Kylin集成前环境准备4.安装部署4.1下载Kylin4.2部署Kylin4.3启动Kylin5.实例测试0.Kylin概览(官方)ApacheKylin™是一个开源的、分布式的分析型数据仓库,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay开发并贡献至开源社区
ddttoop
·
2020-06-21 13:53
DataWarehouse
Hadoop
Kylin
大数据数仓项目Kylin[安装]
pan.baidu.com/s/1ot-vIOO64yiuGFG2GPSZEg提取码:8yau依赖环境:软件版本Apachehbase-1.1.1-bin.tar.gz1.1.1spark-2.2.0-bin-2.6.0-
cdh5
.14.0
真情流露哦呦
·
2020-06-21 13:39
Kylin
Oozie的使用
./2、$bin/hdfsdfs-put/opt/
cdh5
/oozie-4.0.0-
cdh5
.3.6/examples/3、编写job.properties#http://www.apache.org/
weixin_40652340
·
2020-06-21 12:58
大数据
Spark SQL 分析 Imooc 访问日志
及时接收博文推送原文地址:SparkSQL分析Imooc访问日志前言项目地址SparkSQL分析Imooc访问日志环境说明Java版本:1.8Scala版本:2.11.12Hadoop版本:hadoop-2.6.0-
cdh5
.14.0spark
weixin_33816946
·
2020-06-21 10:58
flume安装部署
1.解压tar-zxvfflume-ng-1.5.0-
cdh5
.3.6.tar.gz-C/opt/cdh-5.3.6/2.修改配置文件mvflume-env.sh.templateflume-env.shexportJAVA_HOME
泪痕残
·
2020-06-21 08:34
flume
大数据平台搭建------CM 和CDH安装
采用离线安装模式,虽然在线安装比较简单,但是速度感人,原因大家都懂,这里我使用的各软件版本信息为:操作系统:CentOS6.8CDH版本:5.7.1:CDH-5.7.1-1.
cdh5
.7.1.p0.11
春梦了却了无痕
·
2020-06-21 07:33
平台搭建
Flink1.9.1源码编译支持hadoop-2.6.0-
cdh5
.16.2
准备jdk-8u211-linux-x64.tar.gzflink-1.9.1-src.tgzflink-shaded-7.0-src.tgzapache-maven-3.6.1-bin.tar.gz注:根据官方文档显示flink-1.9.1编译需要Java8、Maven3配置环境解压jdk,并配置Java环境变量解压Maven,配置Maven环境变量编译准备解压flink-shaded-7.0t
好笨的菜鸟
·
2020-06-21 05:17
flink
CDH
HBase Java API编程:Demo程序实验
HBaseJavaAPI编程实验编程环境:开发工具使用Eclipse,简单好用利于初学者方式一(必学):创建一个普通JavaProject,直接导入hbase-1.2.0-
cdh5
.7.0.tar.gz
whvcse_hlzhang
·
2020-06-21 05:33
oozie使用
ooziejob-ooziehttp://master:11000/oozie-config/opt/cloudera/parcels/CDH-5.7.2-1.
cdh5
.7.2.p0.18/share/
DU_XXRS
·
2020-06-21 05:50
oozie
在mac上Flink1.9.0源码编译(使用hadoop2.6.0-
cdh5
.15.1)
源码编译安装flink前置条件:JDK8Maven3(jdk和maven请自行搜索,谢谢!)通过下载Flink源码进行编译,不是使用直接下载二进制包FlinkGitHub地址在releases中找到自己需要的版本。我用的是1.9.0版本:1.9.0tar-zxvfflink-release-1.9.0.tar.gz[-C可以指定需要放置的目录]如要在其他第三方厂家使用flink打包,例如要在cdh
需要梦想丶
·
2020-06-21 04:51
flink
源码安装
Alex 的 Hadoop 菜鸟教程: 第8课 Hbase 的 java调用方法
原帖地址:http://blog.csdn.net/nsrainbow/article/details/42649249最新课程请关注原作者博客,获得更好的显示体验声明本文基于Centos6.x+
CDH5
alexxiyang
·
2020-06-21 03:58
Alex的Hadoop菜鸟教程
Flink源码编译(Flink1.7.0+Hadoop2.6.0+
CDH5
.16.1)
Flink源码编译一、概述源码编译文档.https://ci.apache.org/projects/flink/flink-docs-release-1.8/flinkDev/building.html源码下载地址.https://github.com/apache/flink/releases前置条件.Maven3.JDK8编译命令(hadoop和cdh换成自己使用版本).mvncleanin
番茄炒蛋213
·
2020-06-21 03:56
Flink
Centos7下Cloudera Manager 5离线部署
CDH5
Centos7下ClouderaManager5离线部署
CDH5
文章目录Centos7下ClouderaManager5离线部署
CDH5
1.先决条件2.准备工作3.CM安装3.1.网络配置3.2.JDK
lynnyq
·
2020-06-21 03:15
CDH
hadoop-2.6.0-
cdh5
.15.0集群环境搭建
data1192.168.66.152CentOS7data2192.168.66.153CentOS7data3192.168.66.154CentOS72.组件版本及下载组件版本下载地址hadoophadoop-2.6.0-
cdh5
.15.0https
梦回唐朝
·
2020-06-21 03:09
hadoop
cdh5
hbase
flink
hive
CDH Cloudera Manager 5.16.2部署
1.下载安装包1.1CDH$wgethttp://archive.cloudera.com/
cdh5
/parcels/5.16.2/CDH-5.16.2-1.
cdh5
.16.2.p0.8-el7.parcel
发热安啃
·
2020-06-21 03:34
cdh5
hadoop
Kudu安装和部署
(1)下载Kudu相关安装包Kudu版本是1.7.0-
cdh5
.15.1,使用rpm包安装,网址如下:http://archive.cloudera.com/
cdh5
/redhat/7/x86_64/cdh
温文尔雅的流氓
·
2020-06-21 01:36
Kudu
spark-2.1.0-bin-2.6.0-
cdh5
.x源码编译
前置条件:CentOS6.7JDK1.7+Maven3.3.9Spark2.1.01.到spark官网上下载spark2.1.0的源码spark-download.png2.执行mkdirsource新建目录,在此目录下通过wget下载源代码wgethttps://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0.tgz3.在source目
sparkle123
·
2020-06-20 22:51
oozie初步使用之执行MR任务(非hue配置)
由于自己配置稍微有些麻烦,后面的介绍我会基于Hue进行可视化配置~oozieserverversion:4.1.0-
CDH5
.13.0操作流程在Linux下创建测试目录:mkdir-p/home
深寒丶
·
2020-06-20 21:51
大数据
cdh hive 中文注释乱码解决方法(简单几步)
一、问题描述环境
cdh5
.12.1+hive1.1.0。
脚丫先生
·
2020-06-17 15:56
Hive
Zookeeper-实战
/HBASE_HOME,//将报名拼接到archive.cloudera.com/
cdh5
/cdh/5/后面;wgethttp://archive.cloudera.com/
cdh5
/cdh/5/zookeeper
hq_allen
·
2020-06-13 11:32
oozie的基本使用(例子)
使用前提oozie自带了各种案例,我们可以使用oozie自带的各种案例来作为模板,所以我们这里先把官方提供的各种案例给解压出来cd/export/servers/oozie-4.1.0-
cdh5
.14.0tar-zxfoozie-examples.tar.gz1
牛犊6
·
2020-06-02 21:30
oozie的使用
flume 到 kafka整合
fflume版本为1.6
cdh5
.13注意启动flume是--name要和配置文件的前缀一直否知启动失败flume目录为/opt/cloudera/parcels/CDH/lib/flume-ngflume
彬在俊
·
2020-06-02 11:00
Hadoop 安装(详细步骤)
前期操作下载hadoop安装包至安装目录安装目录:/opthadoop版本:hadoop-2.6.0-
cdh5
.14.2.tar.gz解压安装包至软件目录(最好更名,以便之后方便配置文件)tar-zxfhadoop
姑苏过客
·
2020-06-01 15:21
Hadoop
mysql分库分表数据导入hive之sqoop-shell脚本
/bin/bash#coding=UTF-8sqoop=/data/cloudera/parcels/CDH-5.14.4-1.
cdh5
.14.4.p0.3/bin/sqoop$sqoopimport\
叁木-Neil
·
2020-05-31 14:32
大数据
cdh5
.15.1离线搭建说明
前言本文档的搭建说明是基于centos7、jdk8、
cdh5
.15.1、clouderamanager5.15.1,部署节点为3个对应的hostna
Demo_zfs
·
2020-05-29 14:14
Flink 与 Hive 的磨合期
在上篇文章中,笔者使用的CDH版本为5.16.2,其中Hive版本为1.1.0(
CDH5
.x系列Hive版本都不高于1.1.0,是不是不可理解),Flink源代码本身对Hive1.1.0版本兼容性不好,
ApacheFlink
·
2020-05-28 00:06
flink
大数据
实时计算
流计算-storm
大数据处理
史上最详细基于CentOS7的
CDH5
.X安装步骤
简介基于CentOS7安装
CDH5
.14.2下载CentOS7CM下载地址CDH下载地址CM和CDH,大版本应该要一致,比如CM为5.14,CDH也是5.14,也要和系统版本对应。
tank
·
2020-05-27 23:56
cloudera
HBase伪分布式集群安装
安装包为了防止HBase和Hadoop版本间冲突,可以在CDH上下载和Hadoop兼容的HBase版本,本次搭建选择的是hbase-1.2.0下载路径:http://archive.cloudera.com/
cdh5
INC随我
·
2020-05-24 22:42
大数据
大数据
HDFS
HBase
hadoop平台-Hbase安装
mkdir-p/data/hbase1切换目录并下载安装包cd/data/hbase1wgethttp://192.168.1.100:60000/allfiles/hbase1/hbase-1.0.0-
cdh5
.4.5
高兴_00
·
2020-05-12 10:00
完全分布式--集群群起
完全分布式——集群群起超级关键关键关键★集群部署规划1.配置slaves首先在hadoop03中配置[root@hadoop03~]#vim/opt/module/hadoop-2.5.0-
cdh5
.3.6
伊怡以逸艺
·
2020-05-06 18:41
hadoop
hadoop
hdfs
大数据
linkis重编译适配cdh
1、系统环境:redhat7、
cdh5
.15.1、spark2.3.0、开启了sentry、没有开启kerberos2、获取源码在linkis的github上有一个linkis-
cdh5
.6的分支https
bioamin
·
2020-04-30 17:00
大数据平台
CDH5
.16.2 安装配置
大数据平台
CDH5
.16.2安装配置标签(空格分隔):大数据平台构建一:环境初始化二:安装
CDH5
.16.21.1:系统环境介绍系统:RHEL7.7X64cat/etc/hosts---192.168.100.21rhel01
flyfish225
·
2020-04-25 21:24
cdh
cdh5.16.2
大数据平台构建
大数据技术
CDH| Spark升级
升级之Spark升级在
CDH5
.12.1集群中,默认安装的Spark是1.6版本,这里需要将其升级为Spark2.1版本。
kris12
·
2020-04-22 11:00
Ansible 应用 之【一键部署 Cloudera Manager(
CDH5
.11.0)集群】
CDH介绍CDH是ApacheHadoop及相关项目中最完整,且经过测试和受欢迎的发行版。CDH提供Hadoop的核心元素-可扩展存储和分布式计算-以及基于Web的用户界面和重要的企业功能。CDH是Apache授权的开源,是唯一提供统一处理,交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。ClouderaManager是用于管理CDH群集的端到端应用程序。ClouderaMa
lework
·
2020-04-14 13:33
大数据处理/数据分析/分布式工具
Hadoop:分布式的文件系统,结合其MapReduce编程模型可以用来做海量数据的批处理(Hive,Pig,HBase啥的就不说了),值得介绍的是Cloudera的Hadoop分支
CDH5
,基于YARNMRv2
黑客与编程
·
2020-04-12 02:51
Cloudera Hadoop(
cdh5
.1.0)平台搭建1
1.系统及版本选择Centos6.564位cm5.1.0
cdh5
.1.0Cloudera版本进行hadoop平台搭建维护,安装简单,系统稳定,维护简单Apache版本的系统不稳定,安装繁琐费时2.系统安装
鹰击长空123
·
2020-04-12 01:12
hadoop-spark 伪分布式搭建
==简介:==本为为hadoop/spark开发环境的伪分布式搭建,基于centos6.4系统,由三个虚拟机构成搭建版本详情系统centos6.4hadoop版本hadoop-2.6.0-
cdh5
.7.0spark
冷梦颜爱楠楠
·
2020-04-10 20:08
Hue升级后的问题
编译报错File"/opt/cloudera/parcels/CDH-5.9.0-1.
cdh5
.9.0.p0.23/lib/hue/build/env/lib/python2.6/site-packages
101之歌
·
2020-04-10 09:05
黑猴子的家:Hue 与 Mysql 集成
1、配置hue.ini文件位置:/opt/module/cdh/hue-3.7.0-
cdh5
.3.6/desktop/conf/hue.ini找到[[[mysql]]]标签,涉及修改如下[root@node1conf
黑猴子的家
·
2020-04-09 23:32
黑猴子的家:Hue 与 Oozie 集成
1、配置hue.ini文件位置:/opt/module/cdh/hue-3.7.0-
cdh5
.3.6/desktop/conf/hue.ini找到[liboozie]标签以及[oozie]标签涉及修改如下
黑猴子的家
·
2020-04-09 08:34
(十四)Win10 IDEA环境下SparkSQL连接Hive的几个坑
网上有很多篇文章介绍,但可能是因为环境不同,访问过程中出现了很多问题,在此记录一下一、初始环境1.最开始,我的pom文件中有以下依赖:2.11.82.3.12.6.0-
cdh5
.7.01.1.0-
cdh5
.7.0org.scala-langscala-library
白面葫芦娃92
·
2020-04-09 04:14
hdfs的Java Api开发
clouderahttps://repository.cloudera.com/artifactory/cloudera-repos/org.apache.hadoophadoop-client2.6.0-mr1-
cdh5
.14.2org.apache.hadoophadoop-common2.6
_蒲公英_
·
2020-04-08 23:00
HUE 配置参数优化
参数如下/opt/cloudera/parcels/CDH-5.14.2-1.
cdh5
.14.2.p0.3/lib/hue/apps/beeswax/src/beeswax/server/hive_server2
chainaxxboy
·
2020-04-08 11:38
HUE
黑猴子的家:Hue 与 HBase 集成
1、修改hue.ini配置文件位置:/opt/module/cdh/hue-3.7.0-
cdh5
.3.6/desktop/conf/hue.ini找到[hbase]标签,涉及修改内容如下[root@node1conf
黑猴子的家
·
2020-04-07 17:48
Hadoop-Zookeepr3.4.5集群搭建
1.下载http://archive.cloudera.com/
cdh5
/cdh/5/zookeeper-3.4.5-
cdh5
.7.0.tar.gz2.解压#解压到指定的文件夹tarxzvfzookeeper
夏光辉
·
2020-04-07 13:40
配置Hadoop服务随机器自启动
此信息特别适用于
CDH5
.14.X。有关其他版本的信息,请参阅Cloudera文档。在系统启动
金刚_30bf
·
2020-04-07 09:03
上一页
19
20
21
22
23
24
25
26
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他