E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
cdh5
Hadoop 系列(七)—— HDFS Java API
如果是CDH版本的Hadoop,还需要额外指明其仓库地址:4.0.0com.heibaiyinghdfs-java-api1.0UTF-82.6.0-
cdh5
.15.2clouderahttps://repository.cloudera.com
heibaiying
·
2019-09-17 13:40
Hadoop
Hadoop
Hbase 的安装与配置
需要安装zookeeper,单节点hbase集成了单zk,故一个机器不需要再安装#:先把解压,记住路径.1.添加环境变量HBASE_HOME=/home/candle/module/hbase-1.2.0-
cdh5
.15.0PATH
一只挪威森林猫
·
2019-09-13 11:00
hadoop-2.5.0-
cdh5
.3.6集群搭建
阅读更多安装环境说明操作系统:CentOS7hadoop版本:hadoop-2.5.0-
cdh5
.3.6.tar.gzjdk版本:jdk1.7安装用户:root相关软件下载https://pan.baidu.com
wx1568203209
·
2019-09-11 20:00
通过Hue+Oozie调用sqoop1的一些坑
一、前言平台:
CDH5
.13.0公司在客户那边有个项目需要部署cloudera平台,部署的时候,在这个版本的cdh中,除了基本组件,还选了sqoop2作为数据传输工具,希望能在Oozie中通过工作流调用
大师兄啊哈
·
2019-09-07 18:00
C/C++ 笔记、Python 笔记、JavaWeb + 大数据 笔记
【日萌社】用户画像【日萌社】C、C++笔记【日萌社】JavaWeb+大数据笔记【日萌社】CDH6、
CDH5
【日萌社】Python笔记【日萌社】Keras、PyTorch【日萌社】日语语法、日语单词学习
日萌社
·
2019-09-05 00:00
C/C++
C/C++
大数据
大数据之四:Hive安装
>database---->table----->deby------>mysql(保存表结构信息)安装1.先解压完然后把数据库连接驱动放到hive110/lib中tarzxvfhive-1.1.0-
cdh5
.14.2
wx5d66921cb1eb1
·
2019-08-31 16:30
大数据;HIve;
大数据之三:HBASE安装
HBASE安装-伪分布式1.先解压,并重命名tarzxvfhbase-1.2.0-
cdh5
.14.2.tar.gzmvhbase-1.2.0-
cdh5
.14.2/opt/bigdata/hbase1202
wx5d66921cb1eb1
·
2019-08-31 16:24
大数据
HBASE
伪分布式
大数据之二:ZOOKEEPER安装
ZOOKEEPER安装-伪分布式1.先解压,并重命名tarzxvfzookeeper-3.4.5-
cdh5
.14.2.tar.gzmvzookeeper-3.4.5-
cdh5
.14.2/opt/bigdata
wx5d66921cb1eb1
·
2019-08-31 16:46
大数据
ZOOKEEPER
动物管理员
大数据集群(HA)安装 CDH版本
1.下载组件(注意版本号要与其他的组件CDH版本一致)有的需要下载jdk1.8https://pan.baidu.com/s/1PI-m73GKU2DSVRnJA0rzwghadoop-2.6.0-
cdh5
.8.3
小飞猪666
·
2019-08-30 15:32
hadoop
spark
Hadoop 小象生态圈
Hive蜜蜂需要管理动物园的管理员(资源管理器)Zookeeper为分布式提供的服务第一步安装移动位置(拉进来opt下面)新建文件夹[root@bigdataopt]#mvzookeeper-3.4.5-
cdh5
.14.2bigdata
风雨佟洲
·
2019-08-30 09:16
Hive安装(
CHD maven依赖
article/details/84350465https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_
cdh5
Ahuuua
·
2019-08-29 15:58
大数据
0674-5.16.2-如何在
CDH5
中使用Phoenix4.14.1
Fayson的github:https://github.com/fayson/cdhproject推荐关注微信公众号:“Hadoop实操”,ID:gh_c4c535955d0f1文档编写目的ApachePhoenix是ApacheHBase上一个高效的SQL引擎,很多公司都在使用它,比如Salesforce,它开源了这个项目,并将该项目贡献到社区。很早也已经是顶级项目了。大家知道HDP中一直都包
Hadoop_SC
·
2019-08-29 11:14
Hadoop实操
centos7中安装
cdh5
.15
cdh搭建1.软件准备软件版本osCentos7.3(64位)cmcloudera-manager-centos7-cm5.15.0_x86_64.tar.gzcdhCDH-5.15.0-1.
cdh5
.15.0
abebill
·
2019-08-28 23:39
cdh
hue
tez
软件安装
Hadoop环境搭建cdh版本
hadoop环境搭建单机(cdh版本)1.下载安装包下载地址http://hadoop.apache.org/下载hadoop-2.6.0-
cdh5
.12.22.安装tar-zxvfhadoop-2.6.0
不鼓自鸣
·
2019-08-28 09:48
hadoop
hadoop(cdh版)下载安装即配置
下载hadoop压缩包,这里下载的是5.14.2版本(地址:http://archive.cloudera.com/
cdh5
/cdh/5/)2.通过Xftp工具将压缩包拉到虚拟机/opt目录下(目录个人随意
wx5d513eb9e82fc
·
2019-08-27 19:06
Hadoop安装配置
第二章 impala基础使用
impala-shell交互命令行当中即可执行的命令参数impala-shell后面执行的时候可以带很多参数:-h查看帮助文档impala-shell-h[
[email protected]
cdh5
.14.0
-小鱼-
·
2019-08-27 00:00
启动hadoop时,datanode未能正常启动
start-dfs.shStartingnamenodeson[hadoop001]hadoop001:startingnamenode,loggingto/home/hadoop/app/hadoop-2.6.0-
cdh5
.15.1
cllblogs
·
2019-08-26 09:55
CDH Hive执行聚合函数报错return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask脱坑指南
一、组件版本我用的是
CDH5
.16.1,Hive版本是1.1.0二、出现问题1.问题一普通查询很正常但是聚合查询就会报错,然后去查找日志发现在本地没有\tmp\logs文件,这个文件是用来存放Yarn的
妖精小狗
·
2019-08-23 16:40
Hadoop
Hive
Hadoop集群部署
Hadoop集群部署一、环境配置信息组件版本OSCentOS7.264bitHadoophadoop-2.6.0-
cdh5
.15.1ZooKeeper3.4.6JRE1.8.0_45软件存放在https
G722_成都_小胖
·
2019-08-23 09:06
Centos7搭建
CDH5
.15集群(完全版)
CDH是Cloudera的100%开源平台发行版,包括ApacheHadoop,专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成,Cloudera创建了一个功能先进的系统,可帮助您执行端到端的大数据工作流程。简单来说:CDH是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得集群的安装可以从几天的时间缩短为
潜心_守道
·
2019-08-19 18:26
大数据
CDH
CDH5
.14安装spark2
cdh5
.14默认自带的spark版本是1.6的,如果需要使用spark2,那么需要另外安装。
kyle0349
·
2019-08-18 13:20
cdh
组件安装
spark2
CDH5
.1.3集群搭建
原文链接:https://www.cnblogs.com/jasondan/p/4011153.html
CDH5
.1.3集群搭建环境:CentOS-6.10-x86_64-bin-DVD1.isoVMware-workstation-full
陈集福
·
2019-08-15 22:38
大数据
大数据 WEB 工具 Hue
下载地址:http://gethue.com/category/release/文档地址:http://archive.cloudera.com/
cdh5
/cdh/5/hue-3.7.0-
cdh5
.3.6
DeaSun
·
2019-08-13 23:29
Bigdata
Cloud 学习笔记9. Project 1 : Inverted Index
Project1:InvertedIndex实验准备环境:
CDH5
.13.0(详见5.WordCount)创建倒排索引倒排索引(Invertedindex),也常被称为反向索引、置入档案或反向档案,是一种索引方法
s09g
·
2019-08-09 00:00
云计算-大数据
云计算
Hadoop 系列(七)—— HDFS Java API
如果是CDH版本的Hadoop,还需要额外指明其仓库地址:4.0.0com.heibaiyinghdfs-java-api1.0UTF-82.6.0-
cdh5
.15.2clouderahttps://repository.cloudera.com
黑白影
·
2019-08-07 17:00
Flume 安装与实战
Flume安装与实战日志采集框架Flume一、安装说明:首先要安装JDK1.8+这里就不多介绍了本次安装Flume版本为
cdh5
.7.0下载地址:
CDH5
flume官网:Flume配置文档安装步骤:下载好后上传到虚拟机
zranfly
·
2019-08-04 22:43
Flume
Flume 修改TaildirSource源码支持递归目录
本例使用的源码为flume-ng-1.6.0-
cdh5
.16.1相关代码文件有:ReliableTaildirEventReader.javaTaildirMatcherTaildirSourceTaildirSour
chilai4545
·
2019-07-30 23:00
kudu集群高可用搭建
首先咱得有KUDU安装包这里就不提供直接下载地址了(因为有5G,我的服务器网卡只有4M,你们下的很慢)这里使用的是CDH版本官方下载地址http://archive.cloudera.com/
cdh5
/
强行快乐~
·
2019-07-29 19:00
很多网友想看CDH集群中安装Presto版本选择以及踩过的巨坑
Presto安装版本选择以及所必须要求的JDK版本踩过的坑1.很多网友想看如何在CDH集群中安装Presto,今天我给大家带来了在
CDH5
.14.2中安装Presto的全程记录实操文档官网文档地址:https
杜克泰森
·
2019-07-25 15:17
Hadoop集群搭建---step4(Hive、Flume、Azkaban、Sqoop的安装以及环境搭建)
Hadoop集群搭建—step4(Hive、Flume、Azkaban、Sqoop的安装以及环境搭建)软件版本:Hive:hive-1.1.0-
cdh5
.14.0.tar.gzMysql:mysql-5.1.71
myblog_tfq
·
2019-07-25 12:18
big
data
CDH5
.11
exportJAVA_HOME=/usr/local/jdk1.8.0_191exportM2_HOME=/usr/local/mavenexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportJRE_HOME=$JAVA_HOME/jreexportSCALA_HOME=/usr/local/scala-2.11
dian张
·
2019-07-17 17:10
CDH
Hadoop安装目录
/root/software/hadoop-2.6.0-
cdh5
.15.1/etc/hadoop第一步骤vicore-site.xmlfs.defaultFShdfs://hadoop000:8020hadoop.tmp.dir
伟伟哦
·
2019-07-15 18:13
Hadoop
CDH环境搭建以及部署
系统环境:Centos7.0、JDK1.8、
cdh5
.13.0集群环境:内存32、系统盘100G、数据盘400G、CPU8核、集群规模5台环境建议以root用户建立,可以减少一些权限的设置一、准备工作Centos7.0
Mc汪汪汪
·
2019-07-10 16:31
Impala
CDH5
.14.0安装部署
因为impala没有提供tar包供我们进行安装,只提供了rpm包,所以我们在安装impala的时候,需要使用rpm包来进行安装,rpm包只有cloudera公司提供了,所以我们去cloudera公司网站进行下载rpm包即可,但是另外一个问题,impala的rpm包依赖非常多的其他的rpm包,可以一个个的将依赖找出来,也可以将所有的rpm包下载下来,制作成我们本地yum源来进行安装。我们这里就选择制
Nekou_
·
2019-07-10 10:36
Impala
impala安装
Impala
CDH部署安装
Sqoop提示$ACCUMULO_HOME警告
Sqoop运行提示警告:Warning:/opt/cloudera/parcels/CDH-5.16.1-1.
cdh5
.16.1.p0.3/bin/../lib/sqoop/..
心有余力
·
2019-07-09 15:59
Sqoop
hadoop-2.6.0-
cdh5
.7.0源码编译支持压缩
前言直接从官网上下载的hadoop-2.6.0-
cdh5
.7.0.tar.gz部署后,不支持压缩,生产上是不可接受的,可以用hadoopchecknative命令查看hadoop所支持的本地库:[hadoop
吃货大米饭
·
2019-07-08 18:19
执行hbase zkcli命令报错
:17:55INFOzookeeper.ZooKeeper:Clientenvironment:java.library.path=/opt/cloudera/parcels/CDH-5.4.5-1.
cdh5
.4.5
小网民
·
2019-07-03 13:00
spark 2.x在windows环境使用idea本地调试启动了kerberos认证的hive
2环境Jdk1.8.0Spark2.1.0Scala2.11.8Hadoop2.6.0-
cdh5
.12.1H
XIAO的博客
·
2019-07-01 18:00
大数据、云计算系统顶级架构师课程学习路线图
xHDFSYARNMapReduceETL数据清洗HiveSqoopFlume/Oozie大数据WEB工具HueHBaseStormScalaKafkaSparkSpark核心源码剖析CM5.3.x管理
CDH5
.3
乐姐
·
2019-06-30 22:14
大数据
大数据
大数据学习
大数据开发
大数据入门
人工智能
CDH5
(CDH 5.16.1)安装
CDH6系列(CDH6.0.0、CDH6.1.0、CDH6.2.0等)安装和使用
CDH5
(
CDH5
.16.1)安装linux配置1.第一种方式:rsa算法加密,非对称加密的方式基于私钥登陆的方式:(ssh
日萌社
·
2019-06-29 19:14
大数据
CDH
大数据
CDH
大数据
CDH5
.7 hive+sqoop踩坑实践
为了做一个基于hive的大数据采集平台,最近踩了不少的坑。首先是想采用开源的项目代码搭建hadoop+hive+spark+hbase+sqoop平台的,hadoop采用2.7.7,spark用spark-2.3.0-bin-hadoop2.7,hbase用hbase-2.1.0,sqoop比较坑爹,只有1.4.7版本和1.99版本。了解过的人都不会用1.99版本,所以优先选择sqoop-1.4.
蚂蚁_8173
·
2019-06-28 16:56
Hbase单机&伪分布式部署
单机部署[hadoop@hadoop004software]$wgethttp://archive.cloudera.com/
cdh5
/cdh/5/hbase-1.2.0-
cdh5
.12.0.tar.gz
Stitch_x
·
2019-06-27 15:38
HBase
HBase
CDH 5.15.2 离线安装
my.oschina.net/remainsu/blog/3063968一、前置准备1.基础信息1.1机器机器名服务hadoop1主节点hadoop2data、taskhadoop3data、task1.2服务版本服务版本
cdh5
.15.2cm5.15.2jdk1.82
chuobu7181
·
2019-06-19 17:00
centos6.8安装
CDH5
.16
一、cloudera背景介绍CloudeManager概述:CDH是Cloudera公司对整体hadoop集群环境进行监控与管理的企业级大数据管理平台。ClouderaManager分为:ClouderaManagerServer:对整个集群提供监控与管理操作。ClouderaManagerServer通过部署在不同设备上的ClouderaManagerAgent进行管理整体集群。Cloudera
apriaaaa
·
2019-06-17 15:54
使用Cloudera Manager模板创建CDH群集
使用ClouderaManager模板创建CDH群集注意:此页面包含对已从CDH6中删除的
CDH5
组件或功能的引用。这些引用仅适用于使用ClouderaManager6管理
CDH5
群集的情况。
卡洛斯_笵
·
2019-06-13 14:28
技术
工作
CDH
大数据调试环境配置(4):IDEA使用java api调试hive环境配置
二、环境1.IDEA2.
CDH5
.7.0(Hive、HADOOP)三、步骤1.创建Maven项目2.加载对应CDH需求依赖4.0.0BGHadoop1.0-SNAPSHOTclouderahttps:/
RayBreslin
·
2019-06-11 00:04
大数据调试环境配置
大数据开发
Hive 系列(二)—— Linux环境下Hive的安装部署
一、安装Hive1.1下载并解压下载所需版本的Hive,这里我下载版本为
cdh5
.15.2。
hei bai ying
·
2019-06-07 16:34
Hive
Linux下Flume的安装部署
下载地址为:http://archive.cloudera.com/
cdh5
/cdh/5/#下载后进行解压tar-zxvfflume-ng-1.6.0-
cdh5
.15.2.tar.gz2.2配置环境变量
hei bai ying
·
2019-06-07 16:14
Flume
【大数据----Hadoop】CDH版Hadoop环境搭建
1.下载组件首先去CDH网站上下载hadoop组件地址:http://archive.cloudera.com/
cdh5
/cdh/5/注意版本号要与其他的组件CDH版本一致2.环境配置设置主机名和用户名配置静态
Sunny3096
·
2019-06-06 08:51
大数据-Hadoop
Cloudera Manager和CDH升级流程
ClouderaManager6.0可以管理运行
CDH5
.7到
CDH5
.14的集群,只要Clouder
ClouderaHadoop
·
2019-06-03 15:20
Cloudera
上一页
23
24
25
26
27
28
29
30
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他