CDH5 第16页

【大数据】HDFS,YARN,HADOOP集群部署

1:准备好环境包[root@hadoop001data]#ll总用量532404-rw-r--r--1rootroot426105493月3109:22hadoop-2.6.0-cdh5.7.0-src.tar.gz-rw-r

袁河之滨·2020-07-15 00:12

Flume 1.6.0 cdh 环境搭建

localhost:softwarehadoop$wgethttp://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0.tar.gzlocalhost

袁河之滨·2020-07-15 00:41

Hadoop搭建三台虚拟机

分布式环境搭建一：上传压缩包并加压解压tar-zxvfhadoop-2.6.0-cdh5.14.0.tar.gz-C..

lhh学bg·2020-07-14 21:24

HIve自定义函数

confluence/display/Hive/LanguageManual+UDF在shell中找版本[hadoop@hadoop001bin]$pwd/home/hadoop/app/hive-1.1.0-cdh5.7.0

亮大兵·2020-07-14 21:40

Window使用idea操作spark连接hive

平台环境：hadoop2.6.0-CDH5.7Hive1.1.0Spark1.6.0Scala2.11.5项目环境：jdk1.8scala2.11.01.创建新工程1.创建一个maven工程，不做赘述。

迷迷途小书童·2020-07-14 20:06

【Kylin】Kylin安装与部署

安装部署前提1.安装启动Hadoop2.安装启动zookeeper3.安装spark依赖环境软件版本Apachehbase-1.1.1-bin.tar.gz1.1.1spark-2.2.0-bin-2.6.0-cdh5.14.0

没去过埃及的法老·2020-07-14 20:25

idea导入hive源码，编译后运行本地窗口

1.编译源码下载Hive源码:http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.16.2-src.tar.gz在IDEA打开项目，配置选择命令窗口

qq_32667911·2020-07-14 17:50

hadoop cdh5安装（我是按这个配置安装成功的）

Hadoop-2.2.0集群安装配置实践2013-12-2620:14:42YanjunHadoop2.x和1.x已经大不相同了，应该说对于存储计算都更加通用了。Hadoop2.x实现了用来管理集群资源的YARN框架，可以面向任何需要使用基于HDFS存储来计算的需要，当然MapReduce现在已经作为外围的插件式的计算框架，你可以根据需要开发或者选择合适的计算框架。目前，貌似对MapReduce支

寂寞烟·2020-07-14 16:01

大数据生产环境部署 CDH5

大数据平台生产环境部署CDH(Cloudera'sDistribution,includingApacheHadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的ApacheHadoop构建，并集成了很多补丁，可直接用于生产环境。ClouderaManager（本文以下简称为CM）则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中

qiaoqiaoqiaozh·2020-07-14 16:58

window客户端访问HDFS

通过widows客户端访问Hadoop集群，读取HDFS文件使用平台为eclipse，CDH5.1.0，hdf2.3.01、新建javaproject2、在集群中找到core-site.xml和hdfs-site

nma_123456·2020-07-14 15:26

CDH大数据节点宕机测试

为确保HDFS副本正常分布，故主机cdh1、cdh2、cdh3的机架设置为“test1”，cdh4、cdh5的机架设置为“test2”注：Hadoop在设计时考虑

李奇峰1998·2020-07-14 15:46

大数据开发环境搭建步骤

第0步：准备好Hadoop安装包素材：hadoop-2.6.0-cdh5.7.0.tar.gz第1步：输入如下命令，然后一直点回车键。

别盲目追风·2020-07-14 11:09

Oozie安装和部署（详细）

本文目录1、解压及改名2、修改配置3、启动相应的服务4、启动运行5、网页查看1、解压及改名[root@cjh1install]#tar-zxfoozie-4.1.0-cdh5.14.2.tar.gz-C

这条gai最靓的华哥·2020-07-14 11:43

[Impala基础]-- Impala SQL语言参考(初步了解，CDH5.7以上版本)

初识ImpalaSQL语言之前一直使用Hive来实现业务，没有详细研究Impala！导致需要使用时才开始学习，昨天领导告诉我需要研究Impala，既然公司业务需要用，那作为开发人员的我们就尽可能地去学新东西来解决问题了。所以就先从看官方文档学起了，由于是菜鸟，水平有限，不足之处还请各位批评指正！一、Impala使用SQL作为其查询语言,为了保护用户在技能开发和查询设计方面的投资,Impala提供了

highfei2011·2020-07-14 11:17

Hive中添加自定义函数(UDF)方法及实践

环境介绍：CentOS7+hive-1.1.0-cdh5.7.0+Maven3.3.91、下载源码hive-1.1.0-cdh5.7.0-src.tar.gzhttp://archive.cloudera.com

cqra94148·2020-07-14 09:45

编写hive udf和使用hive udf：hue的hive界面中使用hive udf函数、oozie使用hive udf函数、hive命令行使用udf函数

开发环境：jdk1.7+idea16+Hive-1.1.0使用udf的生产环境：cdh5.8.0+hive-1.1.01、导入hive的所有相关jar包或者使用maven引入CDH相关包：1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575

chenjieit619·2020-07-14 08:16

Flink 1.10.1源码编译(CDH5.16.2)

1文档编写目的Flink1.10.1版本编译集成CDH5.16.2前置条件jdkmavennvm2源码编译拉取flink1.10.1的代码后，idea中全局查找一下flink.shaded.version

Eights-Li·2020-07-14 07:48

start-dfs.sh启动时报：cannot open ‘XXXX’for reading: No such file or directory

今天在搭建hadoop集群时，在启动hdfs时报异常了，异常信息为以下内容：node01:head:cannotopen‘/home/install/hadoop-2.6.0-cdh5.14.2/logs

东耳飘雪·2020-07-14 07:33

IDEA使用Springboot整合SparkStreaming的环境搭建及pom.xml

,然后点击下一步，填写项目名2.引入sparkstreaming需要的依赖注意：这里需要注意版本要相对应，不然编写代码会出现很多版本冲突、类找不到等问题2.11.80.9.0.02.2.02.6.0-cdh5.7.01.2.0

隔壁老王ing·2020-07-14 06:48

[Java大数据入门]Hbase伪分布式环境安装与配置

HadoopHbase是DatabaseonHadoop，因此在安装Hbase之前，需要安装Hadoop，安装方式可以参考我的另一篇文章：Hadoop伪分布式安装与配置三、Hbase下载与安装版本：1.2.0-cdh5.7.0

Russell_Liu·2020-07-14 05:06

sqoop定时增量导入mysql数据到hdfs(hive)

有点吃力，想通过sqoop定时增量直接导入hive，然后sparksql再与hive交互，能避免mysql的很多瓶颈，研究好几天sqoop定时任务，使用的是sqoop1，版本是sqoop-1.4.6-cdh5.7.0

击水三千里·2020-07-14 04:31

Hive分组排序

系统环境LinuxUbuntu16.04jdk-7u75-linux-x64hive-1.1.0-cdh5.4.5hadoop-2.6.0-cdh5.4.5mysql-5.7.24相关知识Hive中支持多种分组操作

Bee_Darker·2020-07-14 04:01

解决：java.io.IOException: No FileSystem for scheme: hdfs

技术分享图片首先把hadoop-common-2.6.0-cdh5.7.0这个jar包解压，按照报

Awnger·2020-07-14 03:47

hadoop大数据环境部署--linux centos虚拟机

需要版本：jdk:jdk-7u79-linux-x64.tar.gzhadoop:hadoop-2.5.0-cdh5.3.6.tar.gz1.创建hadoop用户useradd-mhadoop-Groot-s

苏末了·2020-07-14 03:41

使用HbaseAPI 在指定的命名空间下创建表和列族

clouderahttps://repository.cloudera.com/artifactory/cloudera-repos/org.apache.hadoophadoop-client2.6.0-mr1-cdh5.14.0org.apache.hbasehbase-client1.2.0

红尘丶世界·2020-07-14 01:25

spark2- submit提交任务报错

在安装完成cdh5.13.3之后，写了个sparkstream的代码，然后准备用spark2-submit提交任务，结果遇到了一系列的错误：1.spark2-submit提交任务的时候直接报错Exceptioninthread"main"java.lang.NoClassDefFoundError

wx740851326·2020-07-13 21:22

离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程（七）界面安装

一、安装过程1.1登录1.2接受许可协议1.3选择免费版本1.4选择下一步1.5选择当前管理的主机1.6选择使用Parcel安装，选择CDH版本，点击继续1.7等待安装此处安装需要等待一段时间，请耐心等待，安装过程可能需要30分钟时间，这和物理机器的磁盘读写速度和机器性能有关，如果中断请继续之前的步骤重新操作，下图是安装成功界面1.8集群检测检测全部通过1.9选择自定义服务，选择要安装的组件1.1

weixin_30851867·2020-07-13 17:59

离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

关于CDH和ClouderaManagerCDH(Cloudera'sDistribution,includingApacheHadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的ApacheHadoop构建，并集成了很多补丁，可直接用于生产环境。ClouderaManager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主

weixin_30823833·2020-07-13 17:50

python调用kafka服务（使用kafka-python库）

试验环境：CDH5.15.1CentOS7Python3.7.0kafka1.1.1kafka-python：https://pypi.org/project/kafka-python/#files实验目的

weixin_30342209·2020-07-13 16:32

实训笔记

2018.12.17上午大数据概述前置要求javaSE的基本变成了解LINUX常用基本命令使用工具linux版本CentOS6.4HadoopCDH5.7TBPBEB大数据在技术架构上带来的挑战对现有数据库管理技术的挑战实时性的技术挑战经典数据库技术并没有考虑数据的多类别网络架构

standByMe6868·2020-07-13 11:57

CDH5.12.0安装部署

archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.12.0_x86_64.tar.gzParcelhttp://archive.cloudera.com/cdh5

潇洒-人生·2020-07-13 10:35

cdh5安装报错解决

1、Exhaustedavailableauthenticationmethodsubuntu未激活root用户，或者激活root用户后未允许可远程登录root用户参考stackoverflow:ClouderaManagerFailedtoauthenticate:ExhaustedavailableauthenticationmethodsLet'sconsolidateeverythingi

weiqing687·2020-07-13 09:16

CDH 升级到5.12 /etc/alternatives 仍然指向旧版本的CDH

alternatives|grepCDH|grep-vconf例如lrwxrwxrwx1rootroot66Nov1811:13avro-tools->/data/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0

mtj66·2020-07-13 08:50

CDH安装记录

CDH5.14使用MySQL存储元数据：https://www.jianshu.com/p/399fd230cb56CM卸载笔记：https://www.cnblogs.com/dolittle/p/5767337

Yuan_CSDF·2020-07-13 01:54

CENTOS6.5安装CDH5.12.1

1.概述本文档主要描述离线环境下，CentOS6.5操作系统部署CDH5.12.1企业版的过程。

菜鸟级的IT之路·2020-07-13 01:32

Hive的安装和部署教程--小白一看就会

：//先进入到你放hive压缩包的位置，进行解压（本人的hive压缩包在/export/soft目录下）cd/export/soft//进行解压-C后面为解压目录tar-zxvfhive-1.1.0-cdh5.14.0

DJ丶小哪吒·2020-07-13 00:27

离线安装Cloudera Manager 5和CDH5(最新版5.12.0) 完全教程

关于CDH和ClouderaManagerCDH(Cloudera'sDistribution,includingApacheHadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的ApacheHadoop构建，并集成了很多补丁，可直接用于生产环境。ClouderaManager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主

Simon_Sun_1984·2020-07-12 22:14

大数据之---CDH集群离线部署全网终极篇--更新中

1、软件环境和IP规划RHEL6角色jdk-8u45apache-maven-3.3.9hive-1.1.0-cdh5.7.1-src.tar.gzhadoop-2.8.1.tar.gzmysql-connector-java

超人-归来·2020-07-12 18:07

CDH5.5离线安装部署（centos7血与泪）

CDH用于管理hadoop生态环境的各个组件，提供安装和管理的功能，强烈推荐下面是CDH5.5的安装环境搭建（6台服务器Centos7，2台主节点机性能好，32G内存）离线包下载1.1cloudera-manager

坚挺的小强·2020-07-12 17:01

离线部署CDH5.16.1及各种坑

所需安装包及版本说明：由于我们的操作系统为CentOS7，需要下载以下文件：cloudera-manager-centos7-cm5.16.1_x86_64.tar.gzCDH-5.16.1-1.cdh5.16.1

草宝虫·2020-07-12 15:15

HBase -- javaAPI 基础篇（创建hbase表，添加数据，查询）

clouderahttps://repository.cloudera.com/artifactory/cloudera-repos/org.apache.hadoophadoop-client2.6.0-mr1-cdh5.14.0org.apache.hbasehbase-client1.2.0

kismetG·2020-07-12 13:20

CDH5.15.0 kafka调试报错Connection to node -1 could not be established. Broker may not be available.

在CDH5.15.0版本集群中加入kafka服务后，使用kafka自带的命令行生产者kafka-console-producer和命令行消费者kafka-console-consumer进行调试时，producer

kangker·2020-07-12 12:47

将hive中导出的txt文件转化成符合要求的表格

准备工作将列名加入到表格之中：echo-e"日期\t新增用户数量">/liutao/day_new_user.txt/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1

吗达拉·2020-07-12 12:01

Mac搭建Hadoop[HDFS+HIVE+SPARK]运行WordCount

具体版本为cdh5.7.0,hadoop2.6.0,hive1.1.0。PATH设置错误：exportPATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin

无语的地球·2020-07-12 12:07

编译Spark源码,hadoop.version=2.6.0-cdh5.16.2

/dev/make-distribution.sh--name2.6.0-cdh5.16.2--tgz-Phadoop-2

应龙与巨蜥·2020-07-12 12:54

Sqoop使用总结——安装配置 sqoop-1.4.6-cdh5.7.0

1.下载并解压wgethttps://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gztar-zxvfsqoop-1.4.6-cdh5.7.0

滑冰选手库里·2020-07-12 11:06

Centos6安装CDH5.15.1最详细版-1 环境准备工作

我这里是之前装的三台虚拟机，如下：192.168.201.81hadoop-1192.168.201.82hadoop-2192.168.201.83hadoop-3准备工作：先准备下载CDH相关安装包创建目录，把CDH相关安装包都入到这个目录里mkdir-p/opt/software/cloudera/CDH-5.15.1本地网络太慢，这里都用服务器下载安装包，要先装wget服务。安装包准备Cl

蜗牛@漫步·2020-07-12 10:11

CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0

：CentOS7各个软件安装和启动CentOS7安装CDH第三章：CDH中的问题和解决方法CentOS7安装CDH第四章：CDH的版本选择和安装方式CentOS7安装CDH第五章：CDH的安装和部署-CDH5.7.0CentOS7

weixin_30713953·2020-07-12 06:49

Hbase基础全解析

HBASE基础全解析标签：大数据生态本文使用版本hbase-0.98.6-cdh5.3.6源码库：https://github.com/apache/hbase/releases注：rel=release

vinfly_li·2020-07-12 04:10

hbase －1.2.0-cdh5.14.0 特定版本的jar maven中央仓库没有，手动打包

mvninstall:install-file-DgroupId=org.apache.hbase-DartifactId=hbase-common-Dversion=1.2.0-cdh5.14.0-Dpackaging

阿门1234·2020-07-12 02:42

推荐频道

CDH5