CDH5

【Hadoop】伪分布式配置

modules/jdk1.7.0_79core-site.xmlfs.defaultFShdfs://daisuke:8020hadoop.tmp.dir/opt/modules/hadoop-2.5.0-cdh5.3.6
A小菠菜罐头·2018-08-04 17:50

spark on yarn cgroup 资源隔离(cpu篇)

文章目录环境配置背景目标资源隔离Cgroup&LinuxContainerExecutorCPU资源隔离hardlimitsoftlimit总结根据不同场景选择限制模式开启Cgroup后带来的变化相关配置相关代码环境配置cdh5.15.0cm5.15.0oscentos7.2
breeze_lsw·2018-08-02 17:21

封装Hive通过beeline 连接并设置队列

###2018-04-08:create~/soft/hive-0.13.1-cdh5.2.0-all/bin/be
止鱼·2018-08-01 22:22

cdh hive 中文注释乱码解决方法(简单几步)

一、问题描述环境cdh5.12.1+hive1.1.0。
微步229·2018-08-01 09:09

Hive学习笔记：Hive JDBC+Java API

环境：CentOS7hive-1.1.0-cdh5.14.0hadoop-2.6.0-cdh5.14.0HiveJDBC配置与实现修改$HIVE_HOIME/conf下的hive-site.xml，添加以下内容
SetsunaMeow·2018-08-01 00:32

Hadoop运维记录系列（二十四）

Hadoop使用CDH5.5.1加一些自定义patch的rpm打包编译版本。总的方案是集群不停机，在两个机房之间架设专线，旧机房decommission，拉到新机房recommi
Slaytanic·2018-07-31 15:58

CDH5.15搭建四之二（微播易公司搭建手册-基础部分）

ClouderaManager过程，软件版本如下表1-1所示：表1-1软件版本选取NO.软件名称版本1操作系统Centos7.564位2JDKjdk-8u171-linux-x643ClouderManager5.15.04CDH5.15.05
袁一白·2018-07-30 10:59

Hive学习笔记：Hive数据类型

环境：CentOS7hive-1.1.0-cdh5.14.0hadoop-2.6.0-cdh5.14.0简单类型数字类型TINYINT（1字节，有符号整数，从-128至127）SMALLINT（2字节，
SetsunaMeow·2018-07-29 11:44

Spark 使用Phoenix往HBase插入数据报错 PhoenixOutputFormat not found

集群版本：cdh5.8Phoenix版本：4.7.0项目依赖管理：Maven描述：在工作中，需要使用Phoenix往HBase写数据，但是调试的时候出现问题17/06/1209:35:46ERRORkerberos.SaveAsPhoenixApp
笨鸟先飞-天道酬勤·2018-07-27 18:34

【Hadoop】hadoop2.x入门与基本环境配置

Hadoop版本：2.5.0-cdh5.3.6JDK版本：7u80-linux-i586可以从下面获取JDK和Hadoop压缩包链接：https://pan.baidu.com/s/1KQwF3aZL9ZletysyZHLMzA
A小菠菜罐头·2018-07-24 23:05

cdh--ClouderaManager安装手册

一、说明操作系统：CentOS6.5JDK版本：1.7.0_67所需安装包及版本说明：CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcelCDH-5.4.0-1.cdh5.4.0.
chenxibin_one·2018-07-23 15:44

（转）HBase详细概述

不过在此之前，你可以先了解Hadoop生态系统，若想运行HBase，则需要先搭建好Hadoop集群环境，可以参考此文搭建5个节点的hadoop集群环境（CDH5）。好了，让我们来学习HBase吧！
达微·2018-07-22 08:42

CDH 5.3.3离线安装

三台服务器构成的小集群离线部署CDH5.3.3下载离线包：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.3_x86_64
小驴淘米666·2018-07-21 10:59

CDH5.15离线搭建简易版集群（完整版）

运用CDH5.15离线搭建简易版集群关于CDH和ClouderaCDH（Cloudera的发行版，包括ApacheHadoop），是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的ApacheHadoop
HarSenZhao·2018-07-19 17:28

spark sql读取映射hbase数据的hive外部表报错

集群环境CDH5.8.0/spark2.1.0我们用执行以下命令报错：spark2-submit--masteryarn--classcom.test.hive.SparkReadHbaseTest.
lhxsir·2018-07-19 14:54

[Spark] 使用IDEA构建Spark应用程序实例

IntelliJIDEA2018.1.2+maven-3.3.9+scala插件，机器要求可以联网（需要下载各种依赖包）远程：CentOS7.3+jdk1.8+scala-2.11.12+hadoop-2.6.0-cdh5.7.0
wawa8899·2018-07-16 18:54

SparkStreaming读kafka写入HDFS（kerberos认证）

写入HDFSpom访问Kerberos环境下的HBase代码Spark2Streaming应用实时读取Kafka代码写入数据到kafka代码SparkStreaming读kafka写入HDFS本教程基于CDH5.8.0
lhxsir·2018-07-16 15:30

Hadoop cdh版本搭建

cdh版本下载地址1概述本文是针对LinuxCentos7服务器与CDH5.11的安装手册。
liangzelei·2018-07-16 10:43

数据转换工具Sqoop学习笔记

下载地址：http://archive.cloudera.com/cdh5/cdh/5/所有框架的cdh版本要相同。
无籽西瓜吃吗·2018-07-15 22:41

[Spark] 使用IDEA构建Spark应用程序

IntelliJIDEA2018.1.2+maven-3.3.9+scala插件，机器要求可以联网（需要下载各种依赖包）远程：CentOS7.3+jdk1.8+scala-2.11.12+hadoop-2.6.0-cdh5.7.0
wawa8899·2018-07-13 16:00

CDH5.11离线安装手册（贼详细）

安装环境JDK版本：1.8linux版本：CentOS7CDH版本：5.11.1CM下载点击这里，CDH下载点击这里集群这里我使用虚拟机搭建了三台集群，一台Master，两台Slave角色IPMaster192.168.17.200Slave1192.168.17.201Slave2192.168.17.202步骤介绍环境介绍完了，现在我们就开始安装CDH，安装步骤分为以下几步：1.虚拟机配置2.
JarryWangJY·2018-07-12 18:20

Hadoop-2.6.0-cdh5.7.0安装步骤

1.下载Hadoop和JDK下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk：http
烙痕·2018-07-11 19:08

Hadoop-CDH5.x详细安装过程及问题

CDH的安装过程详见：https://blog.csdn.net/zzq900503/article/details/52982828写的非常详细，其中包含了安装过程中遇到的问题的解决方案。这里补充几个遇到的问题：1.我的MySQL是通过解压tar.gz包安装的，不是rpm安装，在安装Clouderamanager会遇到这样的一个错误：缺少libxslt.so.1文件，可通过执行yuminstal
anickname·2018-07-11 14:50

如何避免sqoop执行job时让输入密码

sqoop.metastore.client.record.password=truesqoop-site.xml的位置：${SQOOP_HOME}/conf下面，例如：/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0
乱纪元也不脱水·2018-07-09 15:38

CDH5.10启用Kerberos

前提已经安装好了ClouderaManager和CDH5.10.0Kerberosserver已经部署好了（服务搭建过程见Kerberos服务部署），在CDH节点已经安装了kerberosclient。
AlferWei·2018-07-06 11:02

CDH5.12.X添加Kafka服务

最近有同学问我CDH怎么安装Kafka服务，正好我之前也有安装过，在这里将安装过程记录一下，方便各位同学过坑！既然已经安装了CDH,那么我们在安装kafka服务的时候,很自然的直接添加服务：但是有提示:Beforeaddingthisservice,ensurethateithertheKafkaparcelisactivatedortheKafkapackageisinstalled.这样子直接
yekanghui·2018-07-05 10:33

hive内置函数大全

一、查看函数showfunctions显示hive下内置所有函数descfunctionextendedadd_months显示add_months函数用法二、按首字母排序hive版本1.1.0-cdh5.7.0
一剑霜寒_·2018-07-03 15:49

hive内置函数大全

一、查看函数showfunctions显示hive下内置所有函数descfunctionextendedadd_months显示add_months函数用法二、按首字母排序hive版本1.1.0-cdh5.7.0
一剑霜寒_·2018-07-03 15:49

SparkSQL读取HBase数据

spark-sqlcli（关于SparkSQL和Hive的整合，见文章后面的参考阅读）.本质上就是通过Hive访问HBase表，具体就是通过hive-hbase-handler.环境篇hadoop-2.3.0-cdh5.0.0apache-hive
假的鱼·2018-07-02 14:04

从Hive导入数据到ES

hive的版本：hive-1.1.0-cdh5.9.0具体的步骤如下：step1将elasticsearch-hadoop-hive-version.jar添加到hivewgethttps://artifacts.elastic
sbp810050504·2018-07-01 22:12

CDH5.14.X安装Kafka过程（Kafka版本选择的过程）

CDH5.14安装Kafka过程：在CDH官网中关于Kafka的安装和升级中已经说到，在CDH中，Kafka作为一个分布式的parcel，单独出来作为parcel分发安装包。
那记忆微凉·2018-06-29 13:06

Cloudera Manager 5和CDH5(最新版5.1.3) 安装

关于CDH和ClouderaManagerCDH(Cloudera'sDistribution,includingApacheHadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的ApacheHadoop构建，并集成了很多补丁，可直接用于生产环境。ClouderaManager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主
客 人·2018-06-27 20:37

【若泽大数据实战第二十天】Sqoop-1.4.6-cdh5.7.0.tar.gz安装 + Sqoop help

Sqoop安装1下载1.下载地址http://archive.cloudera.com/cdh5/cdh/5/2.环境sqoop-1.4.6-cdh5.7.0.tar.gz版本2上传到linux上，并解压
强悍de巨人·2018-06-25 12:40

关于从节点的HRegionServer启动不起来的解决办法

版本信息：主机环境：Centos7.33台(1master，2slave)HBase：1.2.0-cdh5.7.0近日在重新搭建大数据集群的时候，发现一个之前没有遇到的问题，特此记录下来：当配置HBase
Hiwes·2018-06-22 11:06

hive-shell批量命令执行脚本的实现方法

/usr/bin/bashHADOOP_HOME="/opt/module/cdh-5.3.6-ha/hadoop-2.5.0-cdh5.3.6"HIVE_HOME='/opt/module/cdh-5.3.6
小蜗牛也有梦想·2018-06-19 14:55

【若泽大数据实战第十九天】自定义函数sayhello 注册到hive 源码中，并且重新编译hive

环境:hive-1.1.0-cdh5.7.0包放在了/root下面cdh采用cdh5.7.0目标：将自定义函数sayhello注册到hive源码中，并且重新编译hive1、编写UDF(1)使用idea+
强悍de巨人·2018-06-17 00:52

Sqoop轻松部署

archive.apache.org/dist/sqoop/1.4.6/http://archive.apache.org/dist/sqoop/1.4.7/http://archive-primary.cloudera.com/cdh5
菜鸟级的IT之路·2018-06-16 19:34

Hive-1.1.0-cdh5.7.0编译及部署

1.环境准备1）虚拟机为VM102）Linux系统为centos6.53）Hadoop为hadoop-2.6.0-cdh5.7.04）JDK为jdk-7u80-linux-x64.tar.gz5）Maven
白面葫芦娃92·2018-06-16 15:13

hadoop项目实战之分布式集群环境搭建（CDH5）-杨帅-专题视频课程

hadoop项目实战之分布式集群环境搭建（CDH5）—82人已学习课程介绍1、具实战性：全程实战演练实际生产环境部署、实验环境部署、CDH源码安装的各个细节。
djt_20180507·2018-06-14 16:00

利用udf函数将hive数据导入到mysql

hive>addjar/opt/cloudera/parcels/CDH/jars/hive-contrib-1.1.0-cdh5.11.0.jar;hive>addjar/usr/share/java
GameOverTryAgain·2018-06-14 10:12

spark-shell启动出现的Error creating transactional connection factory解决办法

版本信息：Spark：2.2.0-bin-2.6.0-cdh5.7.0Hive：1.1.0-cdh5.7.0MySQL：5.7.22问题：在使用Spark连接HIve，启动spark-shell的时候，
Hiwes·2018-06-13 11:56

Hadoop2.6.0编译过程中的坑

Hadoop编译编译环境：Ubuntu16.04_64JDK：1.7.0_80maven：apache-maven-3.5.2hadoop：hadoop-2.6.0-cdh5.14.2执行编译命令：mvnpackage-Pdist-DskipTests-Dtar
galiniur0u·2018-06-12 19:17

cdh5.14.2中集成安装kylin与使用测试

cdh5.14.2中集成安装kylin与使用测试标签（空格分隔）：大数据平台构建一：kylin简介二：安装配置kylin三：kylin运行实例一：kylin简介ApacheKylin™是一个开源的分布式分析引擎
flyfish225·2018-06-11 22:32

在CDH5.14.2 中启用kudu的配置与验证

在CDH5.14.2中启用kudu的配置标签（空格分隔）：大数据平台构建一：系统平台介绍二：安装kudu的集成一：系统平台介绍1.1.关于kudu的介绍Kudu是Cloudera开源的新型列式存储系统，
flyfish225·2018-06-11 13:52

Hive编译及部署

1、需要安装的软件#相关环境：#jdk-7u80#hadoop-2.6.0-cdh5.7.1不支持jdk1.8，因此此处也延续jdk1.7#apache-maven-3.3.9#mysql5.1#伪分布集群已启动
菜鸟级的IT之路·2018-06-11 09:44

Centos6离线安装CDH5.14.2最全详细教程-7浏览器安装ClouderaManager

概述这里是最后一部分这里是第六部分,主要讲配置Mysql作为ClouderaManager及CDH组件的数据库操作的话建议从第一部分开始不知道为什么后面的几个部分的阅读量比前言大得多,强烈建议从第一部分开始操作，文章验证过好多次了，各部分之间都是相互依赖的，只看中间某一篇的话很可能出错第一部分：前言第二部分：环境准备1第三部分：环境准备2第四部分：安装Mysql数据库第五部分：安装Cloudera
荒野雄兵·2018-06-10 22:45

Centos6离线安装CDH5.14.2最全详细教程-6配置Mysql

文章目录概述配置Mysql数据库为ClouderaManager配置Mysql数据库下一部分概述文章写得很详细，很长所以这里分成了7个部分这里是第六部分,主要讲配置Mysql作为ClouderaManager及CDH组件的数据库操作的话建议从第一部分开始不知道为什么后面的几个部分的阅读量比前言大得多,强烈建议从第一部分开始操作，文章验证过好多次了，各部分之间都是相互依赖的，只看中间某一篇的话很可能
荒野雄兵·2018-06-10 21:12

在CDH5.14.2中安装Phoenix与使用

在CDH5.14.2中安装Phoenix与使用标签（空格分隔）：大数据平台构建一：安装及配置Phoenix二：Phoenix的基本操作三：使用Phoenixbulkload数据到HBase四：使用Phoenix
flyfish225·2018-06-10 21:41

hive整合hbase

1.首先把hive下的指定jar复制到hbase的lib下scp$HIVE_HOME/lib/hive-hbase-handler-1.1.0-cdh5.4.0.jar$HBASE_HOME/lib/2
Jenrey·2018-06-10 21:28

Centos6离线安装CDH5.14.2最全详细教程-5安装Cloudera Manager

文章目录概述配置网络yum源为阿里云源搭建本地yum源yum添加ClouderaManager和parcel源安装ClouderaManager下一部分概述文章写得很详细，很长所以这里分成了7个部分这里是第五部分,主要讲在终端仿真环境下安装ClouderaManager操作的话建议从第一部分开始不知道为什么后面的几个部分的阅读量比前言大得多,强烈建议从第一部分开始操作，文章验证过好多次了，各部分之
荒野雄兵·2018-06-10 20:46
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他