cdh4.2.0

Hive on CDH4部署、调错及测试

环境介绍hadoop是cdh4.2.0的版本，搭建见十分钟搭建自己的hadoop2/CDH4集群hive版本可以是cdh4.2.0的hive-0.10.0，下载包(win直接下载解压会失败，建议linux
iteye_13202·2020-06-23 18:07

安装CDH4遇到的问题

安装CDH4.2.0遇到的一些问题，记录下来：   1、LZO的问题 由于CDH4中JobContext由class变为一个interface，所以直接使用原先的lzo的jar包会出现问题
·2015-10-31 10:39

cdh4.6.0升级测试2-distribute cache bug fix

cdh4.2.0:测试方法：local.cache.size=650因为cachedirsize和count是存在内存中的HashMap中的，把local.cache.size值设置的足够小，在每次job
菜菜光·2014-04-23 22:17

cdh4.6.0升级测试2-distribute cache bug fix

cdh4.2.0:测试方法：local.cache.size=650因为cachedirsize和count是存在内存中的HashMap中的，把local.cache.size值设置的足够小，在每次job
菜菜光·2014-04-23 22:17

cdh4.6.0升级测试1

线上使用了cdh4.2.0，这个版本有几个比较严重的bug,jt内存泄露和distributecache阻塞的bug.
菜菜光·2014-04-23 22:39

cdh4.6.0升级测试1

线上使用了cdh4.2.0，这个版本有几个比较严重的bug,jt内存泄露和distributecache阻塞的bug.
菜菜光·2014-04-23 22:39

HiveServer2 Impersonation

CDH4.2.0开始支持hiveserver2的impersonation,只需要设置参数hive.server2.enable.impersonation(该参数在Hive里是HIVE_SERVER2
MIKE老毕·2013-10-20 00:06

Hive Lock 流程简析

Hive在0.7开始对并发进行支持，本文简述一下Hive（CDH4.2.0）的锁处理流程： 1.首先对query进行编译，生成QueryPlan 2.构建读写锁对象（主要两个成员变量：LockObject
MIKE老毕·2013-10-12 17:24

Hive Lock 流程简析

Hive在0.7开始对并发进行支持，本文简述一下Hive（CDH4.2.0）的锁处理流程：1.首先对query进行编译，生成QueryPlan2.构建读写锁对象（主要两个成员变量：LockObject，
MIKE老毕·2013-10-12 17:24

Hive on CDH4部署、调错及测试

环境介绍hadoop是cdh4.2.0的版本，搭建见十分钟搭建自己的hadoop2/CDH4集群hive版本可以是cdh4.2.0的hive-0.10.0，下载包(win直接下载解压会失败，建议linux
zbf8441372·2013-09-29 14:00

Hive 强制指定分区键

不过由于项目周期压力暂缓，这时发现了一个参数：hive.partition.pruning（https://issues.apache.org/jira/browse/HADOOP-4345）不过不能高兴的太早，CDH4.2.0
MIKE老毕·2013-09-26 12:27

Hive 强制指定分区键

不过由于项目周期压力暂缓，这时发现了一个参数：hive.partition.pruning（https://issues.apache.org/jira/browse/HADOOP-4345）不过不能高兴的太早，CDH4.2.0
MIKE老毕·2013-09-26 12:27

JobTracker Memory Leak

前阶段发生过两次JT（CDH4.2.0）OOM的问题，导致ETL过程出错；由于是刚接手的集群参数大多是默认的，修改了JT的JVM参数相关的CMS，同时减小了retireJob的interval和cachesize
MIKE老毕·2013-09-19 10:14

Hive 调整inputsplit size来增加MAP数

http://boylook.itpub.net/post/43144/531420线上一个Hive（CDH4.2.0）的清洗Job出错，查看日志发现其中一个MAPOOME：查看了日志这个HQL是2个表进行
MIKE老毕·2013-09-18 11:38

cdh4.2.0源码搭建hadoop+hbase+zookeeper开发环境

1.   准备工作（1）   首先在cloudera的官网上下载CDH4的hadoop-2.0.0-cdh4.2.0、hbase-0.94.2-cdh4.2.0、zookeeper-3.4.5-cdh4.2.0的tar包（2）   在安装hbase开发环境之前，先安装好java开发环境，配置好环境变量（3）   准备三台主机，在用vi打开/etc/sysconfig/network修改HOSTNA
dangyifei·2013-03-27 14:00

Hadoop cdh4.2.0配置 ShortCircuitRead

Hadoop在读数据时提供了一种优化：如果读的block文件在本地时，hdfs的client会直接读本地data.dir内的block文件，而不是从datanode的网络端口读取。这个优化在mapreduce时会对性能有很大的提升，因为一般来说mapper都会和读取数据在一台server上。ShortCircuitRead功能在chd4.1.0上有bug，除了hdfs用户其他用户比如hbase，y
MrTitan·2013-03-21 18:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他