cdh4.6.0

hive0.13.1 orc兼容性问题fix

线上使用cdh4.6.0和hive0.13.1,在hive0.11之后开始支持orcfile,hive0.13.1使用的是pb2.5.0,cdh4.6.0是用的2.4.0a，线上测试orcfile，建表正常
菜菜光·2015-01-04 22:32

hive0.13.1 orc兼容性问题fix

线上使用cdh4.6.0和hive0.13.1,在hive0.11之后开始支持orcfile,hive0.13.1使用的是pb2.5.0,cdh4.6.0是用的2.4.0a，线上测试orcfile，建表正常
菜菜光·2015-01-04 22:32

hive0.13.1 orc兼容性问题fix

线上使用cdh4.6.0和hive0.13.1,在hive0.11之后开始支持orcfile,hive0.13.1使用的是pb2.5.0,cdh4.6.0是用的2.4.0a，线上测试orcfile，建表正常
菜菜光·2015-01-04 22:32

hadoop cdh4.6.0编译方法

最近因为要改hadoop的一些代码，需要重新编译，测试环境是用cdh4.6.0做debug,简单记录下hadoop的编译方法：1）编译环境需要下面几个包yum install lzo-devel zlib-devel
菜菜光·2014-12-10 22:31

hadoop cdh4.6.0编译方法

最近因为要改hadoop的一些代码，需要重新编译，测试环境是用cdh4.6.0做debug,简单记录下hadoop的编译方法：1）编译环境需要下面几个包yum install lzo-devel zlib-devel
菜菜光·2014-12-10 22:31

hadoop cdh4.6.0编译方法

最近因为要改hadoop的一些代码，需要重新编译，测试环境是用cdh4.6.0做debug,简单记录下hadoop的编译方法：1）编译环境需要下面几个包yum install lzo-devel zlib-devel
菜菜光·2014-12-10 22:31

cdh4.6.0到cdh5.2.0 upgrade和rollback问题小结

upgrade小结：1.dfsadmin-upgradeProgressstatus在cdh5.2.0中没有，在4.6.0有（见源码org.apache.hadoop.hdfs.tools.DFSAdmin）升级的时候不能通过这个看到升级状态rollingUpgrade这个参数在4.6.0中不存在，在5.2.0中有，可以用于滚动升级2.在cdh5.2.0中执行upgrade,nn中调用的命令是ha
菜菜光·2014-11-19 23:36

cdh4.6.0到cdh5.2.0 upgrade和rollback问题小结

upgrade小结：1.dfsadmin-upgradeProgressstatus在cdh5.2.0中没有，在4.6.0有（见源码org.apache.hadoop.hdfs.tools.DFSAdmin）升级的时候不能通过这个看到升级状态rollingUpgrade这个参数在4.6.0中不存在，在5.2.0中有，可以用于滚动升级2.在cdh5.2.0中执行upgrade,nn中调用的命令是ha
菜菜光·2014-11-19 23:36

hadoop常用服务管理命令

 这几天正好在做cdh4.6.0到cdh5.2.0的升级测试，经常需要启动/关闭各种服务，简单看了下各个服务管理脚本，这里简单记录下：主要的服务管理脚本如下hdfs相关1）hadoop-daemon.sh
菜菜光·2014-11-19 22:09

hadoop常用服务管理命令

这几天正好在做cdh4.6.0到cdh5.2.0的升级测试，经常需要启动/关闭各种服务，简单看了下各个服务管理脚本，这里简单记录下：主要的服务管理脚本如下hdfs相关1）hadoop-daemon.sh
菜菜光·2014-11-19 22:09

distribute cache(3) cdh4.6.0 purge实现

这里主要说下在task初始化时的distributepurge相关的类：TrackerDistributedCacheManager4.6.0的distributepurge行为由4个参数控制。local.cache.size#默认10737418240mapreduce.tasktracker.cache.local.numberdirectories#默认10000mapreduce.task
菜菜光·2014-04-23 22:13

distribute cache(3) cdh4.6.0 purge实现

这里主要说下在task初始化时的distributepurge相关的类：TrackerDistributedCacheManager4.6.0的distributepurge行为由4个参数控制。local.cache.size#默认10737418240 mapreduce.tasktracker.cache.local.numberdirectories#默认10000 mapreduce.ta
菜菜光·2014-04-23 22:13

cdh4.6.0升级测试2-distribute cache bug fix

distributecachepurge阻塞task的bug测试。cdh4.2.0:测试方法：local.cache.size=650因为cachedirsize和count是存在内存中的HashMap中的，把local.cache.size值设置的足够小，在每次job运行时都会触发deletedistributecache的操作。又因为是private的，是同步删除，会造成task阻塞。使用dd
菜菜光·2014-04-23 22:17

cdh4.6.0升级测试2-distribute cache bug fix

distributecachepurge阻塞task的bug测试。cdh4.2.0:测试方法：local.cache.size=650因为cachedirsize和count是存在内存中的HashMap中的，把local.cache.size值设置的足够小，在每次job运行时都会触发deletedistributecache的操作。又因为是private的，是同步删除，会造成task阻塞。使用dd
菜菜光·2014-04-23 22:17

cdh4.6.0升级测试1

线上使用了cdh4.2.0，这个版本有几个比较严重的bug,jt内存泄露和distributecache阻塞的bug.(MAPREDUCE-2479和MAPREDUCE-5508)相关patch:https://github.com/y-lan/hadoop-cdh4/blob/master/cloudera/patches/1351-MR1-MAPREDUCE-2479.-Move-distri
菜菜光·2014-04-23 22:39

cdh4.6.0升级测试1

线上使用了cdh4.2.0，这个版本有几个比较严重的bug,jt内存泄露和distributecache阻塞的bug.(MAPREDUCE-2479和MAPREDUCE-5508)相关patch:https://github.com/y-lan/hadoop-cdh4/blob/master/cloudera/patches/1351-MR1-MAPREDUCE-2479.-Move-distri
菜菜光·2014-04-23 22:39
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他