cdh4

cdh4 hadoop,hive,impala,hbase本地库搭建及安装

--hadoop文件位置：log目录 : 1 /var/log/hadoop-hdfs  2 /var/log/hadoop-mapreduce  3 /var/log/hbase  4 /var/log/hive  5 /var/log/hive
wbj0110·2014-06-03 10:00

cdh4 hadoop,hive,impala,hbase本地库搭建及安装

--hadoop文件位置：log目录 : 1 /var/log/hadoop-hdfs  2 /var/log/hadoop-mapreduce  3 /var/log/hbase  4 /var/log/hive  5 /var/log/hive
wbj0110·2014-06-03 10:00

cdh4 hadoop,hive,impala,hbase本地库搭建及安装

--hadoop文件位置：log目录 : 1 /var/log/hadoop-hdfs  2 /var/log/hadoop-mapreduce  3 /var/log/hbase  4 /var/log/hive  5 /var/log/hive
wbj0110·2014-06-03 10:00

安装CLOUDERA

安装CLOUDERAhttp://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Installation-Guide
paulwong·2014-05-23 18:00

Hadoop CDH4.5 Zookeeper部署

   因为后面需要部署NameNode和MapReduce的HA机制，而CDH4的HA机制中故障转移中除了手动转移外的自动故障转移都是依靠zookeeper实现的，所以需要先掌握ZooKeeper的分布式部署
China_OS·2014-05-17 13:00

Hadoop CDH4.5 NameNode && JobTracker HA机制介绍

在CDH4中提供了NameNode和JobTracker的HA机制，本章就学习以下者两者的HA部署方法HDFSHighAvailability    在减少整个HDFS集群的可用性方面主要有两个注意点：
China_OS·2014-05-17 10:00

Hadoop CDH4.5 hadoop集群命令介绍

CDH4中hadoop命令的介绍，可以通过hadoop-h来查看CDH4的hadoop命令支持哪些子命令hadoop-hUsage:hadoop[--configconfdir]COMMAND whereCOMMANDisoneof
China_OS·2014-05-16 19:00

CDH4.4-MRV1 HA 安装手册

一概述   公司使用CDH4的环境，Job运行时环境选择的是MRV1，网络上搭建CDH4.4HDFS，MRV1HA环境的资料非常少。
ShihLei·2014-05-15 09:00

hive优化之------控制hive任务中的map数和reduce数

iteye.com/blog/1582880关于hive选项:hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat,cdh4
ljq32·2014-05-14 16:00

Cloudera Distribution Containing Apache Hadoop 5概述

此次发布距离上一个主要版本发布将近20个月了，CDH4似乎已经在BigData世界里存在了好多年。
Alex Giamas·2014-04-23 00:00

Cloudera Distribution Containing Apache Hadoop 5概述

此次发布距离上一个主要版本发布将近20个月了，CDH4似乎已经在BigData世界里存在了好多年。
Alex Giamas·2014-04-23 00:00

Yarn（MapReduce 2.0）下分布式缓存（DistributedCache）的注意事项

1、问题最近公司的集群从Apachehadoop0.20.203升级到了CDH4，迈进了Hadoop2.0的新时代，虽然新一代的hadoop努力做了架构、API上的各种兼容，但总有“照顾不周”的地方，下面说的这个有关分布式缓存的案例就是于此有关
xrzs·2014-03-08 02:00

hadoop版本总结

其中从0.20.x分支发展出来的是：hadoop1.0，CDH3从0.23.x分支发展出来的是：hadoop-alpha，CDH4下面具体说hadoop1.0、2.0和CDH3、CDH4：ApacheHadoop
David_Tio·2014-03-06 16:00

搭建cloudera yum私服

下载仓库rpm包   centos6     wget http://archive.cloudera.com/cdh4/one-click-install/
heipark·2014-03-05 11:00

搭建cloudera yum私服

阅读更多一、安装Clouderayum仓库1.下载仓库rpm包centos6wgethttp://archive.cloudera.com/cdh4/one-click-install/redhat/6
heipark·2014-03-05 11:00

使用CM4快速部署CDH4集群

在CentOS下通过CM4（ClouderaManager）安装CDH4（ClouderaDistributionforHadoop）集群，安装之前需先配置好SSH相互之前免密登录以及/etc/hosts
cwalet·2014-02-21 15:00

Cloudera CDH4 卸载

记录卸载过程和问题。现有环境ClouderaManager+(1+2)的CDH环境。1、先在Manage管理端移除所有服务。2、删除ManagerServer在Manager节点运行$sudo/usr/share/cmf/uninstall-cloudera-manager.sh如果没有该脚本，则可以手动删除，先停止服务：sudoservicecloudera-scm-serverstop sud
jamin-liu·2014-02-13 09:00

cdh4.2 在mac OS X10.9.1下编译

编译 hadoop-2.0.0-cdh4.2下载tar包http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest
wf1982·2014-01-15 18:00

cdh4 hadoop,hive,impala,hbase本地库搭建及安装

--hadoop文件位置：log目录:/var/log/hadoop-hdfs  /var/log/hadoop-mapreduce  /var/log/hbase  /var/log/hive  /var/log/hive /var/log/impala安装目录：/usr/lib启动命令目录：/etc/init.d/配置文件目录：/etc/hadoop/conf  /etc/hbase/conf
齐百超·2014-01-05 12:00

hadoop2.0(cdh4) fs client错误"java.io.IOException: No FileSystem for scheme: hdfe"

阅读更多启动dfsclient时候报错：“java.io.IOException:NoFileSystemforscheme:hdfs"”出现这个错误是因为缺少hadoop-hdfsjar包，在项目中进行如下依赖配置即可，两个都不能少，下面是clouderamaven配置org.apache.hadoophadoop-common2.0.0-cdh4.4.0jdk.toolsjdk.toolsor
heipark·2013-12-31 12:00

hadoop2.0(cdh4) fs client错误"java.io.IOException: No FileSystem for scheme: hdfe"

启动dfs client时候报错：“java.io.IOException: No FileSystem for scheme: hdfs"”   出现这个错误是因为缺少hadoop-hdfs jar包，在项目中进行如下依赖配置即可，两个都不能少，下面是cloudera maven配置   <dependency> <groupI
heipark·2013-12-31 12:00

storm 基本安装

包都在这里:http://archive.cloudera.com/cdh4/cdh/4/2.配置zookeeper解压稍微修改配置就可以使用，只需要定义dataDir和server.1/2/3dataDir
wennan·2013-12-26 18:00

hadoop 安装

yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm rpm --import http://archive.cloudera.com/cdh4
cooler1217·2013-12-25 20:00

hadoop2.0 HDFS搭建和HA切换

首先，需要在cdh官方下载对应的源码包：http://archive.cloudera.com/cdh4/cdh/4/    以cdh4.3.1版本为例来进行说明。    
kirayuan·2013-12-17 16:00

利用yum升级cdh hbase0.90至0.94（即chd3-》cdh4）

一.集群布局haoop06        thriftserver、hbasemaster、zookeeperserverhadoop01~04   thriftserver、hbaseregionserver、zookeeperhadoop07、hadoop08  thriftserver、hbaseregionserver、zookeeper二.编辑repository文件#vi /etc/y
lxf310·2013-12-13 16:00

hdaoop2.x (CDH4、5)下使用DFS Client（包含HA）

阅读更多一、不使用HA场景1.1获取FileSystem（下称FS）方法一：FileSystemfs=FileSystem.get(URI.create("hdfs://:"),newConfiguration());1.2获取FS方法二（★推荐）：Configurationconf=newConfiguration();conf.set("fs.default.name","hdfs://:")
heipark·2013-12-09 16:00

hdaoop2.x (CDH4、5)下使用DFS Client（包含HA）

一、不使用HA场景 1.1 获取FileSystem（下称FS）方法一：   FileSystem fs = FileSystem.get(URI.create("hdfs://<nn_ip>:<nn_port>"), new Configuration());   1.2 获取FS方法二（★推荐）： Configura
heipark·2013-12-09 16:00

Cloudera Hadoop 4系列实战课程(电商业日志流量分析项目)

cdh4环境搭建相比旧版本也复杂很多，但可以用cloudera-manager对集群进行管理和配置。
我是小北·2013-12-03 13:00

Hadoop YARN的安装配置

总体上是按照CDH的文档配置的：http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/4.2.1/CDH4-Installation-Guide
mercedesqq·2013-11-22 14:38

CDH4.4 HA使用感受

HA配置安装ClouderaCDH4官方文档配置，还算顺利，地址如下： http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4
heipark·2013-11-19 15:00

大数据处理之如何确保断电不丢数据

而最近刚发布的CDH4中HDFS在Client端提供了hsync()的方法调用(HDFS-744)，从而保证在机器崩溃或意外断电的情况下，数据不会丢失。这篇文件将围绕这个新的接口对其实现
xtjsxtj·2013-11-12 12:00

hadoop安装笔记-cdh4

https://ccp.cloudera.com/display/CDH4DOC/Deploying+HDFS+on+a+Clusterhttps://ccp.cloudera.com/display/CDH4DOC/Deploying+MapReduce+v2+%28YARN%29+on+a+Clusteriptables-PINPUTDROPiptables-PFORWARDDROPiptab
RoseRougE·2013-11-11 12:00

大数据处理之如何确保断电不丢数据

而最近刚发布的CDH4中HDFS在Client端提供了hsync()的方法调用(HDFS-744)，从而保证在机器崩溃或意外断电的情况下，数据不会丢失。这篇文件将围绕这个新的接口对其实现
黄浩松·2013-11-05 00:00

大数据处理之如何确保断电不丢数据

而最近刚发布的CDH4中HDFS在Client端提供了hsync()的方法调用(HDFS-744)，从而保证在机器崩溃或意外断电的情况下，数据不会丢失。这篇文件将围绕这个新的接口对其实现
黄浩松·2013-11-05 00:00

几个网络加速技巧

axel--num-connections=100http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.4.0.tar.gz2.使用gzip编码下载
jollyjumper·2013-10-16 22:00

Hive on CDH4部署、调错及测试

环境介绍hadoop是cdh4.2.0的版本，搭建见十分钟搭建自己的hadoop2/CDH4集群hive版本可以是cdh4.2.0的hive-0.10.0，下载包(win直接下载解压会失败，建议linux
zbf8441372·2013-09-29 14:00

cdh3集群 distcp 数据到 cdh4集群

  从cdh3集群 distcp 数据到 cdh4集群上面详见： http://cloudera.com/content/cloudera-content/cloudera-docs
bupt04406·2013-09-26 21:00

十分钟搭建自己的hadoop2/CDH4集群

版本及准备我部署的是hadoop-2.0.0-cdh4.2.0.tar.gz，下载地址为http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.2.0
zbf8441372·2013-09-26 19:00

cdh4 vs cdh3 client处理DataNode异常的不同

cdh4在处理pipeline中的错误时，逻辑上与原先不一样。
bupt04406·2013-09-13 21:00

Spark连接Hadoop读取HDFS问题小结

在http://spark-project.org/files/上能下载的预编译过的spark版本里，凡是预编译cdh4的压缩包，下载后解压会中断，文件本身有问题。
zbf8441372·2013-09-12 13:00

Spark连接Hadoop读取HDFS问题小结

在http://spark-project.org/files/上能下载的预编译过的spark版本里，凡是预编译cdh4的压缩包，下载后解压会中断，文件本身有问题。
iteye_13202·2013-09-12 13:00

hadoop CHD4 HA 详细安装和配置

准备：下载安装hadoopwgethttp://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.3.0.tar.gz下载安装zookeeperwgethttp
tangjunliang·2013-09-04 17:00

oozie CDH4和hadoop CDH4整合出现的问题(二)

hadoop版本：hadoop-2.0.0-cdh4.3.0 oozie版本：oozie-3.3.2-cdh4.3.0 在使用上述版本的hadoop和oozie进行开发时，启动hadoop后，NN节点上的进程有NameNode，ResourceManager，DN节点的进程有DataNode，NodeManager，hadoop启动正常，在上面执行自己写的M/R程序也没问题，但是当使用oo
tangjunliang·2013-09-04 17:00

oozie CDH4和hadoop CDH4整合出现的问题(一)

最近在使用oozie和hadoop进行开发 hadoop版本：hadoop-2.0.0-cdh4.3.0 oozie版本：oozie-3.3.2-cdh4.3.0 在使用oozie执行里面的例子时， oozie在向hadoop提交任务时报出了以下错误： Caused by: com.google.protobuf.ServiceException: java.net.
tangjunliang·2013-09-04 17:00

zookeeper 集群安装

安装：1.准备安装包我使用的是CDH4.3版本，到下面的下载地址找去吧：http://archive.cloudera.com/cdh4/cdh/4/下载后解压到一个目录下，自己定吧。
XMaster·2013-08-24 00:00

CDH4 动态添加datanode和nodemanager

想要在运行中的hadoop集中中动态添加或删除节点，肿么办呢？【准备工作：】1.如是添加节点，则需要将所有新增数据节点上的Hadoop环境都已经按已有环境部署完毕（host、ssh等）2.需要的配置项：(1)dfs.hosts配置存放待上线数据节点名字文件的绝对路径。（俺把所有线上节点都加上去了）(2)dfs.hosts.exclude配置存放待下线数据节点名字文件的绝对路径。3.具体配置如下：（
eagle0912·2013-08-23 22:04

CDH4 动态添加datanode和nodemanager

        想要在运行中的hadoop集中中动态添加或删除节点，肿么办呢？         【准备工作：】         1. 如是添加节点，则需要将所有新增数据节点上的Had
XMaster·2013-08-23 22:00

CDH4 动态添加datanode和nodemanager

阅读更多想要在运行中的hadoop集中中动态添加或删除节点，肿么办呢？【准备工作：】1.如是添加节点，则需要将所有新增数据节点上的Hadoop环境都已经按已有环境部署完毕（host、ssh等）2.需要的配置项：(1)dfs.hosts配置存放待上线数据节点名字文件的绝对路径。（俺把所有线上节点都加上去了）(2)dfs.hosts.exclude配置存放待下线数据节点名字文件的绝对路径。3.具体配置
XMaster·2013-08-23 22:00

Hadoop的DistCp异常处理

CDH4中使用distcp，目前还木有成功，把异常信息记录下1)ConnectionRefused解决：http://wiki.apache.org/hadoop/ConnectionRefused2)
eagle0912·2013-08-21 22:45

Hadoop的DistCp异常处理

阅读更多CDH4中使用distcp，目前还木有成功，把异常信息记录下1)ConnectionRefused解决：http://wiki.apache.org/hadoop/ConnectionRefused2
XMaster·2013-08-21 22:00
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他