distcp

hadoop集群数据迁移

阅读更多hadoopdistcphdfs://namenode1/foohdfs://namenode2/bar如果想在两个运行着不同版本HDFS的集群上利用distcp，使用hdfs协议是会失败的，因为
lookqlp·2014-08-04 22:00

Oozie 出现 ClassNotFoundException 解决方法

://shiyanjun.cn/archives/684.html如果出现以下错误：1java.lang.ClassNotFoundException:org.apache.hadoop.tools.DistCp2java.lang.NoClassDefFound
jueshengtianya·2014-05-10 20:00

hadoop distcp（分布式复制）命令

distcp（分布式复制）的有用程序，能从hadoop的文件系统并行复制大量数据,distcp一般用于在两个HDFS集群中传输数据.distcp命令支持如下命令行参数:当前只支持短参数，不支持长参数。
ejtooo·2014-04-13 08:59

hadoop1.0向hadoop2.0 distcp数据

报错：java.io.IOException:Check-summismatchbetweenhftp://zw-tvhadoop-master:50070/user/hive/warehouse/pvlog_depth_rcfile/dt=20140306/_logs/history/job_201401231451_357062_1394133462287_tvhadoop_mapred-ex
小胖头鱼·2014-03-07 11:46

使用HDFS和HBASE导出导入功能进行数据迁移

跨集群复制数据 hadoopdistcphdfs://ubuntu:9000/user/roothdfs://hadoop-master:9000/user/root注意：机器名后面的9000端口不可省略，因为distcp
gong_xucheng·2014-01-03 14:00

Hbase 备份的方式

（2）Distcp  (3)restore2.在线备份-replication3.在线北大-CopyTable4.在线备份-Export
yueyedeai·2013-12-29 04:00

hadoop集群直接数据拷贝

思路： 基于org.apache.hadoop.tools.DistCp，hadoop的命令行distcp就是才操作的封装 实现： 版本相同的做法： hadoop distcp ${fs.default.name1
小网客·2013-11-18 17:00

hadoop集群直接数据拷贝

思路： 基于org.apache.hadoop.tools.DistCp，hadoop的命令行distcp就是才操作的封装 实现： 版本相同的做法： hadoop distcp ${fs.default.name1
小网客·2013-11-18 17:00

Hadoop源码包结构<转>

PackageDependencestool提供一些命令行工具，如DistCp，archivemapreduceHadoop的Map/Reduce实现filecache提供HDFS文件的本地缓存，用于加快
yongjian_luo·2013-11-18 14:00

【hadoop】Hadoop学习笔记（七）：使用distcp并行拷贝大数据文件

以前我们介绍的访问HDFS的方法都是单线程的，Hadoop中有一个工具可以让我们并行的拷贝大量数据文件，这个工具就是distcp。
zsch591488385·2013-11-05 10:00

测试工具——Distcp工具深入分析

测试工具——Distcp工具深入分析引言DistCp命令是hadoop用户最常使用的命令之一，它位于hadooptools包中，代码不多，约1300多行，主要用于在两个HDFS集群之间快速拷贝数据。
qileilove·2013-11-04 13:00

HBase数据备份恢复的几种机制总结

2、 distcp，表数据文件的copy./hadoopdistcp hdfs://wxlab58:9100/hbase/lsmp_
yangbutao·2013-10-21 17:00

HBase snapshot分析

HBase以往数据的备份基于distcp或者copyTable等工具，这些备份机制或多或少对当前的online数据读写存在一定的影响，Snapshot提供了一种快速的数据备份方式，无需进行数据copy。
yangbutao·2013-10-21 15:00

Hadoop中一个distcp

hadoop中有一个叫做distcp（分布式复制）的有用程序，能从hadoop的文件系统并行复制大量数据。distcp一般用于在两个HDFS集群中传输数据。
xiyf2046·2013-10-10 14:00

cdh3集群 distcp 数据到 cdh4集群

  从cdh3集群 distcp 数据到 cdh4集群上面详见： http://cloudera.com/content/cloudera-content/cloudera-docs
bupt04406·2013-09-26 21:00

hadoop集群工具distcp使用笔记

1.环境描述两个集群：rock和stonerock无kerberos权限认证，stone有要求认证。1.从rock复制到stone，采用hdfshadoopdistcp-ihdfs://rock-nn:8020/user/cxz/inputhdfs://stone-nn:8020/user/cxz/运行在rock端，即源端问题：报版本不对的问题（的确该如此）2.从rock复制到stone，采用hf
cxz_hijacker·2013-09-17 19:48

hadoop经典系列(二)hadoop常用命令初步

distcp 并行复制 相同版本的hadoop集群 hadoop distcp hdfs//namenode1/foo hdfs//namenode2/bar 不同版本的hadoop集群(hdfs
85977328·2013-09-06 15:00

hadoop经典系列(二)hadoop常用命令初步

distcp 并行复制 相同版本的hadoop集群 hadoop distcp hdfs//namenode1/foo hdfs//namenode2/bar 不同版本的hadoop集群(hdfs
85977328·2013-09-06 15:00

hadoop经典系列(二)hadoop常用命令初步

distcp 并行复制 相同版本的hadoop集群 hadoop distcp hdfs//namenode1/foo hdfs//namenode2/bar 不同版本的hadoop集群(hdfs
85977328·2013-09-06 15:00

Hadoop的DistCp异常处理

CDH4中使用distcp，目前还木有成功，把异常信息记录下1)ConnectionRefused解决：http://wiki.apache.org/hadoop/ConnectionRefused2)
eagle0912·2013-08-21 22:45

Hadoop的DistCp异常处理

阅读更多CDH4中使用distcp，目前还木有成功，把异常信息记录下1)ConnectionRefused解决：http://wiki.apache.org/hadoop/ConnectionRefused2
XMaster·2013-08-21 22:00

Hadoop的DistCp异常处理

CDH4中使用distcp，目前还木有成功，把异常信息记录下 1) Connection Refused         解决
XMaster·2013-08-21 22:00

Hadoop的DistCp

阅读更多详细参见：http://hadoop.apache.org/docs/r0.19.0/distcp.html#cpverDistCp（分布式复制）是一种hadoop提供的工具，用于大集群间大量数据复制
XMaster·2013-08-21 22:00

Hadoop的DistCp

详细参见：http://hadoop.apache.org/docs/r0.19.0/distcp.html#cpver DistCp（分布式复制）是一种hadoop提供的工具，用于大集群间大量数据复制
XMaster·2013-08-21 22:00

hadoop深入研究:(四)——distcp

我们前几篇文章讲的都是单线程的操作，如果要并行拷贝很多文件，hadoop提供了一个小工具distcp，最常见的用法就是在两个hadoop集群间拷贝文件，帮助文档很详尽，这里就不一一解释了，开发环境没有两个集群
zfpp25_·2013-07-07 10:00

hadoop深入研究:(四)——distcp

http://blog.csdn.net/lastsweetop/article/details/9086695我们前几篇文章讲的都是单线程的操作，如果要并行拷贝很多文件，hadoop提供了一个小工具distcp
lastsweetop·2013-06-18 17:00

自开发跨HDFS版本的拷贝工具

        虽然HDFS提供了distcp的远程拷贝工具，在同版本之间拷贝很方便，功能也很强大。但是，在跨版本、跨 运维机制时，它就不可用了。
guiyu0856·2013-05-15 11:00

hadoop包简介-HDFS的概念

Hadoop的package的介绍：PackageDependencestool提供一些命令行工具，如DistCp，archivemapreduceHadoop的Map/Reduce实现filecache
cookqq·2013-04-15 09:00

Hadoop源代码分析（二）

PackageDependencestool提供一些命令行工具，如DistCp，archivemapreduceHadoop的Map/Reduce实现filecache提供HDFS文件的本地缓存，用于加快
·2013-03-31 21:00

Hadoop distcp拷贝

对于小量数据，可以使用"hadoopfs-cp"来完成；对于大量数据，可以借助Distcp 来完成。Distcp介绍Distcp是Hadoop自带的分布式拷贝工具。
flyingpig4·2013-02-20 11:00

Hadoop-2.0命令手册

distcp.5.     bin/hdfsshell. 1.      FSShell1.1    简介调用文件系统(FS)Shell命令应使用bin/hadoopfs的形式。
悟性·2013-01-17 10:00

Hadoop中的distcp

Hadoop中的distcp  hadoop中有一个叫做distcp（分布式复制）的有用程序，能从hadoop的文件系统并行复制大量数据。distcp一般用于在两个HDFS集群中传输数据。
czw698·2013-01-10 12:00

hadoop 0.20.203 数据迁移至 cdh3u3

/hadoop distcp hftp://server1:50070/hb
chenchao051·2012-08-29 08:00

hadoop 2.0.1 使用distcp问题解决

然后用distcp从1.0.3的集群拷数据到2.0.1的集群中。 首先是由于版本不同，不能用hdfs协议直接考，需要用http协议。
Taoo·2012-08-26 12:00

hadoop distcp

hadoop distcp 使用:distcp  src dst 1.要求两个集群有相同的用户名，且此用户的密码也相同 2.配置/etc/hosts，使两个集群的每个结点都包含所有其它机器的主机名到
黎明lm·2012-07-31 10:00

hadoop distcp

阅读更多hadoopdistcp使用:distcpsrcdst1.要求两个集群有相同的用户名，且此用户的密码也相同2.配置/etc/hosts，使两个集群的每个结点都包含所有其它机器的主机名到ip的对应信息3.如果两个集群用户不一样，则可以在一个集群上新建用户，与创建第一个hadoop用户一样：(1)创建用户举例：groupaddhadoopuseradd-ghdoophadooppasswdha
黎明lm·2012-07-31 10:00

Hadoop集群间distcp方案探讨

这些不同的集群，他们的Hadoop版本可能不同，不同机房的acl也可能不通，给我们的distcp带来了很多困难。
jingling_zy·2012-05-10 19:00

hadoop命令distcp注意事项

地址：http://blog.csdn.net/azhao_dn/article/details/7054286#hadoop distcp命令用于在两个不同的集群间拷贝数据，它的优点在于将数据拷贝操作作为
jingling_zy·2012-05-10 11:00

hadoop 通过distcp进行并行复制

通过distcp进行并行复制 前面的HDFS访问模型都集中于单线程的访问。例如通过指定文件通配，我们可以对一部分文件进行处理，但是为了高效，对这些文件的并行处理需要新写一个程序。
黎明lm·2012-05-02 15:00

hadoop 通过distcp进行并行复制

阅读更多通过distcp进行并行复制前面的HDFS访问模型都集中于单线程的访问。例如通过指定文件通配，我们可以对一部分文件进行处理，但是为了高效，对这些文件的并行处理需要新写一个程序。
黎明lm·2012-05-02 15:00

distcp使用纪要

distcp主要用于在hadoop集群之间拷贝数据。
zhaokunwu·2012-04-23 15:00

hadoop命令distcp注意事项

   hadoop distcp命令用于在两个不同的集群间拷贝数据，它的优点在于将数据拷贝操作作为mapred程序来执行，这样就大大提高了拷贝的速度，使用distcp命令时必须注意以下事项：  1）数据源集群的所有节点必须知道目标集群所有节点
azhao_dn·2011-12-08 17:00

HDFS集群的平衡

1.选用默认的每个节点20个map来运行distcp来进行数据复制，可以避免不均衡的情况。总之让map的数量多于集群中节点的数量。
ydd326·2011-10-25 09:00

HDFS集群的平衡

选用默认的每个节点20个map来运行distcp来进行数据复制，可以避免不均衡的情况。总之让map的数量多于集群中节点的数量。 2.
iwebcode·2011-10-25 09:00

hadoop官方中文文档

r0.19.2/cn/index.html 文档 概述 快速入门 集群搭建 HDFS构架设计 HDFS使用指南 HDFS权限指南 HDFS配额管理指南 命令手册 FS Shell使用指南 DistCp
java-007·2011-08-02 10:00

hadoop官方中文文档

r0.19.2/cn/index.html 文档 概述 快速入门 集群搭建 HDFS构架设计 HDFS使用指南 HDFS权限指南 HDFS配额管理指南 命令手册 FS Shell使用指南 DistCp
java-007·2011-08-02 10:00

Hadoop distcp命令

DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。
xqy1522·2010-12-16 13:00

hadoop 0.13 api 翻译

hadoop0.13api翻译PackageDependencestool提供一些命令行工具，如DistCp，archivemapreduceHadoop的Map/Reduce实现filecache提供
shupan001·2010-07-16 23:00

hadoop文件复制命令

     hadoop内置的distcp命令，采用map-reduce的方式对文件进行复制，对于大数据文件夹的复制，特别是文件夹的嵌套式很有效的。 不需要我们手工指定底层文件夹，即可完成复制。
fuyangchang·2010-02-08 16:00

hadoop 0.13 api 翻译

Package Dependences tool 提供一些命令行工具，如DistCp，archive mapreduce Hadoop的Map/Reduce实现 filecache
yanhui1984·2009-03-25 03:00
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他