haoop

Hbase-0.98.x-haoop2 ImportTsv与completebulkload 工具如何使用

前段时间，自己在实验室琢磨hbase，实验室有5台机器，并且都已经部署好了hadoop2.2.0集群，然后在其中的3台上面装好了zookeeper3.4.6与hbase-0.98.9-hadoop2后，使用bin/hbaseorg.apache.hadoop.hbase.mapreduce.ImportTsv-Dimporttsv.separator=","-Dimporttsv.columns=
dingji_ping·2015-03-27 08:00

haoop shell命令

cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm rmr setrep stat tail test text
eksliang·2015-03-19 09:00

haoop shell命令

cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm rmr setrep stat tail test text
eksliang·2015-03-19 09:00

HIVE和HBASE区别

HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。
weixin_33812433·2015-02-04 22:00

HIVE和HBASE区别

虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。  &n
·2015-02-04 22:00

haoop格式化做的工作

地址：http://blog.csdn.net/yaoyaoxingkong/article/details/38087975
破苍小龙·2015-01-23 00:00

继上文搭建hadoop-2.6.0三台节点部署

Ssh互信建立完成以后，接下来咱们开始搭建hadoop从ApacheDownloadMirrors下载haoop-2.6.0.从JavaSE-Downloads|OracleTechnologyNetwork
auralman·2015-01-19 15:58

继上文搭建hadoop-2.6.0三台节点部署

Ssh互信建立完成以后，接下来咱们开始搭建hadoop从ApacheDownloadMirrors下载haoop-2.6.0.从JavaSE-Downloads|OracleTechnologyNetwork
auralman·2015-01-19 15:58

Hadoop集群安装

1.Haoop简介   Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。
yujianglei·2014-10-29 17:43

eclipse hadoop开发环境配置

具体的操作如下：一、在eclipse下安装开发hadoop程序的插件安装这个插件很简单，haoop-0.20.2自带一个eclipse的插件，在hadoop目录下的contrib\eclipse-plugin
tao975·2014-07-19 09:36

CentOS6.5编译部署64位Hadoop2.2.0

1 root用户，建立haoop用户 useradd -g root hadoop 2 编译hadoop（64位hadoop需要自己编译） 2.1 下载jdk、maven、hadoop-src
zhouwenjian·2014-07-07 22:00

Spark操作hbase

一、环境：Haoop2.2.0Hbase版本0.96.2-hadoop2,r1581096Spark1.0.0
u014388509·2014-07-01 01:00

hadoop 基本命令

配置haoop全路径：gedit.profileexportPATH=/home/hadoop/hadoop/bin:$PATH自定义命令gedit.bashrcaliasfs='hadoopfs'
botaorain·2014-05-24 08:01

storm单机版和集群版安装配置过程

整个一反Haoop的Java+XML+HTML这些传统技术。安装Storm之前要先安装下面几个软件。一、准备工作1、安装zeromq。
hewei0241·2014-04-13 17:00

haoop执行reduce后合并结果文件

/***@paramargs*@throwsException*/publicstaticvoidmain(String[]args)throwsException{intret=ToolRunner.run(newPatent(),args);doMerge(newPath("/output/patents"),newPath("/output/result/patents/result.txt
ejtooo·2014-04-11 11:52

一起研究haoop（二）：Java代码操作HDFS

在此就不详细介绍HDFS是啥东西了，你只要问问google大神或度娘就一清二楚了。 在此我主要用java代码实现对HDFS的增、删、查操作。   由于本工程是用Maven管理的，则pom文件如下： <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w
芝加哥09·2014-03-26 23:00

Informatica 9.5.1实验记录

/etc/haoop-0.20/conf，所有hadoop配置文件，core-site中配置存储路径，core-site中dfs.replication设置备份份数，hadoop的ip和端口号（如infabde
snakezhao·2014-02-28 17:20

hadoop2.0 HDFS搭建和HA切换

1、hadoop配置文件及目录     hadoop2.0版本配置文件放在$HAOOP_HOME/etc/hadoop/下,命令行工具在$HADOOP_HO
kirayuan·2013-12-17 16:00

利用yum升级cdh hbase0.90至0.94（即chd3-》cdh4）

一.集群布局haoop06        thriftserver、hbasemaster、zookeeperserverhadoop01~04   thriftserver、hbaseregionserver
lxf310·2013-12-13 16:00

Haoop tricks（自用）

配置core-site.xml fs.default.name hdfs://192.168.0.1:9000 Thenameofthedefaultfilesystem.Eitherthe literalstring"local"orahost:portforNDFS. hadoop.tmp.dir /home/dbkehadoop/hadoop_tmp_dir df
li385805776·2013-11-12 10:00

haoop rpc服务端读取数据包源码解析注释

RPC包格式：这图是从别人那拿过来的留着自己看，主要是对如下这段代码的理解有帮助：/** *请求报文:4字节hrpc+1字节Current_version+1字节authMethod *4字节Header_len+connection_header *4字节Data_len+call.id+writable * *connection_header长度不定call.id+writable长度不等
fupacker·2013-10-13 15:00

专访童小军：Hadoop是未来大数据的标准

Haoop中国
灵玖lingjoin·2013-09-17 14:00

hadoop运行jar文件

Hadoop运行jar   1.打包 使用eclipse进行打包，注意：打包过程中只需要src文件夹，其余都不要，也不要进行任何的设置（如主类） 2.拷贝 将打好的jar包拷贝至haoop
sunasheng·2013-09-09 11:00

haoop map tip

1，Caused by: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=EXECUTE, inode="/user/root":root:supergroup:-rw-rw
fireinwind·2013-09-04 12:00

haoop中mapreduce引用第三方jar包

编写hadoop的mapreduce程序时候，提交任务后居然爆出ClassNotFoundException，麻辣隔壁的，网上搜了很久终于解决了两种方法1.在每个handoop集群上的HADOOP安装文件夹lib下添加第三方jar包，需要重启集群 2.在任务提交的时候把所需要的jar包打到任务提交的jar包中 jar包添加的位置在与编译的class文件同级的lib目录下（必须是lib文件夹，位置必
Chrro·2013-09-03 18:00

hadoop集群搭建-Linux(Haoop cluster on Linux)

1.hadoop简介hadoop是当今流行的分布式并行计算框架和大数据解决方案，利用基于商品硬件的计算机集群，具有容错性好和伸缩性强的特点。造价低廉，技术通用开放，维护和管理方便。特别适合超大数据的处理，对于TB和PB级的数据都可以应付（当然需要往集群中加入更多的机器，上百、上千或者上万台机器的hadoop集群都屡见不鲜）。与其他并行计算不同的一个鲜明特点是其计算理念：代码向数据处移动，而不是数据
tonyhuang_google_com·2013-08-26 14:00

Haoop IPC与Java Proxy机制

关于Hadoop IPC机制的描述，网上已有丰富的资料可供参考，比如：http://blog.csdn.net/zhanglizhe_cool/article/details/5712456，但大都围绕Hadoop中Server、Client的通信方式进行说明。这篇文章，以Hadoop IPC中对Java Proxy机制的使用作为主题，描述其基本工作原理和实现方法。 Java Proxy Ja
lt200819·2013-06-18 17:00

haoop 错误记录

源代码：importjava.io.IOException;importjava.util.*;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.conf.*;importorg.apache.hadoop.io.*;importorg.apache.hadoop.mapred.*;//importorg.apache.hadoop.m
myself_helper·2013-04-27 16:00

linux上单机haoop配置笔记

先说一下我的环境Win7Visualbox4.2.10ubuntu-12.04.2-desktop-i386.isohadoop0.20.2jdk1.6.10我的配置文件Hosts10.13.19.55masterProfileexportHADOOP_HOME=/usr/local/hadoop exportJAVA_HOME=/usr/local/java exportCLASSPATH=
bingyingao·2013-04-02 20:00

linux上单机haoop配置笔记

阅读更多先说一下我的环境Win7Visualbox4.2.10ubuntu-12.04.2-desktop-i386.isohadoop0.20.2jdk1.6.10我的配置文件Hosts10.13.19.55masterProfileexportHADOOP_HOME=/usr/local/hadoopexportJAVA_HOME=/usr/local/javaexportCLASSPATH=
bingyingao·2013-04-02 20:00

linux上单机haoop配置笔记

阅读更多先说一下我的环境Win7Visualbox4.2.10ubuntu-12.04.2-desktop-i386.isohadoop0.20.2jdk1.6.10我的配置文件Hosts10.13.19.55masterProfileexportHADOOP_HOME=/usr/local/hadoopexportJAVA_HOME=/usr/local/javaexportCLASSPATH=
bingyingao·2013-04-02 20:00

Eclipse下hadoop开发调试环境配置笔记

我的环境：Win7Eclipse3.7Hadoop0.20.2Jdk1.6.10在eclipse下安装开发hadoop程序的插件安装这个插件很简单，haoop-0.20.2自带一个eclipse的插件，
bingyingao·2013-04-02 20:00

在eclipse下安装开发hadoop程序的插件

具体的操作如下：一、在eclipse下安装开发hadoop程序的插件安装这个插件很简单，haoop-0.20.2自带一个eclipse的插件，在hadoop目录下的contrib\eclipse-plugin
stefshawn·2012-12-05 17:00

大数据中的SMAQ技术

围绕Google关于这方面的工作和Yahoo的Haoop中对MapReduce的实现，兴起了一个海量数据处理工具的生态系统。随着Map
可观·2012-10-31 13:00

hadoop伪分布模式下的编程步骤

haoop工作在伪分布模式下，以MaxTemperature.java为例：1.javac-classpath /home/tom/hadoop/hadoop-core-1.0.3.jar -dmaxtemperature_classes
zjml2412·2012-08-28 18:00

hadoop运行eclipse生成jar

runonhadoop后，会在eclipse对应的workspace\.metadata\.plugins\org.apache.hadoop.eclipse下，自动生成jar文件，以及其他文件，包括Haoop
zhdjbabygo·2012-08-08 16:00

初识haoop？

最近的一段时间经常听同事提到这个HADOOP应该是个大的趋势，现在需要了解，以后需要熟悉，在后来就要精通了。 先简单的认识一下吧：）Hadoop 由 Apache Software Foundation 公司于 2005 年秋天作为 Lucene 的子项目 Nutch 的一部分正式引入。它受到最先由 Google Lab 开发的 MapReduce 和 Google File System 的启发
andylhz·2012-06-12 00:43

haoop在ubuntu的环境配置

最近研究数据密集型计算相关领域知识，做相关实验时用到MapReduce编程模型，Hadoop是基于MapReduce较成熟的分布式程序架构。本文介绍相关Hadoop环境在linux下搭建的方法。准备：10台装有ylmfos的机器，相互之间局域网互联，相同的用户名开始：从上述10台机器中，选择一台主机（作为主节点，后面用到），接下来大部分的设置以及其它九台机器的设置在此机器上完成。1.首先安装jdk
泰山鑫·2012-05-24 15:50

Hadoop MapReduce程序中解决第三方jar包问题--终极解决方案

二、解决方案随手一搜网上倒是不少解决方案，我选择两个典型方案，其它方案自行查找：(1)将依赖的第三方jar放在集群中每个节点$HADOOP_HOME/lib目录下或者JDK的ext目录下，其中$HAOOP_HOME
lazythinker·2012-02-09 11:12

haoop序列化 Writable接口与WriteCompareable接口

publicinterfaceWritableComparableextendsWritable,Comparable{ }    Hadoop并没有使用JAVA的序列化，而是引入了自己实的序列化系统，packageorg.apache.hadoop.io这个包中定义了大量的可序列化对象，这些对象都实现了Writable接口，Writable接口是序列化对象的一个通用接口.我们来看下Writabl
tuzibuluo·2012-02-08 12:00

eclipse hadoop开发环境配置

具体的操作如下：一、在eclipse下安装开发hadoop程序的插件安装这个插件很简单，haoop-0.20.2自带一个eclipse的插件，在hadoop目录下的contrib\eclipse-plugin
cybercode·2011-12-19 16:45

eclipse hadoop开发环境配置

具体的操作如下：一、在eclipse下安装开发hadoop程序的插件安装这个插件很简单，haoop-0.20.2自带一个eclipse的插件，在hadoop目录下的contrib\eclipse-plugin
cybercode·2011-12-19 16:00

hadoop 中MapReduce因为文件打开文件数目超过linux限制报错

haoop中mapreduce报错java.io.IOException:Alldatanodesxxx.xxx.xxx.xxx:xxxarebad.Aborting…atorg.apache.hadoop.dfs.DFSClient
kirayuan·2011-01-07 15:00
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他