Hadoop-自学日记

Hadoop-源码解析-01-annotation

InterfaceAudience 类包含三个注解类型，用来被说明被他们注解的类型的潜在的使用范围（audience）。         @InterfaceAudience.Public： 对所有工程和应用可用      &nb
arenzhj·2015-03-11 14:00

Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别

最近在看关于实战Hadoop-开启通向云计算的捷径，对于Hive, HBase,以及Pig的关系，以及具体在Hadoop上面的用途。
u012965373·2015-01-15 15:00

hadoop面试题整理

3)配置hosts文件，方便hadoop通过主机名访问（/etc/hosts）4)设置ssh免密码登录5)解压缩hadoop安装包，并配置环境变量6)修改配置文件（$HADOOP_HOME/conf）hadoop
fhuadminss1·2015-01-07 20:00

自学日记插曲：Linux的学习（day1）

自学日记小插曲：linux的初步学习一、基本操作命令1、命令格式：命令选项参数Ls-|/etc/passwd2、常用命令作用命令命令举例--查看文件内容catcat/etc/passwd--统计文件内容
犀利哗啦760596103·2015-01-03 22:23

windows编译hadoop 2.x Hadoop-eclipse-plugin插件

接下来我们开始编译Hadoop-
congcong68·2014-12-23 08:00

Hadoop Streaming编程总结

脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer）$HADOOP_HOME/bin/hadoop jar$HADOOP_HOME/contrib/streaming/hadoop
iloveyin·2014-12-19 18:00

Hadoop MapReduce进阶 使用DataJoin包实现Join

它的Jar包存在于contrib/datajoin/hadoop-*-datajoin。为区别于其他的datajoin技术，我们称其为reduce-sidejoin。
czp11210·2014-12-09 20:00

spring之spring data jpa(入门一)

map-reduce框架和云计算数据服务.springdata包含多个字项目:Commons-提供共享的基础框架，适合各个子项目使用，支持跨数据库持久化JPA-简化创建JPA数据访问层和跨存储的持久层功能Hadoop
H.Z·2014-12-03 14:00

core-site.xml配置项

namevaluedescriptionhadoop.common.configuration.version0.23.0versionofthisconfigurationfilehadoop.tmp.dir/tmp/hadoop
哭你吃完·2014-11-14 09:00

Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建

OS: CentOS 6.4 x86_64Servers:hadoop-master: 172.17.20.230 内存10G- namenode hadoop- secondarynamenode:
fireinwind·2014-10-12 19:00

Hadoop-2.5.1 编译安装步骤

环境：  系统  CentOS 6.3 64 位  * 2  Master           10.10.55.112 Slave1           10.10.55.133 软件：  Hadoop
liubao0312·2014-09-24 12:21

第10章-管理Hadoop-笔记

均衡器均衡器程序是一个hadoop守护进程，它将块从忙碌的datanode移到相对空闲的datanode，从而重新分配块。1、HDFS不会自动将块从旧的datanode移到新的datanode以平衡集群。用户需要自动运行均衡器。2、均衡器在标准日志目录中创建一个日志文件，记录每次重新分配过程（每次一行）。3、dfs.balance.bandwidthPerSec属性在hdfs-site.xml中的
hiqj·2014-09-18 22:00

hadoop-处理小文件

一个Hadoop程序的优化过程 – 根据文件实际大小实现CombineFileInputFormat http://www.rigongyizu.com/hadoop-job-optimize-combinefileinputformat/ mapreduce job让一个文件只由一个map来处理 http://www.rigongyizu.com/mapreduce-job-one-map-
·2014-09-15 14:00

ubuntu下hadoop 2.3.0配置

解压二修改配置文件，配置文件都在${hadoop-2.3.0}/etc/hadoop路径下1、core-site.xml hadoop.tmp.dir/usr/local/hadoop-2.3.0/tmp/hadoop
yonghutwo·2014-08-14 02:00

hadoop2 hive0.13.0 hbase 0.98.2版本集成错误总结

配置文件中没有添加从节点3.所有节点的host链表不统一或有错位4.因为多次formate namenode造成namenode和datanode的clusterID不一致解决方案: 删除所有节点/home/hadoop/hadoop
manburen01·2014-08-13 13:00

编译hadoop 中eclipse-plugin的jar包

教材中说，在hadoop安装包contrib/目录下有一个插件hadoop-*-eclipse-plugin.jar，后面还有一些后
tonghu2010·2014-07-25 13:00

Hadoop1.2.1集群安装三

ls hadoop-1.2.1.tar.gz [jifeng@jifeng01hadoop]$tarzxfhadoop-1.2.1.tar.gz [jifeng@jifeng01hadoop]$ls hadoop
wind520·2014-07-24 10:00

hadoop1.2.1的core-default.xml文件

hadoop1.2.1的core-default.xml文件 hadoop.tmp.dir /tmp/hadoop-${user.name} 临时目录设定。
cankykong1·2014-07-21 02:00

Hadoop-2.4.1学习之以伪分布模式部署Hadoop

下面展示了Hadoop-
sky_walker85·2014-07-17 14:00

hadoop-常见问题集合

1.hadoop3:mkdir:cannotcreatedirectory`/usr/local/hadoop/bin/../logs':Permissiondenied把所有Datanode节点执行下面命令[hadoop@hadoop3local]$chown-R hadoop:hadoop hadoop-0.20.2/2.2012-08-0510:52:11,807ERRORorg.apach
walkerJong·2014-07-10 17:00

Spring Data JPA

SpringData包含多个子项目：Commons-提供共享的基础框架，适合各个子项目使用，支持跨数据库持久化JPA-简化创建JPA数据访问层和跨存储的持久层功能Hadoop-基于Spring的Hadoop
cbjcry·2014-06-24 17:24

Spring Data JPA

SpringData包含多个子项目：Commons-提供共享的基础框架，适合各个子项目使用，支持跨数据库持久化JPA-简化创建JPA数据访问层和跨存储的持久层功能Hadoop-基于Spring的Hadoop
uule·2014-06-24 17:00

Spring Data JPA

SpringData包含多个子项目：Commons-提供共享的基础框架，适合各个子项目使用，支持跨数据库持久化JPA-简化创建JPA数据访问层和跨存储的持久层功能Hadoop-基于Spring的Hadoop
uule·2014-06-24 17:00

Spring Data JPA入门

SpringData包含多个子项目：Commons-提供共享的基础框架，适合各个子项目使用，支持跨数据库持久化JPA-简化创建JPA数据访问层和跨存储的持久层功能Hadoop-基于Spring的Hadoop
z69183787·2014-06-12 17:00

hadoop-集群管理（1）——配置文件

  1. 配置文件列表如下： [tianyc@Route conf]$ pwd/home/tianyc/hadoop-1.0.4/conf[tianyc@Route conf]$ ll总用量 76-rw-rw-r--. 1 tianyc NEU 7457 3月 6 10:38 capacity-scheduler.xml-rw-rw-r--. 1 tianyc NEU 535
myhadoop·2014-06-12 11:00

hadoop-集群管理（1）——配置文件

阅读更多1.配置文件列表如下：[tianyc@Routeconf]$pwd/home/tianyc/hadoop-1.0.4/conf[tianyc@Routeconf]$ll总用量76-rw-rw-r--.1tianycNEU74573月610:38capacity-scheduler.xml-rw-rw-r--.1tianycNEU5353月610:38configuration.xsl-rw
myhadoop·2014-06-12 11:00

hadoop-集群管理（2）——内存设置

阅读更多1.内存hadoop为各个守护进程（namenode,secondarynamenode,jobtracker,datanode,tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。大部分情况下，这个统一设置的值可能并不适合。例如对于namenode节点，1000M的内存只能存储几百万个文件的数据块的引用。如果我
myhadoop·2014-06-12 11:00

hadoop-集群管理（2）——内存设置

  1. 内存 hadoop为各个守护进程（namenode,secondarynamenode,jobtracker,datanode,tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。 大部分情况下，这个统一设置的值可能并不适合。例如对于namenode节点，1000M的内存只能存储几百万个文
myhadoop·2014-06-12 11:00

Hadoop-伪分布环境搭建

宿主机(windows)与客户机(安装在虚拟机中的linux)网络连接host-only  宿主机与客户机单独组网好处：网络隔离坏处：虚拟机与其他服务器之间不能通信bridge    客户机与宿主机在同一个局域网中好处：都在同一个局域网，可以互相访问坏处：不安全hadoop的伪分布安装步骤  【使用root用户登陆】设置静态ip在centos桌面上右上角图标右键修改。重启网卡，执行命令servic
mjhuang·2014-06-03 13:00

core-site.xml配置项

namevaluedescriptionhadoop.common.configuration.version0.23.0versionofthisconfigurationfilehadoop.tmp.dir/tmp/hadoop
book_mmicky·2014-05-13 15:00

Hadoop学习之MapReduce(四)

首先看两个参数，分别为在core-default.xml中定义的hadoop.tmp.dir，其默认值为/tmp/hadoop-${user.name}，另一个为定义在mapred-default.xml
wenyusuran·2014-05-07 17:00

Hadoop学习之MapReduce(四)

首先看两个参数，分别为在core-default.xml中定义的hadoop.tmp.dir，其默认值为/tmp/hadoop-${user.name}，另一个为定义在mapred-default.xml
sky_walker85·2014-03-23 14:00

Oracle自学日记(3)

1.AUTOINCREMENTAUTOINCREMENT会在新纪录插入表中时声称一个唯一的数字，通常是希望在插入新纪录时，自动创建主键字段的值。方法为：oracle必须通过sequence对创建auto-increment(该对象声称熟悉序列)。首先createsequence:create sequence sqe_name   --命名 minvalue 1          --最小值   
SnO_opy·2014-03-07 09:00

Hadoop实战-初级部分 之 Hadoop安装部署

私塾在线《深入浅出学 Hadoop- 初级 部分》  ―― 系列精品教程整体课程概览第一部分：开始云计算之旅第二部分：初识Hadoop第三部分：Hadoop环境安装部署第四部分：HadoopShell基本操作介绍第五部分
heuydjhg·2014-01-13 14:06

hadoop-分布式安装及报错分析

hadoop-分布式安装及报错分析 1.本人在虚拟机中安装了三台centos，做了一个全分布式的hadoop集群，在网上有很多文章，大多都是一样，如果出错了，也不知道去哪里查，在此我也是试了好几天才试出来
li269015·2014-01-08 16:00

hadoop-分布式安装及报错分析

阅读更多hadoop-分布式安装及报错分析1.本人在虚拟机中安装了三台centos，做了一个全分布式的hadoop集群，在网上有很多文章，大多都是一样，如果出错了，也不知道去哪里查，在此我也是试了好几天才试出来
li269015·2014-01-08 16:00

hadoop-双色球-统计

1/使用hadoop把双色球相邻的红球进行统计:测试数据在:http://pan.baidu.com/s/1hq82YrUimportjava.io.IOException; importjava.text.DateFormat; importjava.text.SimpleDateFormat; importjava.util.ArrayList; importjava.util.Date; i
cookqq·2014-01-03 13:00

深入浅出学Spring Data JPA

SpringData包含多个子项目：Commons-提供共享的基础框架，适合各个子项目使用，支持跨数据库持久化JPA-简化创建JPA数据访问层和跨存储的持久层功能Hadoop-基于Spring的Hadoop
a137268431·2013-12-17 12:00

深入浅出学Spring Data JPA

SpringData包含多个子项目：Commons-提供共享的基础框架，适合各个子项目使用，支持跨数据库持久化JPA-简化创建JPA数据访问层和跨存储的持久层功能Hadoop-基于Spring的Hadoop
a137268431·2013-12-17 12:00

深入浅出学Spring Data JPA

SpringData包含多个子项目：Commons-提供共享的基础框架，适合各个子项目使用，支持跨数据库持久化JPA-简化创建JPA数据访问层和跨存储的持久层功能Hadoop-基于Spring的Hadoop
LzwGlory·2013-12-17 12:00

Hadoop实战-初级部分 之 HDFS API

私塾在线《深入浅出学Hadoop-初级部分》――系列精品教程视频课程地址》》》http://sishuok.com/product/481整体课程概览第一部分：开始云计算之旅第二部分：初识Hadoop第三部分
Suunnny·2013-12-12 09:39

Hadoop实战-初级部分 之 开启云计算之旅

私塾在线《深入浅出学Hadoop-初级部分》——系列精品教程视频课程地址》》》http://sishuok.com/product/481整体课程概览第一部分：开始云计算之旅第二部分：初识Hadoop第三部分
旋风少年·2013-12-05 12:31

windows下hbase eclipse开发环境搭建

将HBase解压后根目录下的hbase-0.94.0.jar、hbase-0.94.0-tests.jar和lib子目录下所有jar 包添加到本工程的Classpath下以及hadoop解压根目录下的hadoop
即可偶·2013-12-02 19:00

Hadoop-数据库发送和接收相关实现-DataXceiver解析<转>

DataNode上数据块的接受/发送并没有采用我们前面介绍的RPC机制，原因很简单，RPC是一个命令式的接口，而DataNode处理数据部分，往往是一种流式机制。DataXceiverServer和DataXceiver就是这个机制的实现。其中，DataXceiver还依赖于两个辅助类：BlockSender和BlockReceiver。如下是类图 DataXceiverServerDataXce
yongjian_luo·2013-11-19 16:00

Hadoop-进程端通信org.apache.hadoop.ipc-server端解析<转>

1.      nio的reactor模式 具体的处理方式：·     1.一个线程来处理所有连接（使用一个Selector）·     2.一组线程来读取已经建立连接的数据（多个Selector，这里的线程数一般和cpu的核数相当）；·     3.一个线程池（这个线程池大小可以根据业务需求进行设置）·     4.一个线程处理所有的连接的数据的写操作（一个Selector） 2.      简
yongjian_luo·2013-11-19 15:00

自学java时的笔记（一）

java自学日记，2013年10月四号。马士兵java教学视频01_开班简介。人生两件宝双手和大脑（注意圣体腰椎颈椎手腕）。
addOnepiece·2013-11-10 20:45

windows下Eclipse安装hadoop1.1.2插件连接hadoop集群

我的hadoop集群用的版本：hadoop1.1.2    hadoop0.20以后的版本的安装目录下contrib/没有eclipse的hadoop-*-eclipse-plugin.jar插件，需要自己用
stefshawn·2013-10-16 15:00

org.apache.hadoop.security.AccessControlException 解决办法

org.apache.hadoop.security.AccessControlException:Permissiondenied:user=dbs,access=WRITE,inode="/opt/hadoop
lxpbs8851·2013-09-13 13:00

关于hive升级到0.11的版本问题2

file:/home/hadoop/jrockit-jdk1.6.0_29/lib/tools.jarfile:/home/hadoop/hadoop-1.0.3/file:/home/hadoop/hadoop
chenyi8888·2013-08-14 18:00

[原]关于hive升级到0.11的版本问题2

file:/home/hadoop/jrockit-jdk1.6.0_29/lib/tools.jarfile:/home/hadoop/hadoop-1.0.3/file:/home/hadoop/hadoop
chenyi8888·2013-08-14 10:00
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他