Hadoop2.3.0

hadoop源码中关于元数据“分段加锁+双缓冲方案”源码demo

Hadoop2.3.0*kafkaZookeeper**/publicclassFSEditLog{privatelongtxid=0L;privateDoubleBuffereditLogBuffer
weixin_44864919·2023-11-16 20:12

Hadoop 集中式的缓存管理demo

www.infoq.com/cn/articles/hdfs-centralized-cachehttps://blog.csdn.net/javastart/article/details/50586743从Hadoop2.3.0
orisonchan·2023-09-07 09:52

【大数据Hadoop】HDFS3.3.1-Namenode-缓存管理

缓存管理命令HDFS集中式缓存架构CacheManager类实现CacheReplicationMonitor前言Hadoop2.3.0版本新增了集中式缓存管理（CentralizedCacheManagement
笑起来贼好看·2023-04-18 05:24

HDFS架构师 2.2 - NameNode元数据双缓冲写入原理demo

Hadoop2.3.0*kafkaZookeeper**/publicclassFSEditLog{privatelongtx
fat32jin·2021-01-10 14:03

Hadoop 集中式的缓存管理demo

www.infoq.com/cn/articles/hdfs-centralized-cachehttps://blog.csdn.net/javastart/article/details/50586743从Hadoop2.3.0
orisonchan·2020-09-15 06:17

HDFS集中式的缓存管理原理与代码剖析

Hadoop2.3.0已经发布了，其中最大的亮点就是集中式的缓存管理(HDFScentralizedcachemanagement)。
qiruiduni·2020-09-11 02:58

hadoop学习--hbase0.96整合到hadoop2.3.0安装过程

问题导读1.hbase安装在什么情况下会发生，启动之后自动宕机2.hbase安装目录该如何选择？3.hbase目录如果出现权限不一致，会发生什么情况？4.如果只有一个节点有临时目录会出现什么情况？Hbase集群安装前注意1）Java：（hadoop已经安装了），2）Hadoop0.20.x/Hadoop-2.x已经正确安装（hadoop安装参考hadoop2完全分布式最新高可靠安装文档），并且可以
奋斗的鱼·2020-07-04 19:51

hadoop2.3.0单点伪分布与多点分布的配置

机器macbook，virtualbox4.3.6，virtualbox安装ubunt13.10，在多点分布环境中，配置好一个机器后，clone出另外2个，一共三台机器。1.ConfiguretheEnvironmentBash语言:sudoapt-getinstall-yopenjdk-7-jdkopenssh-serversudoaddgrouphadoopsudoadduser—ingrou
LaoLiulaoliu·2020-07-04 06:09

hadoop2.3.0 配置yarn-site.xml时需要注意的一个细节

在配置hadoop2.3.0集群时，在yarn-site.xml配置文件中需要显示指定resourcemanager的相关信息，否则即使各个节点上启动了nodemanager，也会因为找不到resourcemanager
jerry138133·2020-06-23 21:29

Hadoop2.3.0具体安装过程

前言：       Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；并且它提供高吞吐量（high throughput）来訪问应用程序的数据，适合那些有着超大数据集（large data set）的应用程
·2015-11-13 18:28

Eclipse中部署hadoop2.3.0

1 eclipse中hadoop环境部署概览      eclipse 中部署hadoop包括两大部分：hdfs环境部署和mapreduce任务执行环境部署。一般hdfs环境部署比较简单，部署后就 可以在eclipse中像操作windows目录一样操作hdfs文件。而mapreduce任务执行环境的部署就比较复杂一点，不同版本对环境的要求度 高低
·2015-11-06 07:07

安装CDH5 hadoop2.3.0 NodeManager 没有启动

 今天在安装hadoop后，启动start-yarn.sh后，nodemanager起不起来，后来查看DN节点的日志，报了以下一个错误： FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager java.lang.IllegalArgumentExceptio
·2015-10-21 12:23

编译安装spark

里面有很多版本，只要修改你本身的对应的版本，比如：jdk1.7，hadoop2.3.0，hbase0.98.1-hadoop2，hiv
cjun1990·2015-09-17 16:00

eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务

1 eclipse中hadoop环境部署概览    eclipse中部署hadoop包括两大部分：hdfs环境部署和mapreduce任务执行环境部署。一般hdfs环境部署比较简单，部署后就可以在eclipse中像操作windows目录一样操作hdfs文件。而mapreduce任务执行环境的部署就比较复杂一点，不同版本对环境的要求度高低不同就导致部署的复杂度大相径庭。例如hadoop1包括以前的版
Zero零_度·2015-09-06 14:00

eclipse连hadoop2.x运行wordcount

hadoop相关jar包 4.1.2新建java工程（需要手动导入hadoop相应jar包），具体如下图所示：            4.1.2.1新建java工程完成后，下面添加hadoop相应jar包，hadoop2.3.0
cjun1990·2015-07-07 11:00

Hadoop2.3.0上部署Mahout0.10，并测试单机版与分布式版个性化推荐程序

Hadoop2.3.0上部署Mahout0.10，并测试单机版与分布式版个性化推荐程序1 Eclipse中Hadoop2.3.0及Mahout0.10相关jar包部署     Hadoop2以上需要使用
闵开慧·2015-06-30 15:00

2015也过去一半了，Hadoop大事件盘点

2014年2月，Hadoop2.3.0发布，新特性包括支持HDFS的混合存储分级，可以集中管理HDFS内存里的缓存数据，通过HDFS中的YARN分布式缓存简化MapReduce分配及一些Bug修正。
真爱无敌86·2015-05-19 10:03

2015也过去一半了，Hadoop大事件盘点

2014年2月，Hadoop2.3.0发布，新特性包括支持HDFS的混合存储分级，可以集中管理HDFS内存里的缓存数据，通过HDFS中的YARN分布式缓存简化MapReduce分配及一些Bug修正。
dongzhumao86·2015-05-19 10:00

beeline 连接SPARK /Hive

hiveclient所在主机的jdk1.7_51，hive0.12和hadoop2.3.0是从服务器端拷贝过来的，环境变量一切OK.执行连接报了InvalidURL的错误：$beelineBeelineversion0.12.0byApacheHivebeeline
ximeng1234·2015-05-06 03:00

oozie on yarn oozie 4.0.1 hadoop2.3.0 安装笔记

java高级交流群：37341439，，如果文章看不懂的，可以加群问我哦~~一起学习。oozie需要编译哦~~编译下载的依赖有800多m呢，，所以得找台网络好点的机器去编译。。。1：下载地址：http://mirror.bit.edu.cn/apache/oozie/2：ext2.2.zip下载地址：http://oozie.apache.org/docs/4.0.1/DG_QuickStart.
myrainblues·2015-02-27 15:00

安装CDH5 hadoop2.3.0 NodeManager 没有启动

 今天在安装hadoop后，启动start-yarn.sh后，nodemanager起不起来，后来查看DN节点的日志，报了以下一个错误：FATALorg.apache.hadoop.yarn.server.nodemanager.NodeManager:ErrorstartingNodeManager java.lang.IllegalArgumentException:TheServiceNa
sandyfog·2015-01-21 11:00

yarn 集群部署，遇到的有关问题小结

 yarn集群部署，遇到的有关问题小结优良自学吧提供yarn集群部署，遇到的有关问题小结,yarn集群部署，遇到的问题小结版本信息：hadoop2.3.0 hive0.11.01.ApplicationMaster
fireinwind·2014-12-08 13:00

Eclipse中部署 YARN hadoop2.3.0

说明：hadoop生产环境为如下： yumlistinstalled|grephadoophadoop.x86_64     2.3.0+cdh5.1.3+824-1.cdh5.1.3.p0.13.el6hadoop-0.20-mapreduce.x86_64hadoop-client.x86_64  2.3.0+cdh5.1.3+824-1.cdh5.1.3.p0.13.el6hadoop-hd
ldds_520·2014-11-25 15:00

hadoop pig 版本不兼容问题

  在Hadoop2.3.0和pig0.12.0安装完后，运行过程中，hadoop和pig grunt均运行正常但是dump数据报下面的错误：ERROR 1066: Unable to open iterator
xuesong13·2014-11-06 11:00

eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务

1 eclipse中hadoop环境部署概览    eclipse中部署hadoop包括两大部分：hdfs环境部署和mapreduce任务执行环境部署。一般hdfs环境部署比较简单，部署后就可以在eclipse中像操作windows目录一样操作hdfs文件。而mapreduce任务执行环境的部署就比较复杂一点，不同版本对环境的要求度高低不同就导致部署的复杂度大相径庭。例如hadoop1包括以前的版
闵开慧·2014-11-03 11:00

spark cdh5编译安装[spark-1.0.2 hadoop2.3.0 cdh5.1.0]

前提你得安装有Hadoop我的版本hadoop2.3-cdh5.1.01、下载maven包2、配置M2_HOME环境变量，配置maven的bin目录到path路径3、exportMAVEN_OPTS="-Xmx2g-XX:MaxPermSize=512M-XX:ReservedCodeCacheSize=512m"4、到官方下载spark-1.0.2.gz压缩包、解压5、进入spark解压包目录6
在路上.......·2014-08-27 17:00

Hadoop2.3.0详细安装过程

前言：     Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访
mchdba·2014-08-26 09:00

Yarn Scheduler Load Simulator YARN调度负载模拟器

之后在hadoop2.3.0就增加了这个工具。    首先设定环境变量：     exportHADOOP_HOME=/usr/hadoop-2.3.0   exportYARN_C
r7raul·2014-08-01 16:06

Yarn Scheduler Load Simulator YARN调度负载模拟器

之后在hadoop2.3.0就增加了这个工具。首先设定环境变量：exportHADOOP_HOME=/usr/hadoop-2.3.0exportYARN_CONF_DIR=$HADOOP_
r7raul·2014-08-01 16:06

oryx 推荐系统的使用

通过一下代码安装其实安装oryx也要看相应的hadoop版本的，如果是hadoop2.3.0以前的版本的话，可以参照https://github.com/cloudera/
lanwenbing·2014-08-01 10:39

oryx 推荐系统的使用

通过一下代码安装 其实安装oryx也要看相应的hadoop版本的，如果是hadoop2.3.0以前的版本的话，可以参照https://github.com/clouder
LANWENBING·2014-08-01 10:00

hadoop2学习URl

hadoop2学习URlhttp://blog.csdn.net/wind5shy/article/category/1261200/2解析Hadoop2.3.0版本的新特性 流式计算框架Storm，内存计算框架
nysyxxg·2014-07-03 18:00

MongoDB: Hadoop Integerateion 2

from http://central.maven.org/maven2/org/mongodb/mongo-java-driver compile mongo-hadoop-connector for hadoop2.3.0
ylzhj02·2014-06-09 16:00

安装CDH5 hadoop2.3.0 NodeManager 没有启动

今天在安装hadoop后，启动start-yarn.sh后，nodemanager起不起来，后来查看DN节点的日志，报了以下一个错误： FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager java.lang.IllegalArgumentException: The
wbj0110·2014-06-01 10:00

安装CDH5 hadoop2.3.0 NodeManager 没有启动

今天在安装hadoop后，启动start-yarn.sh后，nodemanager起不起来，后来查看DN节点的日志，报了以下一个错误： FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager java.lang.IllegalArgumentException: The
wbj0110·2014-06-01 10:00

oozie on yarn oozie 4.0.1 hadoop2.3.0 安装笔记

java高级交流群：37341439，，如果文章看不懂的，可以加群问我哦~~一起学习。oozie需要编译哦~~编译下载的依赖有800多m呢，，所以得找台网络好点的机器去编译。。。1：下载地址：http://mirror.bit.edu.cn/apache/oozie/  2：ext2.2.zip下载地址：http://oozie.apache.org/docs/4.0.1/DG_QuickSt
jiushuai·2014-05-23 17:00

手把手教你：Hadoop 2.3.0 分布式集群搭建图文

手把手教你：Hadoop2.3.0分布式集群搭建图文(1)2014-03-2616:16 来源:WatchStor  我要评论(0)http://datacenter.watchstor.com/infra
javastart·2014-05-18 17:00

Hadoop2.3.0伪分布式安装笔记

Hadoop2.3.0伪分布式安装笔记安装环境：ubuntu 13.10， jdk1.7.0_51, hadoop 2.3.0 一、在ubuntu下安装jdklinux下的java有两种，一种是openjdk
kkMonkey·2014-05-07 01:00

Mahout: build 0.9 support hadoop2.3.0

mvncleanpackage-Dhadoop2.version=2.3.0-DskipTests mvncleanpackage-Dhadoop.version=2.3.0-DskipTests mvncleanpackage-Dhadoop.profile=200 -DskipTestsTheabovecommandswillnotwork.Actually,youshoulddownlo
ylzhj02·2014-05-05 00:00

HDFS集中式的缓存管理原理与代码剖析

Hadoop2.3.0已经发布了，其中最大的亮点就是集中式的缓存管理(HDFScentralizedcachemanagement)。
梁堰波·2014-04-25 00:00

Pig: using hive metastore in oozie

related jars to oozie sharelib   Prepare a. compile hive-0.12.0 and hive-0.13.0 to against hadoop2.3.0
ylzhj02·2014-04-24 09:00

Hive: build from source code target to hadoop2.3.0

 ENV: hive-0.12.0 hadoop2.3.0 1.install protobuf a.download protobuf-2.5.0.tar.gz from https:/
ylzhj02·2014-04-18 21:00

启动hadoop2.3.0时显示JAVA_HOME is not set and could not

使用start-all.sh直接启动Hadoop 如果报如下错误：localhost:Error:JAVA_HOMEisnotsetandcouldnotbefound.则是因为JAVA_HOME环境变量没有设置，需要在./etc/hadoop/hadoop-env.sh中设置JAVA_HOME， exportJAVA_HOME=$JAVA_HOME这样设置仍然会报错，只有使用绝对路径才不会报错。
闵开慧·2014-04-03 21:00

hadoop 2.3.0 在 ubuntu/Centos 64位下的编译

1.enviroment  hadoop2.3.0  ubuntu12.0464 2.followthesestepstorecompilehadoopsudoapt-getinstallg++autoconfautom
ylzhj02·2014-03-13 17:00

在ubuntu12.04LTS上编译64位hadoop-2.3.0并安装测试 单节点

SERuntimeEnvironment(build1.7.0_51-b13) JavaHotSpot(TM)64-BitServerVM(build24.51-b03,mixedmode) $hadoopversion Hadoop2.3.0
niaokedaoren·2014-03-02 22:00

Ubuntu上使用Hadoop 2.x 五 编译2.3.0 64bit版本

Hadoop2.3.0已经发布，编译方式主要还是参考前文：Ubuntu12.04上使用Hadoop2.2.0三编译64bit版本不过有一点区别，就是不需要修改pom.xml文件了。
sheismylife·2014-02-28 13:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他