hadoop2.2

Hadoop体系结构之 HDFS

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
Alukar·2024-01-10 05:05

flink on yarn集群环境(生产环境使用)

flinkonyarn的前提是：****hadoop、hdfs、yarn****均启动配置要求jdk1.8及以上【配置JAVA_HOME环境变量】ssh免密码登录【集群内节点之间免密登录】至少****hadoop2.2
huahailing1024·2023-11-27 20:30

HBase（hbase-0.96.2） 安装

明天要讲HBase课程，由于以前使用的是0.92的版本，所以在此记录下新版本的安装步骤（基于hadoop-2.2.0安装，hadoop2.2安装有空补上）。
数大招疯·2023-09-19 04:16

ZooKeeper的典型应用场景及实现

、一种通用的分布式系统机器间通信方式1.5、集群管理1.6、Master选举1.7、分布式锁1.7.1、排他锁1.7.2、共享锁1.8、分布式队列2、ZooKeeper在大型分布式系统中的应用2.1、Hadoop2.2
元维时代·2023-08-30 16:31

推荐系统环境搭建

推荐系统环境搭建一、Hadoop伪分布式搭建1、环境配置1.1、配置jdk1.2、修改主机名2、安装Hadoop2.1、上传并解压Hadoop2.2、免密配置2.3、配置Hadoop配置文件2.4、启动伪集群二
zznnniuu·2023-07-28 16:08

关于hive的启动和连接

目录一.前言二.hive的启动与连接2.1启动hadoop2.2启动hive2.3一些注意事项一.前言太久没用hive了，今天想重新熟悉一下，结果发现自己甚至忘记了怎么启动。。
Twilight Sparkle.·2023-04-10 01:10

windows环境下使用开发工具进行远程连接测试HDFS，报could not locate executable null\bin\winutils.exe in hadoop binaries，

这个原因是因为：这是本地没有安装hadoop调试环境工具（1）下载工具hadoop2.2版本可以在这里下载https://github.com/srccodes/hadoop-common-2.2.0-
PunkP·2021-06-22 05:01

Hadoop启动不了Namenode进程，出现IllegalArgumentException异常

感谢“我是菜鸟要早起”大神的心血博客http://blog.csdn.net/licongcong_0224/article/details/12972889，参考了之后终于算是把Hadoop2.2里要配置的内容搞清楚了
haixzzy·2020-09-16 15:28

问题处理Shutting down NameNode at java.net.UnknownHostException: node1: node1: Name or service not known

刚配置hadoop2.2，格式化namenode时候报的这个错。
BigCabbageFy·2020-09-13 21:47

解决Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is...

Hadoop2.2在master上运行Mapreduce没有问题，但是在slave节点上运行会报如下错误[root@fk01mapreduce]#hadoopjarhadoop-mapreduce-examples
panguoyuan·2020-09-12 03:21

浅谈Linux cgroup机制与YARN的CPU资源隔离

好在Hadoop2.2版本之后，YARN通过利用Linux系统的cgroup机制支持了CPU资源隔离。本文先简单看看cgroup，然后分析一下YARN的
LittleMagics·2020-08-22 17:34

hbase(一)–hbase安装

hbase(一)–hbase安装文章目录hbase(一)--hbase安装一、简介二、安装步骤2.1安装hadoop2.2下载hbase2.3解压hbase2.4修改hbase-env.sh文件2.5修改
panda-star·2020-08-22 16:46

如何在Centos6.5下部署hadoop2.2单机伪分布式

[color=green][size=large]hadoop2.x的稳定版本，已经发布多时了，散仙一直都用的hadoop1.x的版本，最近有项目用到hadoop2.x，所以就开始折腾hadoop2.x了，在hadoop2.x的版本里，目前最新版本已经到hadoop2.4了，但散仙在这里用的是hadoop2.2.0的版本，为什么用它？因为这是一个稳定的版本，所以相对来说，问题比较少。散仙在上篇博客
三劫散仙·2020-08-19 04:31

Hadoop体系结构之 HDFS

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
weixin_34367845·2020-08-16 21:01

HDFS的体系架构详解

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
weixin_34240520·2020-08-16 21:48

Spark集群基于Zookeeper的HA搭建部署笔记

1.环境介绍（1）操作系统RHEL6.2-64（2）两个节点：spark1(192.168.232.147),spark2(192.168.232.152)（3）两个节点上都装好了Hadoop2.2集群
panguoyuan·2020-08-14 18:39

基于Hadoop2.2.0版本分布式云盘的设计与实现

基于Hadoop2.2.0版本分布式云盘的设计与实现一、前言在学习了hadoop2.2一个月以来，我重点是在学习hadoop2.2的HDFS。
zhu_9527·2020-08-03 09:10

hadoop2.2完全分布式集群+hive+mysql存储元数据配置

一直在忙公司的项目,也没时间学些东西,最近刚闲下来就学一学hive和hbase的东东,本次只讲述hadoop完全分布式环境下用mysql存储元数据的hive的配置完全分布式集群环境virtualBoxcentos6.4minihadoop-master192.168.1.252mastercentos6.4minihadoop-slave1192.168.1.251slave机子配置不太好只能两个
姜龙·2020-07-30 19:02

hadoop2.2.0 搭建

第一部分Hadoop2.2下载Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。
bingdongguke1·2020-07-29 17:33

hadoop2.X如何将namenode与SecondaryNameNode分开配置

我们这里假设你已经安装配置了hadoop2.2，至于如何配置可以参考，hadoop2.2完全分布式最新高可靠安装文档。在这个基础上，我们对配置文件做一些修改：1.增加
weixin_34168700·2020-07-28 18:08

Mapper输入InputSplit分片数透析

maptask的数量由输入文件总大小和分片大小确定的；hadoop2.2版本hdfs的数据块默认是128M。若一个文件大于128M，通过将大文件分解得到若干个数据块；若一个文件小于
liangjf85·2020-07-14 13:27

跨版本迁移旧集群到新集群

跨版本迁移旧集群到新集群（hadoop2.2移到hadoop2.8），遇到无数问题，历时三周，终于圆满结束，总结如下：一.搭建新集群新集群用了5台实体机，分别安装zookeeper、hadoop、hbase
daiqinge·2020-07-14 09:48

hadoop2.X集群安装与应用

可参考此文档：hadoop（2.x）以hadoop2.2为例完全分布式最新高可靠安装文档（非常详细）http://www.aboutyun.com/thread-7684-1-1.html步骤一：下载并安装
z-pan·2020-07-13 17:24

Hadoop2.2集群搭建与配置 例子WordCount成功运行

对于初学者来说，Hadoop的搭建与配置有两个核心：HDFS（hadoopdistributefilesystem，hadoop分布式文件系统）hdfs是整个hadoop生态的基础，它具有很多优点和特性，不再多提，我们的目的是让hdfs在我们的集群上跑起来。Yarn（YetAnotherResourceNegotiator，另一种资源协调者）反正是一次大改版出现的事物，从那以后不再有jobTrac
抠脚Q太郎·2020-07-10 23:37

hadoop2.2 搭建QJM模式HA遇阻，求助贴

NameNode：10.10.141.14(hostname:hadoop-active)10.10.141.44(hostname:hadoop-standby)journalnode：10.10.141.14(hostname:hadoop-active)10.10.141.44(hostname:hadoop-standby)10.10.141.22(hostname:hadoop-JN)N
雲竹小师傅·2020-07-08 10:37

Spark+Hadoop集群搭建：（一）单一节点上搭建Hadoop环境

Spark+Hadoop集群搭建：（一）单一节点上搭建Hadoop环境1安装JDK2下载安装Hadoop2.1下载Hadoop2.2解压2.3配置Hadoop环境变量2.3.1设置JDK与Hadoop安装路径
闻曦·2020-06-25 14:38

让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2

转自：http://www.aboutyun.com/thread-7949-1-1.html问题导读：1.什么是flume？2.如何安装flume？3.flume的配置文件与其它软件有什么不同？一、认识flume1.flume是什么？这里简单介绍一下，它是Cloudera的一个产品2.flume是干什么的？收集日志的3.flume如何搜集日志？我们把flume比作情报人员（1）搜集信息（2）获取
lskyne·2020-06-24 09:14

让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2

问题导读：1.什么是flume？2.如何安装flume？3.flume的配置文件与其它软件有什么不同？一、认识flume1.flume是什么？这里简单介绍一下，它是Cloudera的一个产品2.flume是干什么的？收集日志的3.flume如何搜集日志？我们把flume比作情报人员（1）搜集信息（2）获取记忆信息（3）传递报告间谍信息flume是怎么完成上面三件事情的，三个组件：source：搜集
承接各种编程私活·2020-06-22 05:36

小型大数据平台搭建

目录前言一、搭建环境1.1集群规划二、集群的相关配置2.1新建用户hadoop2.2更改主机名2.3主机和IP做相关映射2.4SSH免密码登录2.5时间配置2.6整体安装目录安排三、HadoopHA环境搭建
weixin_34113237·2020-06-21 11:43

Linux系统Hadoop下载

下载Hadoop，选择“*.tar.za”版本下载方法一：进入Web官网下载官网下载：https://archive.apache.org/dist/本人选择hadoop2.2下载：https://archive.apache.org
Ada54·2020-03-05 21:09

[flume]1.5传输数据(日志)到hadoop2.2

让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2-lskyne的专栏-博客频道-CSDN.NEThttp://blog.csdn.net/lskyne/article/details/375310991.flume是什么？这里简单介绍一下，它是Cloudera的一个产品2.flume是干什么的？收集日志的3.flume如何搜集日志？我们把flume比作情报人员
葡萄喃喃呓语·2019-12-17 01:18

Hbase初窥

Hbase能做什么海量数据的存储海量数据的查询企业数据海量查询项目需求功能海量数据实时查询场景复杂数据采集sqoop（flume）kettleHbase基本信息企业用的比较多的版本0.98，0.98是针对hadoop2.2
Gallin_Qiu·2017-12-11 07:42

基于hadoop2.2的namenode与SecondaryNameNode分开配置在不同的计算机

现在来配置hadoop2.2,将namenode和secondaryNam
我胡汉三又回来了·2017-08-17 09:43

在eclipse中通过local的模式可以正确的调试hadoop2.2

已经在eclipse中通过local的模式可以正确的调试hadoop2.2，那么本篇，散仙将重点叙述下，如何在eclipse中，真真正正的提交作业到yarn上，开启分布式模式的调试，通过在eclipse
weitao1026·2016-10-18 10:00

Hadoop学习之二《Hadoop环境伪分布式环境搭建》

Hadoop学习之二《Hadoop环境伪分布式环境搭建》一、Hadoop定义二、环境搭建(1)资源下载JDK1.7-Linux-64:点击下载链接Hadoop2.2版本:点击下载链接(2)配置过程首先是
黯雅悸动·2016-09-07 17:41

Windows下安装Hadoop

Hadoop版本支持情况：Hadoop2.2版本起包括Windows的原生支持。截至2014年一月份，官方的ApacheHadoop的版本不包括
dream_an·2016-07-08 17:00

使用Java程序来获得某个集群的NameNode或DataNode的相关信息

http://www.aboutyun.com/thread-18336-1-1.html软件版本：hadoop2.2，JDK1.7，Intellijidea140.配置Configuration如果需要使用
u010022051·2016-05-10 10:00

hadoop2.x常用端口、定义方法及默认端口

以hadoop2.2为例完全分布式最新高可靠安装文档http://www.aboutyun.com/thread-7684-1-1.htmlhadoop2.x常用端口、定义方法及默认端口、hadoop1
aibati2008·2016-04-13 11:00

hadoop2.2 伪分布式环境

在安装JDK之前，请确认系统是32还是64，根据系统版本，选择JDK版本、Hadoop版本下面是以在CentOS-6.5-x86_64系统上安装为例安装前准备在"/usr"下创建java目录，并cd到该目录，如下确认防火墙关闭    防火墙关闭后的效果如下        具体操作，请查看"XX/XX/XX/notes/防火墙.docx"确认安装openssh-server、openssh-clie
ljc520313·2016-04-10 15:00

Hadoop获得集群NameNode和DataNode状态

软件版本：hadoop2.2，JDK1.7，Intellijidea140.配置Configuration如果需要使用java程序来获得某个集群的NameNode或DataNode的相关信息，那么Configuration
fansy1990·2016-03-29 14:43

Hadoop获得集群NameNode和DataNode状态

软件版本：hadoop2.2，JDK1.7，Intellijidea140.配置Configuration如果需要使用java程序来获得某个集群的NameNode或DataNode的相关信息，那么Configuration
fansy1990·2016-03-29 14:00

hadoop集群搭建

centos6下安装部署hadoop2.2环境准备1、操作系统:centos6.064位2、hadoop版本：hahadoop-2.2.0安装和配置步骤具体如下：1、主机和ip分配如下ip地址主机名用途
Vin512·2016-03-22 22:00

No job jar file set. User classes may not be found. See Job or Job#setJar(String)

软件版本：hadoop2.2，eclipse4.5，jdk1.7问题描述：在进行Java程序调用Hadoop集群时，使用下面的代码时，运行会给出如题所示提示job.setJarByClass(SampleJob.class
fansy1990·2016-03-17 11:00

hadoop resourcemanager java.net.BindException: Port in use: x:8088

环境：hadoop2.2、JDK1.7集群：node51:namenode/datanode/nodemanager/node52:secondarynamenode/datanode/nodemanager
fansy1990·2016-03-11 18:02

hadoop resourcemanager java.net.BindException: Port in use: x:8088

环境：hadoop2.2、JDK1.7集群：node51:namenode/datanode/nodemanager/   node52:secondarynamenode/datanode/nodemanager
fansy1990·2016-03-11 18:00

Sqoop1.99.4 Java API实践

软件版本：Sqoop：1.99.4；JDK：1.7；Hadoop2.2；环境：1.Hadoop集群：node12:NameNode、ResourceManager、JobHistoryServer、DataNode
fansy1990·2016-03-08 14:00

Hadoop2.2伪分布式搭建步骤

1.准备Linux环境   1.0点击VMware快捷方式，右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段：192.168.1.0子网掩码：255.255.255.0->apply->ok     回到windows-->打开网络和共享中心->更改适配器设置->右键VMnet1->属性->双击IPv4->设置windows的I
bbaiggey·2016-03-01 15:00

搭建hadoop伪分布

hadoop下载地址wgethttp://hadoop.f.dajiangtai.com/hadoop2.2/hadoop-2.2.0-x64.tar.gz0、创建用户 useradd�Cm hadoop1
1121827·2015-12-14 22:01

搭建hadoop伪分布

hadoop下载地址wgethttp://hadoop.f.dajiangtai.com/hadoop2.2/hadoop-2.2.0-x64.tar.gz0、创建用户useradd–mhadoop1、
1121827·2015-12-14 22:01

Hadoop2.2内存调优

今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Javaheapspace的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据库的时候，有几个表的返回数据量比较大约有50万左右，因
shubingzhuoxue·2015-12-09 17:00
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他