hadoop2.X

大数据学习系列（九）Hadoop1.X痛点分析及Hadoop2.X提出的解决方案

一、Hadoop1.X痛点分析上篇博客搭建了hadoop1.x的全分布式集群项目，角色及角色之间的关系如下图：搭建完成后会发现有明显的问题，该集群只有一台服务器位namenode角色，而在整个hadoop系统中，namenode的作用和责任又如此之大，如果namenode节点挂掉了，那么就意味着整个hadoop系统挂掉，因为所有的文件上传及管理操作及计算操作都是通过client(客户端)去请求na
番茄滚蛋·2020-07-08 01:53

HDFS文件读写机制思考及图解

HadoopDistributedFileSystem）作为GFS思想的开源实现，支持数据流读取和处理超大规模文件，并能够运行在由廉价服务器组成的集群上；HDFS将硬件出错视为一种常态，而不是异常，故而HDFS采用了多种机制来保证存储文件的完整性；如在hadoop2
.破晓.·2020-07-07 22:30

详解分布式应用程序协调服务Zookeeper

主从结构：HDFS、Yarn、HBase、storm、spark、zookeeper都存在单点故障问题hadoop1.x没有解决方案hadoop2.x利用zookeeper实现HAzookeeper是开源的分布式应用程序协调服务
予你心安、·2020-07-07 21:32

HDFS客户端上传文件流程

1.3客户端根据配置（dfs.blocksize-块大少、hadoop2.x默认为128M）将文件切成N个block。
qq_26369213·2020-07-07 20:40

hadoop2.4后的滚动升级

1.介绍HDFS的滚动升级可以只升级独立的守护进程，比如可以独立升级datanode、namenode、journalnode，这些进程都可以不相互依赖来升级；hadoop2.x开始支持HDFS的HA，
自由盼盼·2020-07-07 19:38

HDFS文件块大小（重点）

HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数(dfs.blocksize）来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。
孙晨c·2020-07-07 17:00

Hadoop基础教程-第5章 YARN：资源调度平台（5.1 YARN介绍）（草稿）

5.1.1Hadoop1.x与Hadoop2.x（1）MRv1在介绍Yarn之前，我们先回头看一下Hadoop1.x对MapReducejob的调度管理方式。在Hadoop1.x版本中，MapR
程裕强·2020-07-07 05:05

Hadoop2.x 资源调度框架Yarn

1.MapReduce1.0的架构图在MapReduce1.0中主要由JobTracker和TaskTracker组成，JobTracke负责资源监控和作业调度，TaskTracker是Hadoop集群中运行于各个节点上的服务。负责任务的执行和汇报心跳。从上图中可以看到JobTracker在整个集群中只有一个，如果JobTracker运行时发生故障或挂掉，则整个集群的作业将无法提交或运行。还有就是
harveybd·2020-07-06 22:53

分布式资源调度--YARN框架

YARN产生背景YARN是Hadoop2.x才有的，所以在介绍YARN之前，我们先看一下MapReduce1.x时所存在的问题：单点故障节点压力大不易扩展MapReduce1.x时的架构如下：可以看到，
weixin_33882443·2020-07-06 19:49

hadoop2.X视频教程全集下载

1、Hadoop2.X大数据平台V3视频教程（14周全）http://pan.baidu.com/s/1qW4rPSg密码:7ohd2、Hadoop&Spark企业应用实战链接:http://pan.baidu.com
yierxiansheng·2020-07-06 10:04

配置高可用的Hadoop平台

1.概述在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（HighAvailable高可用）。
weixin_33777877·2020-07-05 23:45

企业应用hadoop视频教程多套合集--百度网盘下载

1、Hadoop2.X大数据平台V3视频教程（14周全）http://pan.baidu.com/s/1qW4rPSg密码:7ohd2、Hadoop&Spark企业应用实战链接:http://pan.baidu.com
王一洋·2020-07-05 20:55

Linux（centos）上安装hadoop2.x

转载：http://www.powerxing.com/install-hadoop-in-centos/详细的安装过程，上述文章中讲的非常详细，但是在实际过程中有一些问题需要解决：第一个问题：安装Hadoop的时候直接用的bin版本，根据教程安装好之后运行的时候发现出现了：WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryfory
sxy20054·2020-07-05 15:21

hadoop2.x常用端口及定义方法

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS,YARN,HBase,Hive,ZooKeeper:组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addre
spring8743·2020-07-05 13:22

hadoop学习笔记（四）HA环境

我们先来看一下hadoop1.x的架构图image可以看到，有且只有一个namenode，集群可靠性会受到影响，当namenode出现问题时会影响到整个集群工作，所以，在hadoop2.x中解决了这个问题
桐间纱路·2020-07-05 09:56

详解hadoop1.x和hadoop2.x的区别及补充hadoop3.x新特性

hadoop1.x和hadoop2.x的主要区别在于：1、hadoop1.x没有提供架构中主节点namenode及jobtrack的高可用及负载均机制。而在hadoop2.x中有。
Mr_249·2020-07-05 01:57

Hadoop进阶

Hadoop进阶源码地址：github1第一章概述hadoop的体系架构HDFS架构块：DataNode：NameNode：SecondaryNameNode:Hadoop1.X架构图Hadoop1.X架构图Hadoop2
小小少年Boy·2020-07-04 22:49

Hadoop HA高可用解析以及脑裂问题

Hadoop2.x：HDFS的NameNode和YARN的ResourceManger的单点问题可以解决。
彩笔程序猿zxxxx·2020-07-04 20:54

Hadoop基础面试精选

Hadoop基础面试精选1、Hadoop1.x和Hadoop2.x的区别：a、1.x:Common（辅助工具）、HDFS(数据存储)、MapReduce(计算+资源调度)b、2.x:Common（辅助工具
cuichunchi·2020-07-04 14:21

Hadoop 2.x与3.x 22点比较：3.x将节省大量存储空间

一、目的在这篇文章中，我们将讨论Hadoop2.x与Hadoop3.x之间的比较。
about云·2020-07-04 12:54

大数据Hadoop核心知识入门学习注意事项

首先hadoop分为hadoop1.X和hadoop2.X，并且还有hadoop生态系统，那么下面我们以hadoop2.x为例进行详细介绍：Hadoop的核心是mapreduce和hdfs。
程序员老牛了laoliu·2020-07-02 09:31

Hadoop2.X管理与开发

Hadoop2.X管理与开发一、Hadoop的起源与背景知识（一）什么是大数据大数据（BigData），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力
aeluwl2038·2020-07-01 16:05

2. Hadoop框架引出大数据生态

3.Hadoop三大发行版本ApacheHadoopClouderaHadoopHortonworksHadoop4.Hadoop的优势（4高）5.Hadoop组成(期末考试内容)Hadoop1.x和Hadoop2
喵先生呢·2020-07-01 06:28

hadoop2.X嵌套计算（sumAndStor+序列化）

MR的计算是可以嵌套使用的，比如在现实业务中有时候我们可能要求先求出总结果，在对总结果进行排序，当排序的值是number类型，当直接排序。当需要排序的是javaBean，则首先要对其进行序列化。【1】hadoop中的序列化Hadoop的的序列化不采用的Java的序列化，而是实现了自己的序列化机制。Hadoop的通过Writable接口实现的序列化机制，不过没有提供比较功能，所以和Java的的中Co
先生_吕·2020-07-01 01:42

hadoop学习路线图

大致的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是
程序员日常·2020-06-30 07:33

大数据入门第一课 Hadoop基础知识与电商网站日志数据分析

物超所值的精品课程，只懂Java基础也能轻松入门大数据知识覆盖全面、实操案例丰富系统讲解Hadoop2.x中核
xuetu123com·2020-06-30 03:48

一篇讲懂为什么HDFS文件块（block）大小设定为128M

CSDN搜了半天也没有确切答案，查询资料思考后总结如下：我们在HDFS中存储数据是以块（block）的形式存放在DataNode中的，块（block）的大小可以通过设置dfs.blocksize来实现；在Hadoop2
攻城狮Kevin·2020-06-29 22:52

Hadoop-YARN的资源调度

yarn概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x版本中的一个新特性
爱吃龙虾的饼·2020-06-29 06:25

Hadoop二：Hadoop伪分布式模式

Hadoop伪分布式模式Hadoop2.x：官网：hadoop.apache.org三个组件：HDFS：分布式文件系统，存储MapReduce：分布式计算Yarn：资源（cpu+memory）和JOB调度监控文档地址
苏木logwood·2020-06-29 04:35

用户行为数据采集 第6节 数仓采集Kafka Manager安装脚本测试

用户行为数据采集第5节日志采集分析、ETL拦截器、分类型拦截器及脚本编写1、Kafka安装架构图Kafka集群安装详见：参照自己上次写的博客：Kafka集群部署集群规划：服务器hadoop1.x服务器hadoop2
江湖侠客·2020-06-28 22:08

MapReduce处理流程

MapReduce是Hadoop2.x的一个计算框架，利用分治的思想，将一个计算量很大的作业分给很多个任务，每个任务完成其中的一小部分，然后再将结果合并到一起。
weixin_34101784·2020-06-28 11:50

MapReduce任务参数调优

MapReduce任务参数调优本文主要记录Hadoop2.x版本中MapReduce参数调优，不涉及Yarn的调优。
wangjinyuan161·2020-06-27 13:06

hadoop2.x序列化机制及实例

序列化1>什么是序列化？将结构化对象转换成字节流以便于进行网络传输或写入持久存储的过程。2>什么是反序列化？将字节流转换为一系列结构化对象的过程。3>序列化用途？1，一种作为持久化格式2，一种作为通信的数据格式3，作为一种数据拷贝，克隆机制。Java的序列化和反序列化1，创建一个对象实现了Serializable2，序列化：ObjectOutputStream.writeObject(序列化对象)
先生_吕·2020-06-26 23:38

1.2.5 大数据2.x 集群安装系列-- hadoop2.x集群-时间同步ntp

安装[kfk@bigdata-pro01~]$sudorpm-qa|grepntpfontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.4p8-3.el6.centos.x86_64ntp-4.2.4p8-3.el6.centos.x86_64服务[kfk@bigdata-pro01~]$sudorpm-qa|grepntpfontpacka
txidol-Fly·2020-06-26 18:50

MapReduce Input Split（输入分/切片）详解

Hadoop2.x默认
liuzx32·2020-06-26 16:09

大数据(八) --MapReduce运行架构, Yarn资源调度流程

MapReduce运行架构前言Hadoop1.x版本Hadoop2.x版本Yarn资源调度流程:前言  某天,某研究机构设计了一款私人飞机图纸,之后某公司根据该图纸制作出一架私人飞机.然后某位有钱人士觉得这架飞机非常好
Apache-Qibao·2020-06-26 12:22

【Hadoop入门学习系列之一】Ubuntu下安装Hadoop（单机模式+伪分布模式）

Hadoop2.x版本在不断更新，本教程均可适用。如果需安装0.20，1.2.1这样的版本，本教程也可以作为参考，主要差别在于配置项，配置请参考官网教程或其他教程。
数据圈·2020-06-26 09:54

Hive1.2.2（一）

一、安装一、课前准备1.安装好hadoop2.X版本的三节点集群，并配置好JAVA_HOME和HADOOP_HOME两个环境变量。
起始的地方·2020-06-25 23:00

Hadoop第一个程序wordcount命令运行jar包报错Usage: wordcount

先说一下，Hadoop1.x和Hadoop2.x的命令有所不同，Hadoop1.x命令是hadoopfs…，Hadoop2.x进入Hadoop目录，然后命令为bin/hdfsdfs…。
Life_Will_Last·2020-06-25 15:13

YARN JVM重用功能——uber

目录Hadoop1.x中的JVM重用功能简单回顾一下Hadoop1.x中的JVM重用功能配置的方法Hadoop2.x中的JVM重用功能简述uber的原理Hadoop1.x中的JVM重用功能简单回顾一下Hadoop1
好笨的菜鸟·2020-06-25 15:11

【备忘】Sqoop、Flume、Oozie、Hue大数据工具视频教程

第1章数据转换工具Sqoop101大数据Hadoop2.x协作.框架的功能.mp402Sqoop功能概述和版本、架构讲解.mp403Sqoop使用要点(核心)及企业版本讲解.mp404使用CDH5.3.6
qq_38472057·2020-06-25 14:55

Yarn架构原理

在Hadoop2.x中，为了解决Hadoop1.x的JobTracker存在的问题（可参考https://blog.csdn.net/qq_37865420/article/details/106441382
双椒叔叔·2020-06-25 13:42

浅谈YARN中Container容器（内存、CPU分配）

前言：hadoop2.x版本和hadoop1.x版本的一个区别就是：hadoop1.x中负责资源和作业调度的是MapReduce，hadoop2.x版本后，MapReduce只专注于计算，资源和作业的调度由
青青青的菜地·2020-06-25 02:21

zookeeper权威的应用案例

下面是一些使用了ZooKeeper实现的案例：HDFSHA(QJM)Hadoop2.x之前的版本，HDFS集群
lkx94·2020-06-24 08:09

[置顶] Centos环境下：使用ant编译hadoop2.X版eclipse插件及其通用教程

首先，介绍centos6.5环境下安装及使用ant。其次，介绍hadoop2.Xeclipse插件的编译。Ant需要jdk环境，jdk的安装及其配置就不说了，网上搜一下很多。OS:CentOS6.5ant版本：apache-ant-1.9.6-bin第１步：下载antapache-ant-1.9.6-bin.tar.gz第２步：解压tar-zxvfapache-ant-1.9.6-bin.tar.
岁月的拓荒者·2020-06-23 17:20

Hadoop 2.2 & HBase 0.96 Maven 依赖总结

由于Hbase0.94对Hadoop2.x的支持不是非常好，故直接添加Hbase0.94的jar依赖可能会导致问题。
驰驰的老爸·2020-06-23 16:30

hadoop2.X HDFS外壳命令

Hadoop2HDFS外壳命令1.HDFSDFS-appendToFile...可同时上传多个文件到HDFS里面2.HDFSDFS-catURI[URI...]查看文件内容3.HDFSDFS-chgrp[-R]集团URI[URI...]修改文件所属组4.HDFSDFS-chmod[-R]URI[URI...]修改文件权限5.HDFSDFS-chown[-R][OWNER][：[组]]URI[URI
先生_吕·2020-06-23 15:39

初步掌握HDFS的架构及原理

目录HDFS是做什么的HDFS从何而来为什么选择HDFS存储数据HDFS如何存储数据HDFS如何读取文件HDFS如何写入文件HDFS副本存放策略Hadoop2.x新特性1、HDFS是做什么的HDFS（HadoopDistributedFileSystem
dengdun2029·2020-06-23 03:58

Hadoop三节点大数据环境安装教程（2）

教程中出现字体加粗和加红的说明需要大家仔细阅读，按照步骤进行安装，都是比较重要的细节，如果有同学忘记或者跳过说明的步骤，环境大家的过程中问题会非常的多.2.本教程中安装的是hadoop3.x版本,后续我们还需要安装hadoop2
队列人生·2020-06-22 23:05

大数据实战项目之新闻话题分析 学习笔记（一）——实战前hadoop2.X必修课

文章目录学习资源（仅供参考）第2章：实战前hadoop2.X必修课hadoop2.x概述hdfs分布式文件系统框架原理详解mapreduce架构设计和原理详解YARN资源管理架构原理详解学习资源（仅供参考
爱学习的Neehong·2020-06-22 05:19
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他