hadoop2.X

Hadoop2.x与Hadoop1.x的MapReduce比较

hadoop2.0中的jobtracker和tasktracker哪里去了？？一、低版本的hadoop下MapReduce处理流程1.jobtracker和tasktracker简介首先用户程序(JobClient)提交了一个job,job的信息会发送到JobTracker。*JobTracker*Map-reduce框架的中心*与集群中的机器定时通信heartbeat*管理哪些程序应该跑在哪些机
Rita楠神·2018-10-18 10:07

Hadoop2.X分布式集群部署

（一）hadoop2.x版本下载及安装Hadoop版本选择目前主要基于三个厂商（国外）如下所示：基于Apache厂商的最原始的hadoop版本，所有发行版均基于这个版本进行改进。
努力的凹凸曼·2018-10-16 21:52

Hadoop2.x 快速上手--day1--初识Hadoop

本节知识1、Hadoop概述及生态系统Hadoop思想启源（产生背景）Hadoop生态系统（包含组件及其各自的功能和作用）Hadoop1.0与2.0（架构之间的区别）Hadoop思想启源谷歌公司2003年开始的三篇技术论文：以下的三种技术GFS是一个可扩展的大型数据密集型应用的分布式文件系统，可在廉价的硬件上运行，具有可靠的容错能力，极高的计算性能，具备最小的硬件投资和运营成本MapReduce是
喵鸢·2018-10-15 16:41

hive有关的MapReduce大作业的性能问题(mapper数过多)

Hive查询涉及的小文件过多对MR作业的危害：Hadoop2.X中的小文件是指文件size小于HDFS的块（block）大小（例如128M）的文件。
Tony_仔·2018-10-11 20:54

Hadoop 2.x常用端口及查看方法

Hadoop2.x常用端口及查看方法Postedon2015-04-2216:00FryFish阅读(27316)评论(0)编辑收藏一、常用端口组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode
husongbo·2018-10-09 16:20

HDFS

HDFS本文主要介绍hadoop2.x版本，分析代码主要位于hadoop-hdfs-project/hadoop-hdfs/src/main/java/org/apache/hadoop/hdfs/server
Youchang_Xu·2018-09-22 00:00

TEZ深入理解

简介Tez是Apache开源的支持DAG作业的计算框架，是支持HADOOP2.x的重要引擎。
Sin_Geek·2018-09-20 15:05

Hadoop集群环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
piziyang12138·2018-09-20 10:00

Hadoop 2.x与3.x 22点比较,Hadoop 3.x比2.x的改进

一、目的在这篇文章中，我们将讨论Hadoop2.x与Hadoop3.x之间的比较。
about云·2018-09-18 10:34

分布式资源调度 YARN框架

YARN产生背景YARN是Hadoop2.x才有的，所以在介绍YARN之前，我们先看一下MapReduce1.x时所存在的问题：单点故障节点压力大不易扩展MapReduce1.x时的架构如下：分布式资源调度
qq5b97c2c096fba·2018-09-11 21:26

转 史上最详细的Hadoop环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原
_幻林_·2018-09-07 22:16

Hadoop2.x HDFS源码剖析---概述

一、HDFS概述基于hadoop2.6HDFS被设计能够运行在通用硬件上、提供流式数据操作、能够处理超大文件的分布式文件系统。特点：高容错和高吞吐量、易扩展、高可靠性HDFS的四个核心模块：namenode节点、datanode节点、客户端、HDFS协议（RPC协议、流式接口协议:HTTP和TCP）基本概念1、数据块（block）数据块是HDFS文件处理（读和写）的最小单元，默认是128M。一个文
哎呦、不错哦·2018-08-28 23:59

检查hdfs块的块——工具fsck(file system check)

如何查看当前的hdfs的块的状态hadoop1.x时候的命令，hadoop2.x也可使用：hadoopfsck/在hadoop2.0之后，可以使用新命令：hdfsfsck/返回结果截图如下：参数说明：Totalsize
kwu_ganymede·2018-08-24 14:45

Hadoop 综合揭秘——MapReduce 编程实例（详细介绍 Combine、Partitioner、WritableComparable、WritableComparator 使用方式）

请确保源代码运行在Hadoop2.x以上版本，并以伪分布形式安装以方便进行调
风尘浪子·2018-08-17 15:29

Hadoop 综合揭秘——MapReduce 基础编程（介绍 Combine、Partitioner、WritableComparable、WritableComparator 使用方式）

请确保源代码运行在Hadoop2.x以上版本，并以伪分布形式安装以方便进行调
风尘浪子·2018-08-16 11:00

Eclipse安装Hadoop插件配置Hadoop开发环境

这儿有一个Hadoop2.X版本对应的Hadoop插件，前往下载，下载hadoop2x-eclipse-plugin.zip。
DT鸽子·2018-08-14 22:31

从零开始搭建大数据平台系列之（0）——目录汇总

目录1.环境准备2.Hadoop平台搭建2.1ApacheHadoop2.x伪分布式环境搭建2.2ApacheHadoop2.x完全分布式环境搭建2.3CDH版Hadoop2.x伪分布式环境搭建2
魏晓蕾·2018-08-10 00:42

【Hadoop】hadoop2.x入门与基本环境配置

Hadoop版本：2.5.0-cdh5.3.6JDK版本：7u80-linux-i586可以从下面获取JDK和Hadoop压缩包链接：https://pan.baidu.com/s/1KQwF3aZL9ZletysyZHLMzA密码：okmj理论知识介绍大数据的4v特征Volume数据体量巨大Varity数据类型多样Veracityv密度低价值高Velocity数据处理速度快Hadoop介绍作者：
A小菠菜罐头·2018-07-24 23:05

浅谈hadoop脑裂问题

1.什么是脑裂：脑裂是Hadoop2.X版本后出现的全新问题，从字面意思我们可以理解为“大脑分裂”；我们想一下，当一个正常人，突然出现有了两个大脑，而且这两个大脑都有自己的意识，对于这个人来说肯定是灾难性问题
大象爱老鼠·2018-07-21 11:47

数据转换工具Sqoop学习笔记

（导入导出是相对于HDFS）1.大数据Hadoop2.x协作.框架的功能2.Sqoop使用要点（核心）及企业版本讲解所以我们就使用CDH的发行版本，而不使用apache的。
无籽西瓜吃吗·2018-07-15 22:41

Hadoop2.x新特性：HA、Federation、快照

NameNodeHA（1）基于NFS共享存储解决方案（2）基于QuromJournalManager（QJM）解决方案NameNodeFederation（1）存在多个NameNode，每个NameNode分管一部分目录（2）NameNode共用DataNode一、HDFS的新特性HA(一)HDFS的HA机制Hadoop2.2.0版本之前，NameNode是HDFS集群的单点故障点，每一个集群只有
菜鸟cxy·2018-06-17 09:48

MapReduce1与Yarn(MapReduce2)

它主要由以下几个组件组成：Client、JobTracker、TaskTracker、Task(2)在hadoop2.x中，mapr
菜鸟cxy·2018-06-16 09:51

大数据都学什么？（初学者）

学习大数据需要的基础javaSE，EE(SSM)90%的大数据框架都是java写的MySQLSQLonHadoopLinux大数据的框架安装在Linux操作系统上二、需要学什么第一方面：大数据离线分析一般处理T+1数据Hadoop2
IT_laobai·2018-06-11 17:33

Hdfs读写原理

文件系统会给客户端提供一个统一的抽象目录树，客户端访问hdfs文件时就是通过指定这个抽象目录中的路径来访问2.Hdfs中的文件都是分块（block）存储的，块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2
搞什么呀·2018-06-04 16:22

ubuntu16.04搭建hadoop2.x系列

ubuntu16.04搭建hadoop2.X系列1.软件版本(提供网盘链接)ubuntu-16.04.2-desktop-amd64.isohadoop-2.7.3.tar.gzjdk-8u144-linux-x64
世间的尘·2018-06-01 19:55

MapReduce过程详解(基于hadoop2.x架构)

阅读目录mapreduce的简介和优点案例(统计各个手机号的上传和下载流量总和)mapreduce详细流程图文详解partition（分区）combiner（map端的reduce）分组排序MapTask和ReduceTask的并行度YARNMapReduce与Yarn数据本地化优化map和reduce的输出结果存放位置map，reduce任务分配map，reduce任务的并行本文基于hadoop
假的鱼·2018-05-29 17:11

最详细的 Hadoop 入门教程

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作
Yespon·2018-05-20 21:43

hadoop HA完全分布式模式原理即配置

hadoop2.x后引入HA的机制，HA是完全分布式结构。主要有两种一种是NFS（NetworkFileSystem）方式，另外一种是QJM（QuorumJournalManager）方式。
chgyprom·2018-05-18 01:38

基于Hadoop2.x安装Hive 2.x.x

1.前言说明：安装hive前提是要先安装hadoop集群，并且hive只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装)，可以不在datanode节点的机器上安装。另外还需要说明的是，虽然修改配置文件并不需要你已经把hadoop跑起来，但是本文中用到了hadoop命令，在执行这些命令前你必须确保hadoop是在正常跑着的，而且启动hive的前提也是需要ha
钟离龙·2018-05-15 17:29

09-Hadoop介绍&编译&HDFS伪分布式部署

hadoopflume........狭义:apachehadoophadoop.apache.org2.Hadoop(存储+计算+资源和作业调度)hadoop1.xHDFS存储MapReduce计算+资源和作业调度hadoop2
CrUelAnGElPG·2018-05-15 16:59

09-Hadoop介绍&编译&HDFS伪分布式部署

hadoopflume........狭义:apachehadoophadoop.apache.org2.Hadoop(存储+计算+资源和作业调度)hadoop1.xHDFS存储MapReduce计算+资源和作业调度hadoop2
CrUelAnGElPG·2018-05-15 16:59

【若泽大数据实战第九天】Hadoop伪分布式模式部署 HDFS（root用户）

Hadoop伪分布式模式部署Hadoop2.x：官网：hadoop.apache.org三个组件：HDFS：分布式文件系统，存储MapReduce：分布式计算Yarn：资源（cpu+memory）和JOB
强悍de巨人·2018-05-15 12:43

Centos7搭建Hadoop 2.X伪分布式环境并运行wordcount MapReduce示例

选择其中某个版本的hadoop下载，因为现在市面上绝大部分的学习资料都是以hadoop2.x为基础，所
二营长的意大利面·2018-05-15 11:12

Hadoop 2.x 源码编译 一步步图文介绍，包含snappy编译

Hadoop2.x源码编译◆编译Hadoop环境要求：1、必须在Linux系统下进行编译；2、编译使用的JDK版本必须是1.6以上；3、编译需要使用Maven（因为源码是由Maven管理的）版本3.0以上
fanghailiang2016·2018-05-12 11:51

ubuntu hadoop2.x 伪分布部署及集群搭建（完全分布式）

在单机模式的基础上，完成伪分布部署！单机模式安装Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。Hadoop的配置文件位于/usr/local/hadoop/etc/hadoop/中，伪分布式需要修改如下配置文件。Hadoop的配置文件是xml格式，每个配置以声明prope
HeCCXX·2018-05-11 21:50

hadoop权威指南第四版中文PDF及源码

本文带来的资源是hadoop权威指南第四版英文原版、中文版以及配套的源码，内容以Hadoop2.x为主，包含一些hadoop的stable版本的新特性，与之前的版本相比增加了介绍YARN,Parquet
zhouxx·2018-05-03 23:42

Hadoop2.x分布式安装配置

1、mkdirsoftware在根目录下创建software文件夹，把需要安装的压缩文件拷贝到该目录下2、chmod-R777software给software文件夹授权3、cd/software把hadoop-2.7.6.tar.gz压缩包拷贝到/software目录4、cd/home进入home目录；5、mkdirhadoop在home目录下创建hadoop文件夹6、chmod-R777had
小志的博客·2018-05-03 13:45

一、hadoop2.x版本的集群安装

个人安装的是centos6.5,hadoop2.9.0。准备两台虚拟机，一台作为主节点master，一台作为从节点slave1。1、关闭防火墙，禁用selinux#serviceiptablesstatus#查看防火墙状态#serviceiptablesstope#若开启，则关闭#vim/etc/sysconfig/selinux#修改SELINUX=disabled2、网络配置1）确保VMnet
花言简·2018-04-28 10:59

hadoop2.0之mapReduce启动运行全流程解析

mapReduce在Hadoop2.x中各部分简介：ResourceManager，RM：管理集群上资源使用的资源管理器：ApplicationMaster,AM：管理集群上运行任务声明周期的应用管理器
阿华田512·2018-04-20 16:35

HDFS学习

重要特性：1）HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数（dfs.blocksize）来规定，默认在hadoop2.X中是128M，老版本中是64M。
记得_5d12·2018-04-17 09:16

Hadoop3.x新特性

Hadoop3.x概述Hadoop3.x中增强了很多特性，并且也改进了很多地方，是Hadoop2.x的升级（这不是废话吗）。
ZeroOne01·2018-04-10 12:07

大数据的概述

一.大数据的应用场景二.hadoop2.x概述三.hadoop2.x的生态系统一：大数据的应用场景1.12015大数据峰会：过去7年我们从互联网创业到互联网产业，很快进入互联网经济，而且正在从IT走向DT
flyfish225·2018-04-10 10:15

分布式资源调度——YARN框架

YARN产生背景YARN是Hadoop2.x才有的，所以在介绍YARN之前，我们先看一下MapReduce1.x时所存在的问题：单点故障节点压力大不易扩展MapReduce1.x时的架构如下：可以看到，
ZeroOne01·2018-03-27 15:54

Hadoop2.7.5伪分布式配置及遇到的问题总结

系统信息操作系统：Ubuntu16.04.4LTS64bitHadoop版本：Hadoop2.7.5JDK版本：JDK1.8.0_16164bit参考资料hadoop2.x配置hadoop2.7.3伪分布式搭建之三
卖了论文娶媳妇·2018-03-06 00:59

Hadoop2.7.5伪分布式配置及遇到的问题总结

系统信息操作系统：Ubuntu16.04.4LTS64bitHadoop版本：Hadoop2.7.5JDK版本：JDK1.8.0_16164bit参考资料hadoop2.x配置hadoop2.7.3伪分布式搭建之三
卖篇论文娶媳妇·2018-03-04 12:51

cm-5.13下配置hbase客户端，hive客户端，hadoop客户端，spark客户端

客户端配置1.软件要求：hadoop2.60-cdh5.13（感觉要求不是很严格，版本兼容性很好,后来证明我错了，hive-1.1.0-cdh5.13，要求必须是hadoop-cdh5.13的，具体的hadoop2
just_fuck·2018-02-09 15:12

hadoop总结及hdfs的读写流程

其中，hadoop2.x的版本中，概括起来可分为三大核心或四大模块。
bokzmm·2018-02-04 10:27

【YARN篇】基于HA的YARN集群搭建

1.简介：YARN是在hadoop2.x出现的，不参与计算，只是资源的调控者。
塵世星空·2018-02-02 00:06

Mac OS X 上搭建 Hadoop 开发环境指南

Hadoop的配置有些麻烦，目前没有一键配置的功能，虽然当时我在安装过程中也参考了有关教程，但还是遇到了很多坑，一些老版本的安装过程已不适用于hadoop2.x，下面就介绍一下具体步骤。
王大鱼·2018-01-20 10:09

简述hadoop 2.x Yarn组件协作过程

系统结构hadoop2.x主要包括三个核心部分：(1)hdfs-分布式存储组件hadoop用于存储数据的基础组件。分布式的，跨网络交互的hdfs集群。
duchao·2018-01-12 00:00
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他