hadoop2.X

hadoop初体验

集群搭建03)hadoop集群启动与初体验04)MapReduce的历史记录05)HDFS的垃圾桶机制01--ApacheHadoop--介绍和发展历程01)hadoop的介绍00)hadoop1.x和hadoop2
贾江浦·2019-10-23 20:00

Hive-安装

Hive/GettingStarted下载地址：https://hive.apache.org/downloads.html&https://archive.apache.org/dist/hive/Hadoop2
江湖小小白·2019-10-04 22:00

Hadoop2.X/YARN环境搭建--CentOS7.0 JDK配置

Hadoop是Java写的，他无法使用Linux预安装的OpenJDK,因此安装hadoop前需要先安装JDK（1.6以上）原材料：在Oracle官网下载的32位JDK：说明：1、CentOS7.0系统现在只有64位的，但是，Hadoop一般支持32位的，在64位环境下有事会有Warning出现，避免真的有神马问题，选择i586的JDK（即32位的），当然，64位的CentOS7肯定是兼容32位J
·2019-09-23 18:44

Hadoop2.X/YARN环境搭建--CentOS7.0系统配置

一、我缘何选择CentOS7.014年7月7日17:39:42发布了CentOS7.0.1406正式版,我曾使用过多款Linux，对于Hadoop2.X/YARN的环境配置缘何选择CentOS7.0，其原因有
·2019-09-23 18:44

Hadoop MapReduce Spark 配置项

适用范围本文涉及到的配置项主要针对Hadoop2.x，Spark2.x。
walker·2019-09-23 06:59

大数据开发-HDFS-web页面权限不足问题

在hadoop2.7.4(hadoop2.X)中通过hdfs管理界面查看/tmp目录出现如下错误：Permissiondenied:user=dr.who,access=READ_EXECUTE,inode
farAway·2019-09-14 00:00

Yarn

1Hadoop1.x和Hadoop2.x架构区别在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。在Hadoop2.x时代，增加了Yarn。
不稳定记忆·2019-09-08 20:31

Hadoop2.x的集群搭建与配置（七）——Hadoop安装配置

终于进入了最核心，同样也是为以后打的最基础的操作——hadoop的集群安装与配置要问那之前的算什么emmm充其量算是虚拟机啦，linux啦，基础环境什么的准备工作话不多说，正式开始。首先，我们需要去官网下载个hadoop的包，要linux版本的压缩包，应该是以tar.gz为结尾的，至于版本，不要最新的，因为最新的话很可能会出现生态圈开发不完全，与低版本不匹配等情况，我们这里以2.5.2为例我们将下
铭chen·2019-08-13 14:23

Hadoop学习笔记1

Hadoop学习笔记11大数据概述1.1什么是大数据1.2大数据典型应用1.2.1影视推荐系统1.2.2精准营销系统2Hadoop概述2.1Hadoop简介2.2Hadoop1.x与Hadoop2.x的区别
ChengZi~·2019-08-11 14:28

Hadoop版本升级（2.7.6 => 3.1.2）

自己的主机上的Hadoop版本是2.7.6，是测试用的伪分布式Hadoop，在前段时间部署了HiveonSpark，但由于没有做好功课，导致了Hive无法正常启动，原因在于Hive3.x版本不适配Hadoop2
buildings·2019-08-09 22:00

从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）

一开始想安装的linux版本是ubuntu14和hadoop2.x版本，但是安装完成后发现操作wi
AD稳稳·2019-07-31 22:52

Hadoop2.x的集群搭建与配置（六）——JDK安装配置

这一步需要一个小工具，用来来连接主机和虚拟机之间，毕竟你要上网下载jdklinux版本的安装包（推荐jdk8，各方面条件都不错，还是那句话，最新的不是最好的），然后要在linux上安装配置。毕竟你的虚拟机不能上网（主要是我之前也没告诉你们怎么弄，主要是因为虚拟机上我个人认为不方便，不安全，不适合联网），所以我们要在windows上下载，然后通过小工具传输到linux上。我所使用的小工具叫XShel
铭chen·2019-07-23 15:05

Hadoop2.x的集群搭建与配置（五）——ssh免密钥登录

最后一步了（忘记是第几次说了，不过这次应该是真的），ssh免密钥登录毕竟分布式工作的时候要不停的相互访问，但是每个结点都像一个独立的家庭，串门的话首先要相互都认识才行（能够相互ping通），然后还要相互熟悉到一定程度，以至于可以肆无忌惮的相互进门访问（这不现实，除非你有我家门的钥匙，能够直接进来），ssh相互免密钥登录就是这个意思。每个虚拟机都有一个公钥和私钥（id_rsa为私钥，id_rsa.p
铭chen·2019-07-23 14:48

Apache Hadoop YARN 的架构与运行流程

YARN产生的背景Yarn是Hadoop2.X版本中的一个新的特性。它的出现其实是为了解决第一代MapReduce编程框架的不足，提高集群环境下的资
javageektech·2019-07-06 09:00

ubuntu - hadoop3.2.0 使用

简单说明hadoop2.x版本和hadoop3.x版本在端口上有一些不一样，在阅读官方文档的时候要注意你现在使用的是哪个版本的文档。同时官网默认打开的是2.9.x版本的文档。
jy.w·2019-06-22 19:59

hadoop之yarn的工作机制（14）

目录yarn的工作机制1.工作机制2.Hadoop1.x和Hadoop2.x架构区别3.Yarn概述4.Yarn基本架构5.工作机制名词解释：工作机制简化版container设置多少资源合适？
怒放de生命2010·2019-06-22 09:07

hadoop2.x HA环境搭建

需要角色进程：nameNode（2个，一个active，一个standby);dataNode(3个），zookeeper（3个），zkfc（健康检查和自动故障转移需要的进程，2个，和两个nameNode在一起）,JNN(3个，日志节点，用来同步两个nameNode）。1.前置准备：java环境，hadoop下载，环境变量配置，nameNode节点向其他节点的免密钥登录（两个nameNode节点需
香港记者mo·2019-06-17 15:50

一文弄懂HDFS基本原理和架构

SecondaryNameNodeHDFS副本存放策略NameNode工作原理SecondNameNode与NameNode交互DataNode与NameNode交互HDFS读写机制HDFS如何读取文件HDFS如何写入文件HDFS新特性(Hadoop2
HaiwiSong·2019-06-09 16:13

Hadoop生态之Yarn资源管理器配置与使用(五)

hadoop2.X中的Yarn主要包括ResourceManag
ansap·2019-05-30 17:17

009 Rpc协议介绍 Rpc案例

RpcYarn中的Rpc协议hadoop2.x中的RpcRpc案例写个程序模拟NameNode和DataNode之间的通信Rpc是CS模式有客户端和服务端所以先写一个协议（就是个接口）packageqf.com.rpc
C_time·2019-05-23 18:26

Hadoop入门——YARN

1.YARN简介  ApacheYARN(YetAnotherResourceNegotiator)，是Hadoop集群的资源管理系统，从Hadoop2.x开始引入，由于YARN具有足够的通用性，因此可以支持其他的分布式计算框架
SK_Jaco·2019-05-10 22:37

Hadoop1.X和Hadoop2.X的运行架构详解

Hadoop1.X运行架构首先了解，JobTracker和TaskTracker都是常服务客户端先和HDFS交互，取到文件的block块信息，由客户端将block按照配置切成split切片，切片的大小完全由配置决定，可以和block块大小相等，也可以大于或者小于。因为客户端获取到的block块信息有偏移量和块的位置信息，所以产生的split切片也会有block所在的位置信息和便宜量，由此获得了文件
Tupac.Amaru.Shakur·2019-05-06 21:35

Hadoop2.X管理与开发

Hadoop2.X管理与开发一、Hadoop的起源与背景知识（一）什么是大数据大数据（BigData），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力
烽火连城516·2019-04-16 13:00

Hadoop2.x的集群搭建与配置（二）——虚拟机配置

这一章，主要说一说虚拟机的安装（由于不专业做博客，仅当笔记所以就不妨图片了，全文文字赘述）我用的虚拟机是：VWareWorkstations15(这个东西不是越新越好，新就代表着存在过去版本没有的东西，也就是你做的东西别人可能用不了)，所以再以后选版本的时候我有选择12版本下载这个虚拟机没什么好说的，正常软件下载操作就可以了（注意到官网下载，以免中毒，顺便支持付费正版）还有下载CentOS7的系统
铭chen·2019-04-09 21:35

Hadoop2.x的集群搭建与配置（一）——概述

我配置hadoop的时候用的时Linux系统（推荐）的CentOS7，由于本机是window10，所以需要借助虚拟机，这里我选用的是VMware这一章不说太多细节操作，说一些理论概述什么的东西，看操作的朋友可以跳过了。整个Hadoop的部署：安装方式大概有两种：传统解压包方式和Linux的标准方式，各有优劣传统解压包方式操作繁琐易错，但是有助于理解Hadoop，而Linux方式简单易用，却隐藏了许
铭chen·2019-04-09 21:10

eclipse接入hadoop-2.7.6集群(hadoop2.x版本通用)，含免费资源

资源：hadoop-2.7.6.tar.gz和hadoop-2.7.6-src.tar.gz:链接：https://pan.baidu.com/s/1gONNnDkRhZYpk9Aob1_ckA提取码：hedmwinutils-master:链接：https://pan.baidu.com/s/1iHVIA_R8sZEuDk-SiTQ42A提取码：02vlhadoop-eclipse-plugin
BigDodo·2019-03-28 20:13

Hadoop2.x的HA（高可用）架构

一、Hadoop系统架构1.1Hadoop1.x和Hadoop2.x架构在介绍HA之前，我们先来看下Hadoop的系统架构，这对于理解HA是至关重要的。
ChaunceyChen·2019-03-28 08:09

【大数据】zookeeper总结

它在Hadoop2.x中的作用是确保整个集群只有一个NameNode是active,存储配置信息等.zookeeper中的角色领导者（lead
GG(❤ ω ❤)YY·2019-03-13 12:00

Hadoop集群搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
一条IT·2019-02-27 18:53

如何在hadoop中处理小文件

一、什么是小文件小文件一般是指明显小于Hadoop的blocksize（hadoop1.x中默认是64M,hadoop2.x中默认是128M）的文件。
流一&·2019-02-20 21:16

centos7搭建完全分布式HDFS

CentOS7.2.1511hadoop版本：2.7.3节点信息：角色地址Namenode192.168.1.182Datanode192.138.1.186Datanode192.168.1.122二、安装jdk安装jdk8，注意：hadoop2
malin002·2019-02-18 18:44

hdfs namenode HA高可用方案

2019/2/18星期一hdfsnamenodeHA高可用方案1、hadoop-ha集群运作机制介绍所谓HA，即高可用（7*24小时不中断服务）//hadoop2.x内置了HA方案实现高可用最关键的是消除单点故障
马吉辉·2019-02-18 15:38

如何创建 Hive 表的几种类型？

hive的表主要有5中类型：内部表分区表外部表桶表视图一、内部表表对应一个目录，表中的数据对应一个文件文件存储在hdfs的Datanode的数据块中，数据块默认的大小是128m（Hadoop2.x的版本
曲健磊·2019-02-15 16:38

Hadoop2.X HA搭建

三台机器：node01,node02,node031.安装hadoop2.x进行配置修改此处为hadoop2.6.5配置hadoop-env.sh,配置jdk环境2.配置core-site.xmlfs.defaultFShdfs
Cheam22·2019-01-14 22:17

spark的HA集群搭建

Hadoop2.x开始，已经使用zookeeper解决了单点故障。同样的策略，spark也利用了zookeeper解决了spark集群的单点故障问题。
原生zzy·2019-01-02 10:21

搜狐实验室 新闻点击量项目

新闻项目大数据实时可视化分析项目项目托管到码云第一章技术点Hadoop2.x、Zookeeper、Flume、Hive、Hbase、Kafka、Spark2.x、SparkStreaming、MySQL
chixushuchu·2018-12-29 10:37

大数据Hadoop核心知识入门学习注意事项

首先hadoop分为hadoop1.X和hadoop2.X，并且还有hadoop生态系统，那么下面我们以hadoop2.x为例进行详细介绍：Hadoop的核心是mapreduce和hdfs。
qq_43713878·2018-12-16 13:23

【大数据技术】1.hadoop集群搭建

一、准备工具VMvare、centOS6.3、SSHSecure客户端（具体安装过程这里不做描述）hadoop2.X压缩包与jdk安装包，我这里准备的JDK和Hadoop软件包如下所示。二、L
chufangcheng·2018-11-02 14:02

hadoop2.x 将namenode 与 SecondaryNameNode 分开部署

修改方法在hadoopnamenode节点上修改hadoop2.7.7目录cd~/hadoop-2.7.7/etc/hadoop/配置[hadoop@namenodeywhadoop]$catmastersdatenodeyw1#说明SecondaryNameNode服务将再这台节点上启动[hadoop@namenodeyw hadoop]$ cat hdfs-site.xml       dfs
A小小书童·2018-11-01 14:01

hadoop 2.7.7 安装（测试环境部署） hadoop2.x部署

hadoop2.7.7安装（测试环境部署）hadoop2.x部署系统环境（censtos6.5）：172.16.57.97 namenodeyw172.16.57.98 datanodeyw1172.16.57.238
A小小书童·2018-11-01 14:39

Hadoop环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
李佳良·2018-10-31 17:32

Hadoop2.x HA

HadoopHA(高可用)一、HDFSHA1.HDFSHA背景*hadoop2版本中可以有多个namenode结点，一个是活跃（active）状态，一个是准备（standby）状态。（haoop1不存在此特性）*HDFS集群中NameNode存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode重新启动。为了
Rita楠神·2018-10-29 21:00

离线计算五hadoop高可用

课程大纲（HADOOP高可用机制）HA运作机制什么是HAHADOOP如何实现HAHDFS-HA详解HA集群搭建目标：掌握分布式系统中HA机制的思想掌握HADOOP内置HA的运作机制掌握HADOOP2.x
志明与春娇·2018-10-28 22:04

【Hadoop2.x】CentOS中jdk的安装，hadoop2.7.3环境配置

前提VMware虚拟机中已正确安装CentOS系统，安装过程可见CentOS6安装下载好jdk-8u151-linux-x64.tar.gz，以及hadoop-2.7.3.tar.gz远程传输文件软件，或命令行下rz传输，我用的是FlashFXP远程工具用的是SecureSRT安装准备\quad\quad为了在日后安装和管理软件方便，自己在Linux系统中创建两个目录，一个专门用来放压缩包，一个用
Daycym·2018-10-28 13:35

【Hadoop2.x】CentOS中jdk的安装，hadoop2.7.3环境配置

前提VMware虚拟机中已正确安装CentOS系统，安装过程可见CentOS6安装下载好jdk-8u151-linux-x64.tar.gz，以及hadoop-2.7.3.tar.gz远程传输文件软件，或命令行下rz传输，我用的是FlashFXP远程工具用的是SecureSRT安装准备\quad\quad为了在日后安装和管理软件方便，自己在Linux系统中创建两个目录，一个专门用来放压缩包，一个用
Daycym·2018-10-28 13:35

Linux下图示安装Hadoop-2.8.5(单机版)

前言：Hadoop2.x的四个模块.HadoopCommon，HadoopHDFS，HadoopMapReduce，HadoopYARN.Centos7的版本。一：Hadoop的的的下载。1.官网。
大道之简·2018-10-25 23:46

Hadoop2.9.1 安装 Hive2.3.3 on ubuntu 16.04

Hadoop2.9.1安装Hive2.3.3onubuntu16.04前言http://hive.apache.org/downloads.html上有说明，hadoop3.x版本需要hive3.0.0，而hadoop2
ljohnmail·2018-10-24 16:57

Hadoop2.x 快速上手--day2--Hdfs文件系统

本节知识1、HDFS架构HDFS特点（优缺点）HDFS架构（各个组成部分及其作用）HDFS可靠性（保证可靠性的多种方式）HDFS特点知识回顾：GFS：是一个可扩展的大型数据密集型应用的分布式文件系统，可在廉价的硬件上运行，具有可靠的容错能力，极高的计算性能，具备最小的硬件投资和运营成本HDFS：HadoopDistributedFileSystem（hadoop分布式文件系统）谷歌GFS的克隆版优
喵鸢·2018-10-22 16:40

Hadoop

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Had
Lovehanxiaoyan·2018-10-22 09:55

HDFS架构及原理初步了解

目录HDFS是做什么的HDFS从何而来为什么选择HDFS存储数据HDFS如何存储数据HDFS如何读取文件HDFS如何写入文件HDFS副本存放策略Hadoop2.x新特性1、HDFS是做什么的HDFS（HadoopDistributedFileSystem
lixuefu·2018-10-18 18:37
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他