hadoop2

Hadoop 2.x组成

Hadoop2.x组成HDFS：一个高可靠、高吞吐量的分布式文件系统、对海量数据的存储。MapReduce：一个分布式的资源调度和离线并行计算框架。Yarn：基于HDFS。
weixin_44389390·2023-03-31 09:32

Zookeper报错：Will not attempt to authenticate using SASL (unknown error)|防火墙的问题

我是Hadoop2.5和centos6，因此没法用systemtcl，就使用serive命令。
写代码的资资·2023-03-31 09:30

Hadoop2.0构成之HDFS2.0

HDFS2.0之HA主备NameNode：1、主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换；2、主NameNode的信息发生变化后，会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中；3、所有DataNode同时向两个NameNode发送心跳信息（块信息）；两种切换方式：1、手动切换：通过命令实现主备之间的切换，可以用于HDFS升级等场
weixin_33868027·2023-03-31 09:20

hadoop 2.x HDFS系统架构详解

Hadoop2.0的核心架构，HDFS2、YARN、MapReduce和其他。
辰阳星宇·2023-03-31 09:38

【大数据】【Hadoop】4、Hadoop系统的组成（Hadoop2.x）

文章目录Hadoop2.X简介；一、容器二、节点管理器三、资源管理器四、应用程序管理器五、YARN请求分解Hadoop2.X简介；Hadoop2.0，经常被称为MapReduce2.0（MRv2)或者YARN
jts2015·2023-03-31 09:16

Windows7下Hadoop2.7.2环境配置

准备工作hadoop-2.7.2.tar.gz链接：https://pan.baidu.com/s/1eFRwGeutjWBE-ZD1C_zYqg提取码：uo7bhadooponwindows-master.zip链接：https://pan.baidu.com/s/1JxlWVpTfH9SZJFSsGjKNkA提取码：25ko操作解压hadoop-2.7.2.tar.gzimage.png修改配
Demons_LLL·2023-03-30 21:35

janusgraph安装部署

1.安装和部署1.下载janusgraph-0.3.2-hadoop2包，上传到/opt目录下，之后解压sudounzip~/janusgraph-0.3.2-hadoop2.zip2.进入目录，因为es
苏苏JS·2023-03-30 20:27

Flink学习笔记【巨详细！】（二）

安装Hadoop集群，Hadoop建议选择Hadoop2.7.5以上版本。配置集群节点服务器间时间同步以及免密登录，关闭防火墙。3.1.2本地启动最简单的启动方式，其实是不搭
水花还在漂移·2023-03-30 04:31

大数据(一) - hadoop生态系统及版本演化

高扩展性和高吞吐率的数据存储服务HDFS源自于Google的GFS论文(发表于2003年10月)，是GFS克隆版YARN：资源管理系统（YetAnotherResourceNegotiator）：负责集群资源的统一管理和调度，Hadoop2.0
will的成长之路·2023-03-29 20:46

Hadoop 版本演进

NameNodeHA：NameNode高可用，HDFSFedreation分布式文件系统联盟解决了1带的单点问题Yarm分布式资源管理系统，解决JobTrack单点问题1.hadoop1.x版本的生态系统：2.hadoop2
cuituancheng9378·2023-03-29 20:30

hadoop版本演化

分别是0.20.x,0.21.x,0.22.x和CDH32、0.20.x最后演化成1.0.x,成为稳定版本3、0.21.x和0.22.x则增加NameNodeHA等新的重大特性二、第二代hadoop：hadoop2.01
afahan·2023-03-29 20:56

HDFS的高可用(HA)--------通俗易懂的分析

NameNode;DN:DataNode)HDFS的高可用(HA)也称为联邦HDFS,因为单个namenode在HDFS集群中可能发生单节点故障,一旦节点不可用,那么整个HDFS集群就会处于不可用状态.现在,在Hadoop2
有这么个程序员·2023-03-29 19:26

浅析分布式文件系统HDFS的高可用架构的实现

本文主要介绍基于Hadoop2.0下的HDFS的高可用架构设计，以及关于HDFS的一些常规操作技巧。实际上，Hadoop已经发展到了3.0，这里之
海睿思·2023-03-29 19:10

HDFS架构概述

以下内容皆来自于网络，只以学习为目的，不用于任何商业任务HDFS系统架构1、块（Block）：将一个文件进行分块，默认大小在Hadoop2.x的版本中是128M，老版本是64M。
TinaGioro·2023-03-29 19:06

hbase centOS生产环境配置笔记 (1 NameNode, 1 ResourceManager, 3 DataNode)

hadoop版本：hadoop-2.4.1HBase版本：hbase-0.98.6.1-hadoop2Zookeeper版本：ZooKeeper3.4.6JDK：1.6操作系统：centOS6.364bit1
weixin_30888413·2023-03-29 13:31

HBase安装与配置问题

简单介绍一下我的环境1.CentOS6.52.Hadoop2.23.jdk1.74.HBase0.985.Zookeeper3.4在官网下载HBase安装包Hba
蜗牛海胆·2023-03-29 12:36

Hadoop伪分布模式搭建（基于Linux-centos7）

工具：finalshell、Vmware-Linux-centos虚拟机伪分布模式环境必备：jdk1.8.0-8u311、hadoop2.6.5进行伪分布搭建之前需要配置jdk环境和下载Hadoop相关文件
稻草人想看远方·2023-03-28 20:54

在虚拟机CentOs7中配置hadoop2.7.5伪分布式

因完全分布式的集群安装hive后hive出现了点问题导致无法用hive进行select查询,导致学习进度卡住,所以我决定去搭建一个伪分布式的hadoop集群,一下就是安装过程.搭建伪分布式集群准备条件第一部分安装前部署1.查看虚拟机版本2.查看IP地址3.修改主机名为hadoop4.修改/etc/hosts5.关闭防火墙6.关闭SELINUX7.安装yum源并安装基础包8.关闭不必要的服务9.安装
LAllenKing·2023-03-28 20:18

CentOS7下安装Hadoop伪分布式

前提条件拥有CentOS7服务器版环境软件版本说明jdk1.8hadoop2.7.3虚拟机环境准备通网络能ping通外网，例如：pingbaidu.com如果ping不通，可以修改如下文件：vi/etc
Hadoop_Liang·2023-03-28 20:18

Hadoop框架简述

Hadoop2.0的核心包括分布式文件管理系统（HDFS）、资源管理和调度框架YARN和分布式计算框架MapReduce.HDFS是一个具有高容错性的文件系统，适合部署在廉价的机器上，并且能够提供高吞吐量的数据访问
DontCareOthers·2023-03-28 20:16

1.CentOS7 搭建 Hadoop 单节点模式

目录1.前期准备1.1.硬件要求1.2.jdk8环境1.3.ssh命令1.4.关闭防火墙1.5.下载Hadoop2.安装Hadoop2.1.上传安装包并解压2.2.配置JAVA_HOME2.3.伪分布模式启动
墨家先生·2023-03-28 19:24

虚拟机centos7配置Hadoop单节点伪分布配置教程

配置静态网络常见问题归纳_张小鱼༒的博客-CSDN博客centos7克隆虚拟机完成后的的一些配置介绍_张小鱼༒的博客-CSDN博客文章目录目录系列文章目录文章目录前言一、前期准备二、Hadoop介绍2.1、ApacheHadoop2.2
张小鱼༒·2023-03-28 19:06

大数据之CDH5.16.1集成Tez0.9.2

tez官网地址为：http://tez.apache.org/tez是在hadoop2才引入的，如图所示：tez.png图片来源：https://z
LearnBigData·2023-03-28 12:50

Hadoop中datanode启动失败

重新安装了hadoop2.8.5，装完之后重新启动发现namenode可以启动成功，但是datanode启动失败。
刺雒·2023-03-27 10:07

大数据存储与处理——配置HADOOP伪分布式

通常用于开发调试，或者感受hadoop2、伪分布模式：在学习当中一般都是使用这种模式，伪分布模式就是在一台机器的多个进程运行多个模块。虽然每一个模块都有相应的进程，但是却还是运行在同一个系统里
取个程序猿的名字·2023-03-26 18:44

Presto技术源码解析总结-一个SQL的奇幻之旅 上

Presto技术总结因为内容过长分为了上下两集1.环境准备Hadoop环境，Hive环境，mysql环境，ssh环境，presto本机debug环境推荐hadoop2.2.0、hive1.2.1、mysql5.7
小武大讲堂·2023-03-25 14:57

HDFS是如何设计架构的？

前言Hadoop到目前为止发展已经有10余年，版本经过无数次的更新迭代，目前业内大家把Hadoop大的版本分为Hadoop1.0、Hadoop2.0、Hadoop3.0三个版本。
大数据老哥·2023-03-25 06:57

Hadoop中Block和Split的区别

系统也提供默认大小，其中Hadoop1.x中的默认大小为64M，而Hadoop2.x中的默认大小为128M。
星星之火在心中·2023-03-24 20:07

基于 Docker 搭建 Hadoop 平台

基于Docker搭建完全分布式Hadoop平台前言环境遇到的坑折腾实录一、构建镜像1.准备JDK和Hadoop2.构建centos-hadoop镜像二、启动容器三、集群搭建1.进入容器2.配置主机名与IP
不思故亡·2023-03-24 18:10

Spark-2.3安装配置

下载安装官网下载解压即可环境变量配置SPARK_HOMEPATH启动spark-shell匹配的环境hadoop2.7匹配scala-2.11.*
playman·2023-03-24 16:14

162.Hadoop（一）：Hadoop基本概念，基本环境安装，单机运行，各虚拟机数据同步

目录一、Hadoop基本概念1.什么是Hadoop2.Hadoop的优势3.Hadoop组成4.HDFS概述5.YARN概述6.MapReduce概述7大数据整体的技术栈学历路径二、基本环境搭建1.配置虚拟机
鹏哥哥啊Aaaa·2023-03-23 21:57

在Windows操作系统上编译Hadoop源码

一、操作系统和Hadoop版本Windows10专业版（64位），Hadoop2.7.2。
winfield821·2023-03-23 00:20

******题目

0、hadoop1.x和hadoop2.x区别1、概念理解HDFS组成：1)NameNode(Master):主管,管理者1.管理HDFS的命名空间;2.副本配置策略;3.管理数据块(block)的映射信息
shone_shawn·2023-03-21 16:26

解决集群部署Hadoop 启动后没有ResourceManager问题

jps命令没有看到ResourceManager2.查看ResourceManager日志出现java.lang.reflect.InaccessibleObjectException异常解决方法1.停止hadoop2
_DiMinisH·2023-03-20 08:42

【DataSphereStudio - 1.1.0 安装介绍】

1.DataSphereStudio介绍2.DataSphereStudio安装2.1基础软件安装2.1.1注意事项2.1.2软件版本2.1.3需要的命令工具2.1.4创建用户配置权限及免密2.1.5Hadoop2.7.2
yuhh_·2023-03-19 11:45

Flink部署之Yarn

安装Hadoop集群，Hadoop建议选择Hadoop2.7.5以上版本。配置集群节点服务器间时间同步以及免密登录，关闭防火墙。三台服务器的具体设置如下：节点服务器1，IP地址为192.168.8
Joker_Jiang3·2023-03-19 11:39

3.Spark环境搭建-Spark完全分布式集群搭建

用户搭建集群(生产环境中root用户不是可以任意使用的)spark安装包下载地址：https://mirrors.aliyun.com/apache/spark/我用的spark-2.2.0-bin-hadoop2.7
__元昊__·2023-03-18 08:26

大数据Hadoop原理介绍+安装+实战操作（HDFS+YARN+MapReduce）

一、Hadoop概述Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（HadoopDistributedFileSystem）、MapReduce（Hadoop2.0加入了YARN
大数据老司机·2023-03-17 20:38

Hadoop集群环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
weare_b646·2023-03-17 08:55

Linux常用的九个高级命令

它将显示系统中CPU最“敏感”的任务列表.该命令可以按CPU使用.内存使用和执行时间对任务进行排序；而且该命令的很多特性都可以通过交互式命令或者在个人定制文件中进行设定.命令与显示结果[itshare@hadoop201
满山李子·2023-03-15 17:43

pycharm常用配置

software/anaconda3/envs/pyspark_env/lib/python3.8/site-packages/pyspark/jars3.yarn使用hdfs:///tmp/zzdb/hadoop27
kangwq2017·2023-03-15 12:34

pyspark--报错java.util.NoSuchElementException: key not found: _PYSPARK_DRIVER_CALLBACK_HOST解决

环境Python3.5.2Pyspark2.4.2hadoop-2.6.0spark-2.2.0-bin-hadoop2.6.tgz运行spark本地报错：解决安装对应版本pysparkpipintsallpyspark
我心依依旧·2023-03-15 12:33

PySpark完美安装

一、hadoop版本号确认1.hadoop==>2.7.2[root@dm46TDH-Client]#hadoopversionHadoop2.7.2-transwarp-6.2.0Subversionhttp
kangwq2017·2023-03-15 12:31

03_HADOOP_01_介绍

学习视频是基于hadoop2.6.5版本，看官网截止20190818已到3.2.0版本，但该版本官网说明尚未普遍GA或生产可用。
超级小小张·2023-03-15 11:26

cassandra本地连接失败,Spark-Cassandra Connector：无法打开到Cassandra的本地连接

IamnewtoSparkandCassandra.Ontryingtosubmitasparkjob,IamgettinganerrorwhileconnectingtoCassandra.Details:Versions:Spark:1.3.1(buildforhadoop2.6orlater
林桂鑫·2023-03-15 08:55

hadoop2.9.1+spark2.3字数统计java实例集群运行（idea）

一搭环境Hadoop2.9.2+spark2.3参考https://blog.csdn.net/qazwsxpcm/article/details/78937820二实例运行1打开idea,file-new-project
葡萄超好吃·2023-03-15 07:50

win10下配置hadoop2.9（使用python单机运行任务）

先期准备：java环境已安装着手开始：1、下载hadoop稳定版：http://hadoop.apache.org/->左边点Releases->点mirrorsite->http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common->stable/->hadoop-2.9.0.tar.gz点击即可下载。2、解压并配置hadoop环境，新建HAD
Gospel元嘉·2023-03-15 00:12

Pinpoint部署实践（二）搭设Hbase集群

Hbase集群搭建安装Hbase下载http://hbase.apache.org/downloads.html这里我选择的1.4.9版本，和上篇文章的Hadoop2.9.2版本能够兼容。
哲人王·2023-03-14 12:27

Flink实战之Flink必须依赖Hadoop2.7+？

背景最近在用filesystemconnector来写hdfs，底层是通过StreamFileSink实现的。在看官方文档时，有几条注意事项，其中第一条如下：WhenusingHadoopsrc=env.addSource(newFlinkKafkaConsumer("UTF-8")).withRollingPolicy(DefaultRollingPolicy.builder().build()
〇白衣卿相〇·2023-03-14 03:58

hadoop学习之hadoop简易安装配置

学习环境清单ubuntu16.04windows7hadoop2.9.0jdk8一下载安装hadoop首先创建好目录，用于后续文件的归类存放，执行下述命令sudomkdir-p/data/software
你看见皮卡丘了吗·2023-03-12 18:18
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他