Hadoop2 第10页

Hadoop 系列（二）—— 集群资源管理器 YARN

一、hadoopyarn简介ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。

heibaiying·2023-04-18 11:11

Hadoop环境搭建

关闭防火墙三、安装JDK并配置环境变量四、Hadoop并配置环境变量上面每个流程的具体操作如下：一、修改主机名1、修改主机名根目录下输入如下代码：vimetc/hostname然后把当前的主机名改掉，我改成了hadoop2

你说我对钱一往情深·2023-04-18 07:34

【大数据Hadoop】HDFS3.3.1-Namenode-缓存管理

缓存管理命令HDFS集中式缓存架构CacheManager类实现CacheReplicationMonitor前言Hadoop2.3.0版本新增了集中式缓存管理（CentralizedCacheManagement

笑起来贼好看·2023-04-18 05:24

hadoop 2.0 hdfs 完全分布式安装(HA)

hadoop2.0hdfs完全分布式安装(HA)NN-1NN-2DNZKZKFCJNNnode08***node09*****node10***node11**【1】在Hadoop1.0hdfs完全分布式集群搭建基础上搭建

十指演绎悲伤·2023-04-18 05:43

Hadoop2.0分布式集群的平台搭建

一、Hadoop集群安装前的准备基础环境四台Centos6.5IP地址：192.168.174.128192.168.174.129192.168.174.130192.168.174.131四台主机新建hadoop用户并实现ssh免密登陆iptables关闭和selinux为disabled1.修改主机名和ip地址映射为了后面操作方便，修改主机名分别为hadoop01、hadoop02、hado

weixin_33972649·2023-04-18 05:42

Hadoop2.2.0伪分布式搭建

1.准备Linux环境1.1开启网络,ifconfig指令查看ip1.2修改主机名为自己名字(hadoop)vim/etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop1.3修改主机名和IP的映射关系vim/etc/hosts192.168.182.128hadoop1.4关闭防火墙#查看防火墙状态serviceiptablesstatus#关闭防火

刘昌进·2023-04-18 05:11

Eclipse环境搭建并且运行wordcount程序

一、安装Hadoop插件1.所需环境hadoop2.0伪分布式环境平台正常运行所需压缩包：eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz在Linux环境下运行的

|旧市拾荒|·2023-04-18 05:10

Hadoop2.0伪分布式平台环境搭建

一、搭建环境的前提条件环境：ubuntu-16.04hadoop-2.6.0jdk1.8.0_161。这里的环境不一定需要和我一样，基本版本差不多都ok的，所需安装包和压缩包自行下载即可。因为这里是配置Hadoop的教程，配置Java以及安装VMwareTools就自行百度解决哈，这里就不写了（因为教程有点长，可能有些地方有些错误，欢迎留言评论，我会在第一时间修改的）。二、搭建的详细步骤1.配置免

|旧市拾荒|·2023-04-18 05:40

Hadoop2.0全分布式集群架构

Hadoop安装1.创建hadoop用户组;$sudoaddgrouphadoop记下这里为hadoop用户设置的密码，后面使用hadoop用户登录时需要用到。2.创建hadoop用户;$sudoadduser-ingrouphadoophadoop3.给hadoop用户添加权限，打开/etc/sudoers文件;$sudogedit/etc/sudoers给hadoop用户赋予root用户同样的

狮锅艺·2023-04-18 05:40

2019-10-29 spark系列（一） spark 安装

请注意，从Spark2.2.0起，对Java7，Python2.6和旧的Hadoop2.

非甲即丁·2023-04-18 01:52

Hadoop安装部署

安装搭建centos7免密登录配置2.7.5下载地址2.1集群规划集群规划2.2上传安装包到/opt/software2.3修改配置文件★路径/opt/software/hadoop-2.7.5/etc/hadoop2.3.1

Jinx菜鸟之路·2023-04-17 15:00

Spark环境搭建安装及配置详细步骤（保姆教程）

tar-zxvfspark-2.1.1-bin-hadoop2.7.tgz-C/opt/apps/cd/opt/apps/mvspark-2.1.1-bin-hadoop2.7spark-local 1

西皮树下·2023-04-17 14:06

【Docker】Docker安装Hadoop分布式集群

Docker安装分布式Hadoop集群一、准备环境1.查看docker的hadoop镜像dockersearchhadoop2.拉取stars最多的镜像dockerpullsequenceiq/hadoop-docker3

牧码文·2023-04-17 02:18

Hadoop集群启动后,在web:50070端口只有两个datanode节点

spark集群部署规划：hadoop1masterworkerdatanodenamenodesecondarynamenode(hadoop)resourcemanagernodemanager(yarn)hadoop2workerdatanodenodemanagerhadoop3workerdatanodenodemanager

肉肉肉肉肉肉~丸子·2023-04-16 01:23

Hadoop 笔记（一） HDFS 和 MapReduce 体系结构

Hadoop2.x由Common、HDFS、YARN、MapReduce组成。两者的Common和HDFS部分相同，前者主要为其它模块提供服务，起到辅助作用，后者是Hadoop的文件系统。

笨蛋程序员·2023-04-15 15:11

Flink集群部署

基础环境配置下载安装flink下载安装flink安装包文件，并解压：tar-zxvfflink-1.7.1-bin-hadoop27-scala_2.11.tgz-C.

眼君·2023-04-15 10:12

HDFS架构和读写流程

分布式的)HDFS的使用场景:适合一次写入,多次读的场景,且不支持文件的修改HDFS快的大小HDFS中文件物理上是分块存储(Block),块的大小可以通过(dfs.blocksize)来规定,默认大小Hadoop2

冰可乐～·2023-04-15 01:08

Hadoop安装

建议使用版本hadoop2.7.1+hbase1.2.1+hive2.0.0+zookeeper3.4.8这里我使用的hadoop2.8，但是hadoop2.8并不支持base1.0之后的版本推荐使用Hadoop2.7

比基尼海滩章鱼哥·2023-04-14 23:05

【HDFS】HDFS学习笔记

2.HADOOP2.0对HADOOP1.0进行了改进。·增加了资源调度框架Yarn。将

Jessie_hhhhhzy·2023-04-14 07:24

Hadoop2.7.5集群搭建

官方文档：Hadoop–ApacheHadoop2.7.5《Hadoop权威指南》第四版中文版pdf：链接：https://pan.baidu.com/s/1WDWgZLlErWf6S-9JJwiAqQ

QYHuiiQ·2023-04-14 04:26

Flink集群搭建

前置Hadoop2.7.5集群搭建：https://blog.csdn.net/QYHuiiQ/article/details/123055389集群角色分配HostnameIPRolehadoop01192.168.126.132JobManagerhadoop02192.168.126.133TaskManagerhadoop03192.168.126.134TaskManager

QYHuiiQ·2023-04-14 04:54

实践数据湖iceberg 第十七课 hadoop2.7,spark3 on yarn运行iceberg配置

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到iceberg实践数据湖iceberg第四课在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）实践数据湖iceberg第五课hivecat

*星星之火*·2023-04-14 03:51

大数据技术之Hadoop学习(六)——高可用集群搭建

目录一、Hadoop2.0改进与提升二、YARN资源管理框架1、YARN体系结构（1）ResourceManager（2）NodeManager（3）ApplicationMaster2、YARN工作流程三

雨诺风·2023-04-14 03:45

HADOOP高可用机制

1Hadoop的HA机制前言：正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制1.1HA的运作机制（1）hadoop-HA集群运作机制介绍所谓HA，即高可用（7*24小时不中断服务）

BoltBear·2023-04-14 03:45

Hadoop高可用（Hadoop2.x）

Hadoop高可用（Hadoop2.x）目录Hadoop高可用（Hadoop2.x）1.什么是高可用2.Hadoop集群存在的问题3.单点故障3.1HDFS的单点故障3.2NameNode的内存受限的问题

m0_67402341·2023-04-14 02:40

Hadoop2.X之高可用简介及环境搭建

Hadoop2.0之高可用Hadoop2.0产生背景Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题HDFS存在的问题(2个)NameNode单点故障，难以应用于在线场景HA

瓜不田·2023-04-14 02:39

Hadoop系列-Hadoop高可用（三）

一、Hadoop高可用在Hadoop2.0以前的版本，NameNode面临单点故障风险（SPOF），也就是说，一旦NameNode节点挂了，整个集群就不可用了，而且需要借助辅助NameNode来手工干预重启集群

Just Jump·2023-04-14 02:39

Hadoop2.x高可用架构

Hadoop2.xHadoop高可用的架构对于Hadoop高可用架构节点介绍NN服务器会出现脑裂(brain-split)情况什么是脑裂在hadoop2.x版本中，如果存在两个NameNode节点同时服务

没工作的小白·2023-04-14 02:08

3. 使用MRUnit进行Mapeduce的单元测试

4.0.0com.yinbodotcccountwords0.0.1-SNAPSHOTjarcountwordshttp://maven.apache.orgUTF-83.0.30.13.10.98.6-hadoop2junitjunit3.8.1testorg.apache.mrunitmrunit1.1.0hadoop2testorg.apache.hadoophad

逸章·2023-04-13 10:52

黑猴子的家：如何选择Hadoop版本？

实际上，当前Hadoop只有两个版本：Hadoop1.0和Hadoop2.0，其中，Hadoop1.0由一个分布式文件系统HDFS和一个离线计算框架MapReduce组成，而Hadoop2.0则包含一个支持

黑猴子的家·2023-04-13 07:33

单机模式的hadoop安装

单机模式的hadoop安装一、安装Hadoop1、下载hadoop安装包1.1官网下载hadoop2.9.2版本2、hadoop单机环境搭建2.1搭建准备2.2创建安装目录2.3修改配置文件3、启动hadoop3.1

毛伟臣·2023-04-13 04:11

大数据面试题集锦-Hadoop面试题(四)-YARN

2、简述hadoop1与hadoop2的架构异同3、Hadoop的调度器总结4、MapReduce2.0容错性5、HDFS的数据压缩算法?6、mapreduce推

张飞的猪大数据·2023-04-13 01:13

HDFS集群扩容节点

在bigdata114机器安装hadoop2.8.4并且配置环境变量。将namenode服务器上的

ItStar_·2023-04-12 11:03

spark 安装详细步骤

墨染盛夏呀·2023-04-11 03:01

Hadoop（伪分布式）+Spark（local模式）搭建Hadoop和Spark组合环境

Hadoop版本:Hadoop2.7.4创建hadoop用户如果你安装Ubuntu的时候不是用的"hadoop"用户，那么需要增加一个名为hadoop的用户。

It's a cinch!·2023-04-11 03:52

Hadoop伪分布环境搭建（超详细）

实验环境2实验步骤2.1实验准备2.2配置SSH免密登录2.3Hadoop安装与配置2.4配置hadoop的多个配置文件2.5格式化HDFS2.6启动集群1实验环境OracleLinux7.4JDK1.8Hadoop2.7.42

ZIYE_190·2023-04-10 07:23

Note04：Hadoop2.7.2 完全分布式安装配置(CentOS6.8)

虚拟机环境准备3台虚拟机（一个拥有root权限的用户，关闭防火墙、静态ip、主机名称）修改/etc/hosts文件创建用户和常用文件夹JDK安装配置添加脚本xsync.sh和xcall.shSSH无密登录配置集群时间同步Hadoop安装导入已经编译过压缩包（提取码：j9oe）至/opt/software目录下(因为官方只提供32位的版本，我们需要自己将32位编译成64位)解压hadoop到/opt

K__3f8b·2023-04-10 04:13

关于hive的启动和连接

目录一.前言二.hive的启动与连接2.1启动hadoop2.2启动hive2.3一些注意事项一.前言太久没用hive了，今天想重新熟悉一下，结果发现自己甚至忘记了怎么启动。。

Twilight Sparkle.·2023-04-10 01:10

hive启动的两种方式

local/bin:/usr/sbin:/usr/bin:/root/bin:/bin:/opt/soft/jdk180/bin:/opt/soft/zookeeper345/bin:/opt/soft/hadoop260

honconM·2023-04-10 01:40

大数据组件安装过程

zookeeper安装的三种模式-jxwch-博客园1、搭建HBase完全分布式集群-365upit-博客园Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS_给力星Storm

Oran_5590·2023-04-09 23:45

Spark入门（无理论）

win10idea+虚拟机（hadoop2.6.1+spark2.1.0）一、环境配置1.win10配置（1）添加JDK1.8、Maven3.3.9、hadoop对应版本插件需要修改的变量环境变量可以是相对路径

码戈·2023-04-09 20:36

hadoop架构总结（三）

YARNYARN资源管理系统正式出现是在hadoop2.0版本，目的是解决1.0中执行mapreduce时JobTracker兼并资源调度和任务监控的过载问题。

苍鹰嘉措·2023-04-09 15:53

分布式平台搭建

分布式平台搭建acmore2018.6.171.搭建Hadoop以下操作皆基于Ubuntu16.0432位环境&Hadoop2.7.3版本1.1单节点环境首先安装相关的准备环境$sudoaptupdate

驹隙拾遗·2023-04-09 13:33

centos7搭建kylin3.1.0

一下载软件具体版本apache-livy-0.6.0-incubating-binhadoop-2.7.0jdk1.8.0_141spark-2.3.1-bin-hadoop2.6apache-kylin

bluesky2004·2023-04-09 08:59

Windows上配置Python+Spark开发环境

配置过程详细配置步骤参考：Windows和PC机上搭建Spark+Python开发环境的详细步骤按照上述配置过程，当采用Anaconda5.1（Python3.6）+java1.7.0_79+spark2.0.1+Hadoop2.6.0

桂小林·2023-04-09 04:27

Hadoop集群环境搭建（超详细）

目录1实验环境2实验准备3配置SSH免密登录4Hadoop安装与配置1实验环境OracleLinux7.4JDK1.8Hadoop2.7.42实验准备1.实验准备三台机器分别为master,slave1

ZIYE_190·2023-04-08 16:18

Kafka快速上手教程 1

1.2课程来源参考资料：http://kafka.apache.org/documentation.html1.3.实验知识点生产者/消费者模型单机/集群的区别设计原理1.4实验环境Hadoop2.6.1kafka

oxuzhenyi·2023-04-08 15:09

使用ES-Hadoop 6.5.4编写MR将数据索引到ES

目录1.开发环境2.下载地址3.使用示例4.参考文献1.开发环境Elasticsearch6.5.4ES-Hadoop6.5.4Hadoop2.0.02.下载地址ES-Hadoop下载地址如下：官网地址

weixin_30654583·2023-04-08 04:44

使用es-hadoop同步hive和es之间数据

环境：hadoop2.6.4、hive1.2.1、elasticsearch7.6.1、centos71、下载与es版本一致的es-hadoop版本wgethttps://artifacts.elastic.co

m0_67393828·2023-04-08 04:09

【ES实战】ES-Hadoop之关键特性、要求、安装、核心架构

文章目录KeyfeaturesRequirementsJDKElasticsearchHadoopApacheYARN/Hadoop2.xApacheHiveApacheSparkApacheSparkSQLInstallationMinimalisticbinariesDevelopmentBuildsUpgradingYourStackArchitectureMap

顧棟·2023-04-08 04:55

推荐频道

Hadoop2