hadoop2 第2页

NameNode瞬时高并发导致短暂不可用，Hadoop2.7二次开发

版本hadoop2.7分段锁优化Namenode的FSNamesystem类中主要有三块。

邵红晓·2024-01-13 06:24

设置5台SSH互免的虚拟机服务器配置

步骤如下——1、准备五台机器服务器名字服务器IPhadoop1192.168.31.130hadoop2192.168.31.131hadoop3192.168.31.132hadoop4192.168.31.133hadoop5192.168.31.134

朱季谦·2024-01-12 23:24

Spark完全分布式集群搭建

用户搭建集群(生产环境中root用户不是可以任意使用的)spark安装包下载地址：https://mirrors.aliyun.com/apache/spark/我用的spark-2.2.0-bin-hadoop2.7

小猪Harry·2024-01-12 00:41

【spark】基于Spark的电影推荐系统+[详细代码及配置]

BIG*BOSS·2024-01-10 06:25

Hadoop体系结构之 HDFS

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改

Alukar·2024-01-10 05:05

大数据技术原理与应用学习笔记（八）

大数据技术原理与应用学习笔记（八）本系列历史文章Hadoop再探讨Hadoop的优化与发展Hadoop1.0到Hadoop2.0不断完善的Hadoop生态系统HDFS2.0新特性HDFSHA（高可用性）

Ragnaros the Firelord·2024-01-09 22:46

大数据技术原理与应用笔记

NoSql入门文章目录一、大数据概述1.1大数据时代1.2大数据的概念和影响1.3大数据的应用1.4大数据的关键技术1.5大数据,物联网和云计算1.5.1云计算1.5.2物联网检测题二、大数据处理架构Hadoop2.1hello

Moliay·2024-01-09 22:16

hive基本操作与应用

1、通过hadoop上的hive完成WordCount启动hadoop2、Hdfs上创建文件夹/3、上传文件至hdfs4、启动Hive5、创建原始文档表6、导入文件内容到表docs并查看7、用HQL进行词频统计

weixin_34416649·2024-01-09 06:16

Hadoop、Pig、Hive、Storm、NOSQL 学习资源收集【Updating】 (转)

原理与编码（五）数据仓库与挖掘（六）Oozie工作流（七）HBase（八）flume（九）sqoop（十）ZooKeeper（十一）NOSQL（十二）Hadoop监控与管理（十三）Storm（十四）YARN&Hadoop2.0

我爱大海V5·2024-01-08 08:15

《深入理解Hadoop（原书第2版）》——2.4 Hadoop 2.0

2.4Hadoop2.0MapReduce已经进行了全新升级，即Hadoop2.0，升级后的版

weixin_34174322·2024-01-08 08:44

Hadoop精选18道面试题(附回答思路)

1.简述Hadoop1和Hadoop2的架构异同HDFSHA(HighAvailablity)一旦Active节点出现故障，就可以立即切换到Standby节点，避免了单点故障问题。

Byyyi耀·2024-01-08 06:00

hadoop调优

1.1.1NameNode内存计算每个文件块大概占用150byte，如果一台服务器128G，能存储的文件块如下128(G)*1024(MB)*1024(KB)*1024(Byte)/150Byte=9.1亿1.1.2Hadoop2

健鑫.·2024-01-07 18:25

linux下spark的python编辑_Linux下搭建Spark 的 Python 编程环境的方法

tar-xzfspark-2.4.2-bin-hadoop2.

weixin_39752800·2024-01-07 13:10

virtualbox的下载，打开.vdi文件并启动Hadoop系统

目录一、virtualbox的下载二、新建Ubuntu系统1、确定好镜像系统的位置2、新建虚拟系统三、Hadoop系统的启动1、启动Hadoop2、启动hbase3、启动spark4、启动hive5、hadoop

汤汤upup·2024-01-07 13:08

HDFS&Yarn HA架构设计

一、为什么要用HA在hadoop2.0.0之前，在hdfs集群中，NameNode是存在单点故障问题的。

吃货大米饭·2024-01-05 20:22

【大数据（一）】hadoop2.4.1集群搭建(重点)

1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=server1.itcast.cn1.2修改ip地址vi/etc/sysconfig/network-scripts/ifcfg-eth0重新启动网络：servicenetworkrestart1.3修改ip地址和主机名的映射关系v

幸福巡礼·2024-01-05 08:09

2018-05-21

1.hadoop是什么广义就是hadoop生态圈，狭义就是单指hadoop2.hadoop三大组件是什么?

CrUelAnGElPG·2024-01-01 23:55

扩展Hadoop 3.x新特性概述

这是因为Hadoop2.0是基于JDK1.7开发的，而JDK1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK1.8重新发布一个新的Hadoop版本，而这正是Hadoop3.x。

奋斗的蛐蛐·2024-01-01 20:44

【2023Hadoop大数据技术应用期末复习】填空题题型整理

大数据的4V特征包含（）（）（）（）答案：大量、多样、高速、价值Hadoop三大组件包含（）（）（）答案：HDFS、MapReduce、YarnHadoop2.x版本中的HDFS是由（）（）（）组成答案

Lacszer·2024-01-01 10:23

Hadoop之Yarn 详细教程

1、yarn的基本介绍和产生背景YARN是Hadoop2引入的通用的资源管理和任务调度的平台，可以在YARN上运行MapReduce、Tez、Spark等多种计算框架，只要计算框架实现了YARN所定义的接口

白鸽呀·2023-12-30 08:57

CentOS 7.6搭建Hadoop2.9.2完全分布式集群，狠详细！

一、概述本文基于宿主机Win10笔记本（8G+256固态，连接无线wifi）+三台虚拟机进行搭建。以下为搭建的详细过程，接近于现场直播Live。二、软件环境准备使用到具体软件及版本如下：虚拟机VMwareVMware-workstation-full-12.5.7-5813279.exe下载地址https://my.vmware.com/web/vmware/details?productId=5

cichu1740·2023-12-30 07:26

最全Hadoop实际生产集群高可用搭建

1.环境准备1.1集群规划序号bigdata-001bigdata-002bigdata-003bigdata-004bigdata-005IPxxxxxxxxxxxxxxx组件hadoop1hadoop2hadoop3hadoop4hadoop5

tuoluzhe8521·2023-12-29 00:30

【Hadoop】RPC在client端的源码解析

最近在看《Hadoop2.XHDFS源码剖析》这本书（其实看了挺久的，但是进度比较慢），要看懂hadoop源码真的是需要一定的代码和框架的基础，用到的东西还真是蛮多的，真的厉害，哎，我太菜了~我们会用hadoop

lsr40·2023-12-28 13:01

win7配置hadoop-2.7.7详细教程

Date:2019/09/27Version:hadoop2.7.7;java1.8.0_221;流程安装java下载并解压hadoop压缩包修改配置文件下载winutil，并覆盖启动hadoop0.安装

pluo1717·2023-12-28 04:02

六：Spark集群安装和部署

我的系统配置:(1)安装一个虚拟机：三个ubuntu16.04系统；(2)Master节点：内存分配2g；Slave1节点：内存分配512MB；Slave2节点：内存分配512MB；2.安装路径：(1)Hadoop2.6.5

玉成226·2023-12-26 10:21

Hadoop2.x安全：hadoop集群之kerberos认证（三、常用命令、有效期）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。问题或建议，请公众号留言;如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读概述：开启了Kerberos认证集群之后，集群不再像以前一样随意操作，需要证书进行登录，这里就讲一下我们日常用的的一些kerberos相关的一些操作，包括票据的创建、删除、有效期更改等。常用操作：1

大数据开发运维架构·2023-12-25 15:34

YARN Hadoop2.0 区别

Hadoop2.0与HAdoop1.0的区别：Hadoop1.0主要由HDFS和MapReduce两个系统够长，但在Hadoop2.0中主要由HadoopCommon、HDFS、HadoopYARN和HadoopMapReduce2.0

omygodvv·2023-12-24 23:01

7000字超详细讲解Hadoop、Spark、Storm、YARN，建议收藏！

hadoop2.0以后引入yarn.hdfs是提供数据存储的，mapreduce是方便数据计算的。

套马杆的程序员·2023-12-24 04:49

Hadoop之Yarn

Yarn是Hadoop2.0引入的集群资源管理系统。用户可以将各种服务框架部署在Yarn上，由Yarn进行统一地管理和资源分配。

TZX_0710·2023-12-23 12:27

hadoop使用openJ9报错：unable to find LoginModule class: com.ibm.security.auth.module.LinuxLoginModule解决

为了节约内存，使用IBMJ9JDK跑Hadoop2.10.2，出现以下错误org.apache.hadoop.security.KerberosAuthException:failuretologin:

applebomb·2023-12-22 09:56

Flink高可用集群搭建

部署flink的准备工作flink版本的选择需要考虑hadoop的版本，本集群hadoop的版本为2.7.4,flink的版本为flink-1.7.2-bin-hadoop27-scala_2.11.tgzflink

NikolasNull·2023-12-20 23:44

【大数据面试】YARN常见问题与答案

YARN的改进之处，Hadoop3.x相对于Hadoop2.x?

话数Science·2023-12-19 05:32

【Apache-StreamPark】Flink 开发利器 StreamPark 的介绍、安装、使用

StreamPark的介绍、安装、使用1）框架介绍与引入1.1.什么是StreamPark1.2.Features1.3.‍组成部分1.4.引入StreamPark2）安装部署2.1.环境要求2.2.Hadoop2.3

bmyyyyyy·2023-12-18 23:50

Windows10安装Hadoop3.1.3环境

下载winutils1.3安装文件2.配置安装2.1安装配置JDK环境2.2解压hadoop压缩包2.3配置hadoop的环境变量2.3.1配置HADOOP_HOME2.3.2配置Path变量2.4配置hadoop2.4.1

大飞哥～BigFei·2023-12-18 07:29

Presto连接Hive

配置HiveConnectoretc/catalog/hive.propertiesconnector.name=hive-hadoop2hive.metastore.uri=thrift://:9083hive.config.resources

kongxx·2023-12-17 16:46

2018-06-14

：软件(HDFS、MapReduce、Yarn)褒义：以Hadoop为主的生态圈3.Hadoop版本Hadoop1.x：HDFS：分布式文件系统，存储MapReduce：分布式计算+资源调度和作业调度Hadoop2

hoose·2023-12-17 09:26

Spark 随机森林算法原理、源码分析及案例实战

与其它大数据处理工具的活跃程度比较回页首环境要求操作系统：Linux，本文采用的Ubuntu10.04，大家可以根据自己的喜好使用自己擅长的Linux发行版Java与Scala版本：Scala2.10.4，Java1.7Spark集群环境（3台）：Hadoop2.4.1

黑谷子·2023-12-15 19:51

Flink集群搭建

我安装的scala版本为2.11，所以要下载对应scala2.11版本的flink我使用的环境linux-CentOS7.9、Scala-2.11.6、jdk-1.8、flink-1.7.2-bin-hadoop27

NemoonFish·2023-12-15 12:20

Spark安装

本文搭建环境为：Mac+ParallelDesktop+CentOS7+JDK7+Hadoop2.6+Scala2.10.4+IDEA14.0.5————————————————————————————

weixin_30755393·2023-12-15 07:27

大数据篇|Hadoop发展史及介绍

文章目录一、Hadoop介绍1.1、Hadoop是什么二、Hadoop发展史2.1、创始人2.2、Hadoop发展历史/起源2.3、Hadoop三大发行版本2.3.1、ApacheHadoop2.3.2

五月天的尾巴·2023-12-15 03:56

大数据存储技术（1）—— Hadoop简介及安装配置

目录一、Hadoop简介（一）概念（二）Hadoop发展历史（三）Hadoop三大发行版本（四）Hadoop的优势二、Hadoop的组成（一）Hadoop1.x和Hadoop2.x的区别编辑（二）Hadoop

Francek Chen·2023-12-14 19:08

大数据之旅-问题反思

2.hadoop1.0和hadoop2.0明显的差异如何理解？

Logan_addoil·2023-12-14 19:07

Spark由浅到深(1)--安装,测试,问题排错

安装部署//选择需要的版本.官网下载:http://spark.apache.org/downloads.html//部署tar-zxfspark-1.4.0-bin-hadoop2.6.tgzcdspark

GeezKe·2023-12-06 10:04

Spark 环境安装

Spark环境安装一、准备工作1、hadoop成功安装2、防火墙关闭二、解压安装1、上传spark安装包到/opt/soft目录，进入该目录下，执行如下命令：tar-zxvfspark-2.1.1-bin-hadoop2.7

会java的怪蜀黍·2023-12-06 07:35

Ambari hdp Spark多版本并存

本示例基于ambarihdp-2.6.0.3（spark2.1.0），集成spark2.2.2，其他的版本思路类似（spark2.3经测试也是没问题的）下载spark-2.2.2-bin-hadoop2.7

Respect123·2023-12-06 05:20

Hadoop之YARN详解

其中，YARN（YetAnotherResourceNegotiator）是Hadoop的一个重要组成部分，它是Hadoop2.0中的一个新的资源管理器，用于管理Hadoop集群中的资源和任务。

蓝胖子的宝贝·2023-12-05 06:33

Apache Hadoop YARN

YARN的概述ApacheYarn（YetAnotherResourceNegotiator的缩写）是hadoop集群资源管理器系统，Yarn从hadoop2引入，最初是为了改善MapReduce的实现

麦迪康·2023-12-05 06:03

Hadoop Yarn详解

Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。

m0_67392661·2023-12-05 06:03

Hadoop 1 ~ Hadoop 3 的发展史

Hadoop简介Hadoop到目前为止发展已经余年了，版本经过了无数次的更新迭代，目前市面上已经把Hadoop分为Hadoop1、Hadoop2、Hadoop3三个版本。

大数据狂人·2023-12-03 14:34

Hadoop 2.7.2 安装配置

://hadoop.apache.org/各个版本文档地址：http://hadoop.apache.org/docs/1、环境版本信息CentOSLinuxrelease7.2.1511(Core)Hadoop2.7.2javaversion

冬瓜baba的笔记·2023-12-02 02:37

推荐频道

hadoop2