2.Hadoop

第二章：大数据处理架构Hadoop

本章内容：1.Hadoop的发展历程2.Hadoop生态系统的各个组件及其功能3.Hadoop的安装和使用方法4.Hadoop集群的部署和使用方法1.Hadoop简介Hadoop是Apache软件基金会旗下开源软件
饮马翰海·2023-04-02 19:51

Hadoop学习笔记--Hadoop生态系统、体系架构及特点

文章目录引言1.Hadoop的特点1.1高可用性1.2高扩展性1.3高效性1.4高容错性1.5低成本1.6支持多种平台1.7支持多种编程语言2.Hadoop的生态系统2.1HDFS2.2MapReduce2.3YARN3
官乐·2023-04-02 06:09

HADOOP 简介

1.Hadoop是什么1)Hadoop是一个有Apache的分布式系统框架,主要解决海量的数据的存储，海量的数据的分析计算2.HADOOP优势1)高可靠性:HDFS会维护多个数据副本,所以某个计算元素或存储出现故障
三井08·2023-03-29 19:36

大数据之数仓一面内容以及感受

等我有空再来写吧1.项目2.hadoop搭建流程关闭虚拟机的防火墙安装jdk修改主机安装ssh，并配置免密登入修改hosts文件做时间同步上传hadoop包，解压配置环境变量配置core-site.xml
爱你魔力转圈圈·2023-03-26 22:59

大数据技术之Hadoop概述集群环境搭建常见错误解决等

Hadoop概述文章目录Hadoop概述1.Hadoop是什么2.Hadoop发展历史4.Hadoop的优势5.Hadoop组成6.大数据技术生态体系7.推荐系统框架图略图Hadoop运行环境搭建模板虚拟机环境准备克隆虚拟机在
wuxian98·2023-03-23 01:03

大数据学习之Hadoop——01Hadoop简介

CSDN:https://blog.csdn.net/bingque6535一.Hadoop基础:1.大数据特点(4V)Volume:大量Velocity:高速Variety:多样Value:低价值密度2.
Jiang锋时刻·2023-03-22 09:51

搭建Hadoop开发环境（全过程）

配置环境变量三、完全分布式1.修改配置文件2.克隆虚拟机3.设置主机名4.修改网络地址5.配置映射关系6.免密登录7.配置节点8.格式化虚拟机9.启动hadoop三、Hadoop测试1.初识Hadoop目录2.
谢的微光·2023-03-09 10:29

【Hadoop---03】Hadoop分布式环境搭建「安装虚拟机、安装CentOS操作系统 | 虚拟机的网络配置 | rsync | 集群配置 | 启动集群 | 集群测试」

文章目录1.Hadoop三种工作模式2.Hadoop分布式集群环境配置第一步：安装VMware与CentOS的虚拟机第二步：虚拟机网络配置第三步：主机远程登入虚拟机第四步：配置一台模板虚拟机第五步：克隆三台主机第六步
别闹'·2023-01-30 15:17

hadoop搭建

需要的安装包：1.jdk压缩包2.hadoop压缩包请前往百度云上上下载相关安装包(密码：8op1)开始搭建hadoop集群一.使用VMvare创建两个虚拟机，我使用的是ubuntu16.04版本的,并关闭全部虚拟机的防火墙
James_probie·2023-01-30 14:11

大数据技术与架构——（二）大数据处理架构Hadoop（上）

1.Hadoop概述1.1Hadoop简介1.2Hadoop发展简史1.3Hadoop的特性1.4Hadoop的应用现状1.5ApacheHadoop版本演变1.6Hadoop各种版本（企业开发产品）2.
TUTOU程序猿·2023-01-17 15:02

大数据 hadoop

1.HADOOP背景介绍1.1什么是HADOOP1.HADOOP是apache旗下的一套开源软件平台2.HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3.HADOOP
DHRJFH·2023-01-12 21:33

Hadoop集群搭建教程（详细）

需要的安装包：1.jdk压缩包2.hadoop压缩包请前往百度云上上下载相关安装包(密码：8op1)开始搭建hadoop集群一.使用VMvare创建两个虚拟机，我使用的是ubuntu16.04版本的,并关闭全部虚拟机的防火墙
普通网友·2023-01-11 11:51

东北大学2023分布式操作系统实验

2.Hadoop简介2.1Hadoop项目基础结构在其核心，Hadoop主要有两个层次，即：加工/计算层(MapReduce)存储层(Hadoop分布式文件系统)除了上面提到的两个核心组件，Hadoop
加油呀，哒哒哒·2023-01-10 10:48

Hadoop 和 Spark 知识点整理汇总

文章目录前言一、LINUX系统常用命令汇总二、Hadoop常用命令汇总三、Hadoop基本概念1.Hadoop特性2.Hadoop架构2.1Hadoop集群2.2HDFS2.3.YARN四、HadoopHDFS
见夏莫语冰·2023-01-04 18:56

大数据—人工智能领域高水平会议及热点技术汇总

人工智能技术与咨询安排2022年11月24日-28日线上直播一、大数据概述1.大数据及特点分析2.大数据关健技术3.大数据计算模式4.大数据应用实例二、大数据处理架构Hadoop1.Hadoop项目结构2.
renhongxia1·2022-11-19 18:01

Hadoop 概念 环境搭建 启动 测试

广义：Hadoop生态圈的代名词狭义：Apache软件基金会下用Java语言开发的一个开源分布式计算平台2.Hadoop发展历史来源：2005年，Hadoop作为Lucene子项目Nutch的一部分正式被引入
A52091·2022-11-08 10:44

Hadoop核心之MapReduce框架总结Ⅰ

MapReduce框架总结目录1.MapReduce概述1.1MapReduce定义1.2MapReduce优缺点1.3MapReduce核心思想1.4MapReduce进程1.5MapReduce编程规范2.
努力往前的阿磊·2022-11-02 11:55

Hadoop 3.x（生产调优手册）----【Hadoop综合调优】

Hadoop3.x（生产调优手册）----【Hadoop综合调优】1.Hadoop小文件优化方法1.Hadoop小文件弊端2.Hadoop小文件解决方法2.测试MapReduce计算性能3.企业开发场景案例
在人间负债^·2022-10-28 20:00

1.Hadoop集群的配置

winscp(可选)文章目录1.Linux虚拟机的安装及网络配置1.1.虚拟机安装教程1.2.网络配置1.2.1.虚拟机网卡设置1.2.2.虚拟机IP配置1.3.安装ifconfig1.4.尝试ssh登录2.
Brisa56·2022-09-21 13:05

Hadoop大数据处理架构学习——Linux系统上安装Hadoop（Ubuntu22.04）

目录1.概述2.Hadoop的安装和使用（1）创建Hadoop用户（2）更新apt和安装vim编辑器（3）安装SSH和配置SSH无密码登录（4）安装java环境（5）安装单机Hadoop（6）Hadoop
长弓同学·2022-09-01 07:55

Hadoop生态圈（一）- Hadoop详解

1.4.1Hadoop1.x、2.x、3.x区别1.4.2HDFS架构概述1.4.3YARN架构概述1.4.4MapReduce架构概述1.4.5HDFS、YARN、MapReduce三者关系1.5Hadoop运行模式2.
一位木带感情的码农·2022-07-18 13:44

hadoop入门简介

2.hadoop组件的介绍（三大组件）hdfs：是一个分布式存储框架，适合海量数据存储mapreduce：是一个分布式计算框架，适合海量数据计算yarn：是一个资源调度平台，负责给计算框架分配计算资源3
北慕辰·2022-06-20 12:31

大数据学习之路-Hadoop

Hadoop1.大数据导论1.1大数据概念1.2大数据特点1.3大数据应用场景1.4大数据部门组织结构2.Hadoop简介与大数据生态2.1Hadoop的介绍2.2Hadoop三大发行版本2.3Hadoop
Conviction of Star·2022-06-07 17:35

Hadoop（一）Hadoop概述

Hadoop（一）Hadoop概述1.Hadoop基本结构1.1HDFS架构1.2YARN架构1.3MapReduce架构1.4HDFS、YARN、MapReduce三者关系2.Hadoop优势3.安装
Jumanji_·2022-03-18 04:34

Hadoop 深入浅出 ---- 入门 （1）

1.4.1HDFS架构概述1.4.2YARN架构概述1.4.3MapReduce架构概述1.4.4三者之间的关系1.5Hadoop的安装1.5.1虚拟机的安装1.6大数据技术生态体系1.7推荐系统的框图2.
Aphelios_King·2022-02-28 10:17

Hadoop 基础搭建教程

2.Hadoop服务安装从官网下载压缩包，进行解压，根据需要配置软连接。
edwin1993·2022-02-18 16:42

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之1.Hadoop简介及Apache Hadoop完全分布式集群搭建

文章目录前言1.大数据简介（1）知识体系（2）大数据定义及应用场景（3）大数据发展趋势及从业人员发展路线2.Hadoop简介3.Hadoop的重要组成4.ApacheHadoop完全分布式集群搭建（1）
cutercorley·2021-09-03 22:51

Python海量数据处理之_Hadoop（一）集群搭建

2.Hadoop简介 如果有多台用于数据计
xieyan0811·2021-06-26 22:10

初始Hadoop

能做什么：搭建大型数据仓库、PB级别数据存储、处理、分析、统计等业务典型：搜索引擎、日志分析、商业智能、数据挖掘2.Hadoop核心组件HadoopCommon：支持其他Hadoop模块的常用工
Aimerwhy·2021-06-08 20:45

一、Hadoop生态圈

2.Hadoop适合处理大规模数据，并且能够实现分布式存储和分
路飞大大gogo·2021-05-04 09:44

Hadoop大数据平台

文章目录1.HDFS单机版2.伪分布式3.全分布式热添加节点（在线添加server4节点）4.分布式存储5.Zookeeper高可用集群(hadoop自带的nn高可用)1.集群搭建2.hadoop配置3
qiao_qing·2021-04-28 17:55

hadoop大数据平台的简介及搭建

Hadoop1.简介2.hadoop的优点3.hadoop核心架构4.hadoop应用场景5.hadoop工作模式5.1单机模式（Local(Standalone)Mode）5.2Pseudo-DistributedMode
樱桃Maruko小丸子cxj·2021-04-03 19:15

Hadoop的学习路线图

目录：.1.Hadoop家族产品2.Hadoop家族学习路线图Hadoop家族产品截止到2013年，根据cloudera的统计，Hadoop家族产品已经达到20个！
栀子花_ef39·2021-03-11 09:49

Hadoop之HDFS：Hadoop分布式文件系统--具体知识点

HDFS：Hadoop分布式文件系统下面是HDFS的具体知识点，个人学习笔记戳这文章目录HDFS：Hadoop分布式文件系统一、学习准备二、课堂主题三、课堂目标四、知识要点1.hadoop的发展历史2.
是我，Zack·2021-03-01 22:23

Hive数据导出

1.Insert导出2.Hadoop命令导出到本地3.HiveShell命令导出基本语法:(hive-f/-e执行语句或者脚本>file)4.Export导出到HDFS上export和import
Charles Gao·2021-02-20 00:10

【Hadoop第三步】Hadoop环境搭建

_大数据_qq_38570733的博客-CSDN博客整体流程和步骤比较详细，一些内容有错误，整理如下：2.hadoop环境搭建这个内容很好，错误较少，最后有开启和验证例子3.Hadoop完全分布式搭建-
鸡汤姜末·2021-02-02 16:36

大数据技术原理与应用

大数据的影响3.大数据的两大核心技术及对应关系4.产品对应关系5.三者关系第二章1.hadoop最初是创始人DougCutting开发的文本搜索库，hadoop源自于2002年的ApacheNutch项目2.
Windalove·2021-01-05 17:59

Hadoop入门与进阶

1.Hadoop入门之部署篇2.Hadoop之HDFS(一)概述与常用Shell操作3.Hadoop之HDFS(二)HDFS工作机制和集群安全模式后续陆续更新
leafgood·2020-12-29 20:17

Hadoop入门与进阶

1.Hadoop入门之部署篇2.Hadoop之HDFS(一)概述与常用Shell操作3.Hadoop之HDFS(二)HDFS工作机制和集群安全模式后续陆续更新
leafgood·2020-12-29 20:17

20道大数据常见面试题

2.Hadoop分为三个核心部分，每个部分是什么，有什么功能？三个核心：hdfs，mapreduce和yarnHadfs：分布式文件系统，mapreduce:分布
liyawu337·2020-10-19 20:59

hadoop知识点总结

Hadoop是一个由Apache基金会所开发的分布式系统基础架构主要解决，海量数据的存储和海量数据的分析计算问题广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈2.Hadoop发行版本
超可爱慕之·2020-10-14 08:02

20180613早课记录30-Hadoop

1.hadoop是什么狭义上说就是hdfs、mr、YARN组成的hadoop，广义上指的是整个生态圈2.hadoop三大组件，分别做什么HDFS存储MapReduce计算Yarn资源调度3.hdfs默认块大小多少
K_un·2020-10-09 22:03

HDFS+MapReduce+Hive+HBase十分钟快速入门(zhuan)

2.Hadoop家族截止2009-8-19日，整个Hadoop家族由以下几个子项目组成：成员名用途HadoopCommonHadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志
baiyunl·2020-09-15 04:37

Hadoop集群时钟同步

2.hadoop集群如何同步2.1以下面hadoop集群为例子：10.10.11.1master10.10.11.2slave10.10.11.3slave10.10.11.4slave10.10.11.5slave10.10.11.6slave2.2
weixin_34351321·2020-09-14 01:46

Hadoop---目录结构介绍

Hadoop---目录结构介绍1.Hadoop目录结构1.一级目录介绍2.etc详解：3sbin4.bin5.share6.一个数独测试2.hadoop的历史3.Hadoop的作用1.数据分析功能数据分析能力是大数据平台的建设重心
diyingshou8608·2020-09-13 21:13

Hadoop日记Day1---Hadoop介绍

受Google三篇论文的启发2.Hadoop核心项目HDFS:HadoopDistributedFileSystem分布式文件系统MapReduce：并行计算框架3.Hadoop架构3.1HDFS架构(
weixin_34353714·2020-09-12 20:00

2.hadoop源码分析：datanode的启动

datanode的代码位于hadoop-hdfs-project下的org.apache.hadoop.hdfs.server.datanode包中：首先找到该类，先看其注释，大概意思是：datanode是block存储组件，与namenode通信，也与client端和其他datanode通信datanode管理一系列的block块，允许客户端去读写这些数据块。也会响应namenode对block
colossus_bigdata·2020-09-11 19:17

CentOS虚拟机Java环境中MapReduce Hadoop的WordCount(词频运算)程序连接数据入门

目录1.Hadoop简介2.Hadoop的架构3.MapReduce简介4.HadoopHDFS简介5.HDFS架构6.MapReduce开发流程概念（重点)7.maperuce运算开发示例（重点）8.
高风言·2020-09-11 08:58

(Hadoop搭建) 2.Hadoop节点安装前的准备—网络配置

（注：搭建的是三节点Hadoop集群。）创建DataNode上一篇已经创建了NameNode。DataNode与NameNode安装CentOS7的不同处有：1.NameNode建议磁盘大于50G，DataNode建议磁盘大于30G。2.NameNode和DataNode的内存和处理器看电脑配置决定。一般NameNode比DataNode内存大，处理器多。3.NameNode的“SOFTWARES
Sibyl_Lqq·2020-08-25 11:13

1. hadoop简述

2.hadoop的模块1.hadoopcommon：公共的类库，用来支持其他的模块2.hdfs:分布式文件系统3.hadoopyarn：作业调度和资源管理的框架4.MapReduce：基于yarn系统
lovefo·2020-08-25 01:53
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他