hadoop学习积累

Hadoop_HDFS实践 (一)=＞(架构、Shell相关操作、API、NN/2NN工作原理、DataNode工作机制等)

目录Hadoop_HDFS、Hadoop_MapReduce、Hadoop_Yarn实践(一)一、Hadoop_HDFS1、概述、背景、优缺点1.1、概述1.2、架构1.3、优缺点1.4、块大小2、HDFS
常名先生·2023-12-18 09:23

Hadoop_Yarn实践 (三) =＞ (Yarn的基础架构、原理、容量/公平调度器、Tool接口、Yarn常用命令、核心参数)

目录Hadoop_HDFS、Hadoop_MapReduce、Hadoop_Yarn实践(三)一、Hadoop_HDFS二、Hadoop_MapReduce三、Hadoop_Yarn1、Yarn资源调度
常名先生·2023-12-18 09:23

Hadoop_MapReduce实践 (二) =＞ (核心架构、序列化、Inputformat/切片、Shuffile/分区/排序、outputformat、join、ETL、压缩)

目录Hadoop_HDFS、Hadoop_MapReduce、Hadoop_Yarn实践(二)一、Hadoop_HDFS二、Hadoop_MapReduce1、MapReduce概述1.1、MapReduce
常名先生·2023-12-18 09:52

Zabbix5.0安装部署

http://maxserver.xybcbc.com全盘展示运行状态，减轻运维人员的重复性工作量，提高系统排错速度，加速运维知识学习积累。
益达_glmsb·2023-12-18 09:11

搭建Hadoop集群之环境配置系列-配置静态ip

说在前面的话由于老师给我们学生布置了一个Linux作业，虽然有几个可选的题，但是最后我还是觉得选择Hadoop应用开发，毕竟我一直想尝试这个新东西，趁着这个机会学点东西挺好的。
pSomng·2023-12-18 09:15

zookeeper和nacos区别是什么，注册中心用zookeeper还是nacos

以下是它们的主要区别：设计目标和适用场景：Zookeeper最初是为Hadoop的分布式协调而设计，主要用于服务注册和发现
greedy-hat·2023-12-18 07:02

Windows10安装Hadoop3.1.3环境

Windows10安装Hadoop3.1.3环境文章目录1.安装包下载1.1.hadoop官网下载1.2下载winutils1.3安装文件2.配置安装2.1安装配置JDK环境2.2解压hadoop压缩包
大飞哥～BigFei·2023-12-18 07:29

Ubuntu-报错

Hadoop-Eclipse-java：耽误进度的几个报错错误1：桥接模式与NAT模式相互切换后导致两种模式都不能访问互联网（1）具体错误：（2）错误原因：（3）解决方案：（4）问题解决：错误2：Exceptioninthread"main"org.apache.hadoop.hdfs.server.namenode.SafeModeException
春风LiuK·2023-12-18 06:23

【Spark面试】Spark面试题&答案

（☆☆☆☆☆）3、简单说一下hadoop和spark的shuffle相同和差异？（☆☆☆☆☆）4、Spark工作机制（☆☆☆☆☆）5、Spark的优化怎么做？
话数Science·2023-12-18 06:52

【Hadoop面试】Hadoop面试题汇总附答案

题目介绍下HadoopHadoop的特点说下Hadoop生态圈组件及其作用Hadoop主要分哪几个部分?他们有什么作用?Hadoop1.x，2x，3.x的区别Hadoop集群工作时启动哪些进程?
话数Science·2023-12-18 06:22

【Hadoop面试】HDFS读写流程

HDFS（HadoopDistributedFileSystem）是GFS的开源实现。
话数Science·2023-12-18 06:16

hbase

环境安装java坏境centos安装javahadoop环境hadoop安装hbase配置vi/etc/profile.d/hadoop-eco.sh写入：HBASE_HOME=/opt/hbasePATH
心里没有一点AC数·2023-12-18 05:31

十七、如何将MapReduce程序提交到YARN运行

1、启动某个节点的某一个用户hadoop@node1:~$jps13025Jpshadoop@node1:~$yarn--daemonstartresourcemanagerhadoop@node1:~
弦之森·2023-12-18 04:48

Hadoop （海量数据存储及计算） 基本概念

HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
ronmy·2023-12-18 02:51

Hadoop 完全分布式搭建 详细流程

Hadoop的完全分布式搭建是一项复杂的任务，其中包含了很多步骤和细节。以下是一个简要的流程，供参考：确定Hadoop版本和操作系统首先，您需要确定要安装的Hadoop版本和所使用的操作系统。
palma_he·2023-12-18 01:53

Hadoop入门学习之二：一步一步运行WordCount

WordCount是学习Hadoop的经典入门范例。下面通过一步步的操作，来编译、打包、运行WordCount程序。
小_强·2023-12-18 00:39

Hadoop入门学习之一：Ubuntu12.04下Hadoop1.0.4的伪分布式安装

一、安装JDK1、下载并安装sudoapt-getinstallopenjdk-6-jdk（安装JDK7为：sudoapt-getinstallopenjdk-7-jdk）要求输入当前用户密码时输入密码，回车；要求输入YES/NO时，输入YES，回车，一路向下安装完成；2、在命令行输入JAVA-VERSION查看是否安装成功3、配置环境变量编辑文件/etc/profile，在文件最下面加入以下三行
小_强·2023-12-18 00:09

Hadoop问题：启动hadoop时报namenode未初始化：java.io.IOException: NameNode is not formatted.

1、启动Hadoopubuntu@ubuntu:~/hadoop-1.0.4/bin$.
小_强·2023-12-18 00:09

Linux安装Hadoop超详细教程

本机的配置环境如下：Hadoop(3.1.1)UbuntuLinux(64位系统)二、安装ssh服务ubuntu中默认是没有安装sshserver的，只有sshclient,可以使用如下命令安装：sudoapt
Jagger-Q·2023-12-18 00:37

提交Application的两种方式

Application的两种方式分别是client方式和cluster方式1.client方式这种方式，Driver进程是在client端启动启动代码样例spark-submit--masterspark://hadoop1
0_9f3a·2023-12-17 23:54

备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

MySQLhttps://www.mysql.com/软件名称版本ubuntu18.0464位Hadoop：hadoop-3.1.3.tar.gz3.1.3Jdk：jdk-8u212-linux-x64
Stitch .·2023-12-17 22:18

HBase 使用JDK21

HBase使用JDK21启动zookeeper和hadoop创建软件目录mkdir-p/opt/softcd/opt/soft下载软件wgethttps://dlcdn.apache.org/hbase
李昊哲小课·2023-12-17 21:40

MapReduce运行模式

$HADOOP_HOME/etc/hadoop/mapred-site.xml文件中设置相关配置（默认就是该配置）。
皮卡丘要进化·2023-12-17 21:34

Flume在企业大数据仓库中数据收集架构

数据仓库架构文件数据和关系数据企业大数据仓库之数据收集架构||linux企业大数据仓库之数据收集架构||window总结实时收集文件框架有很多，但是其中Flume使用最广泛，主要由于其架构设计和使用简单清晰明了，又支持Hadoop
明明德撩码·2023-12-17 20:45

基于Hadoop的智慧社区大数仓库系统设计与开发

基于Hadoop的智慧社区大数仓库系统设计与开发DesignandDevelopmentofaSmartCommunityDataWarehouseSystembasedonHadoop目录目录2摘要3
wusp1994·2023-12-17 18:45

分布式文件系统之HDFS

2）HDFS定义HDFS（HadoopDistribu
僖僖cc·2023-12-17 17:41

分布式数据库HBase

HBase是依赖Hadoop的。为什么HBase能存储海量的数据？因为HBase是在HDFS的基础之上构建的，HDFS是分布式文
僖僖cc·2023-12-17 17:41

从传统型数据库到非关系型数据库

一什么是数据库数据库顾名思义保存数据的仓库，其本质是一个具有数据存储功能的复杂系统软件，数据库最终把数据保存在计算机硬盘，但数据库并不是直接读写数据在硬盘，而是中间隔了一层操作系统，通过文件系统把数据保存为本地文件系统的数据文件；我们讲过Hadoop
僖僖cc·2023-12-17 17:38

Presto连接Hive

配置HiveConnectoretc/catalog/hive.propertiesconnector.name=hive-hadoop2hive.metastore.uri=thrift://:9083hive.config.resources
kongxx·2023-12-17 16:46

7.Sqoop安装

1下载并解压1.1下载地址http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/1.2上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
Rex_2013·2023-12-17 15:47

流批一体神器 Flink 之 Flink State 架构原理解析

身为大数据工程师，你还在苦学Spark、Hadoop、Storm，却还没搞过Flink？醒醒吧！
zhisheng_blog·2023-12-17 14:32

基于Hadoop的电商数据分析系统设计与实现

基于Hadoop的电商数据分析系统设计与实现DesignandImplementationofE-commerceDataAnalysisSystembasedonHadoop目录目录2摘要3关键词3第一章绪论
wusp1994·2023-12-17 13:40

高效存储大规模数据的方法与实现

HadoopDistributedFileSystem(HDFS)是一个常用的分布式文件系统，它使用主从架构，
静谧星光c·2023-12-17 11:47

基于ambari hadoop平台的搭建

环境准备1:jdk安装,防止在/opt/data下,tar–zxf安装包在/opt/apps下所有节点都需要2:sudoaptupdate源升级,所有节点都需要3:/etc/hosts10.68.29.243iZwz9870dk1soyw67s3ephZ10.68.29.244iZwz9870dk1soyw67s3epgZ10.68.29.245iZwz9870dk1soyw67s3eplZ10.
大数据小应用·2023-12-17 10:04

kafka学习笔记--节点的服役与退役

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录服役新节点新节点准备执行负载均衡操作退役旧节点执行负载均衡操作执行停止命令服役新节点依旧使用前面文章创建的三个hadoop102
向着百万年薪努力的小赵·2023-12-17 10:25

物联网架构之 Hadoop

修改/etc/hosts文件192.168.107.197node1192.168.107.196node2192.168.107.195node3创建用户并加入组groupaddhadoopuseradd-ghadoophduserpasswdhduservim
叮咚网工·2023-12-17 10:25

HDFS介绍+Shell操作

看黑马网课记录第二章-wwww操]使用命令操作HDFS文件系统_哔哩哔哩_bilibiliHDFS1.什么是HDFShadoop三大组件之一，负责海量数据的分布式存储2.HDFS架构角色：主节点（领导）
Y蓝田大海·2023-12-17 10:14

Hadoop分布式配置小白篇（附加各阶段问题解决方式）

3.ssh免密4.创建hadoop用户5.jdk、
Y蓝田大海·2023-12-17 09:09

2018-06-14

Hadoop:1.官网：http://hadoop.apache.org/2.Hadoop的狭义和褒义认识：狭义：软件(HDFS、MapReduce、Yarn)褒义：以Hadoop为主的生态圈3.Hadoop
hoose·2023-12-17 09:26

Flink 简介

Flink简介#一、Flink简介#1.Flink发展这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有Hadoop、Storm，以及后来的Spark，他们都有着各自专注的应用场景。
lz_matlab·2023-12-17 09:09

Hadoop中Join案例

ReduceJoin案例Map端的主要工作：为来自不同表或文件的key/value对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。Reduce端的主要工作：在Reduce端以连接字段作为key的分组已经完成，我们只需要在每一个分组当中将那些来源于不同文件的记录（在Map阶段已经打标志）分开，最后进行合并就ok了。订单数据表t_orderi
zmx_messi·2023-12-17 08:43

Docker中执行tar: Cannot read: Is a directory in docker

我想要在Docker镜像中安装Hadoop，下面是Dockerfile的一部分：COPYhadoop-3.1.2.tar.gz/usr/hadoop/hadoop-3.1.2.tar.gzRUNcd/usr
王勇1024·2023-12-17 08:04

Hadoop，Hive和Spark大数据框架的联系和区别

Hadoop，Hive和Spark是大数据相关工作中最常用的三种框架。1Hadoophadoop是一个分布式计算框架，是大数据处理的基石，大多其他框架都是以hadoop为基础。
Weiyaner·2023-12-17 06:00

Win10下安装大数据开发环境 spark+hadoop+hive（实测可用）

Win10下安装大数据开发环境spark+hadoop+hive（实测可用）基础环境安装spark安装Hadoop安装hive安装总结参考博客基础环境安装首先，我们需要搭建软件的运行环境，本文中所使用的软件均需要运行在
YannAdams·2023-12-17 06:30

大数据生态中‘Hadoop’、‘Hive’、‘Spark’、‘Mapreduce’、‘HDFS’、‘Yarn’是什么关系

所以用到了Hadoop生态来管理信息。Hadoop生态中HDFS：处理存储，管理信息的分布式存储、提供接口，让用户感觉集群中的信息
小书生啊·2023-12-17 06:29

大数据 | Hadoop、Hive、Spark的关系

文章总括图数据存储单机数据库时代所有数据在单机都能存的下，数据处理的任务都是IO密集型，更谈不上分布式系统一个典型的2U服务器可以插6块硬盘，每块硬盘4T，共24T原始容量，再加上一些数据包的可用冗余，再加上一些格式化的损失，保守估计一台服务器至少可以有10T以上的可用容量，再加上128G内存和两颗CPU，装入DBMS，稍微调优，单表处理10e条数据问题不大多机数据库时代当数据量变多时，单台机器无
xyzhang2018·2023-12-17 06:58

[AIGC ~大数据] 深入理解Hadoop、HDFS、Hive和Spark：Java大师的大数据研究之旅

在这个充满机遇和挑战的领域中，我深入研究了Hadoop、HDFS、Hive和Spark等关键技术。本篇博客将从"是什么"、"为什么"和"怎么办"三个角度，系统地介绍这些技术。文章目录是什么？
程序员三木·2023-12-17 06:55

基于Hadoop的铁路货运大数据平台设计与应用

完整下载：基于Hadoop的铁路货运大数据平台设计与应用基于Hadoop的铁路货运大数据平台设计与应用DesignandApplicationofRailwayFreightBigDataPlatformbasedonHadoop
wusp1994·2023-12-17 06:24

Hadoop

文章目录1、Hadoop是什么2、Hadoop优势3、Hadoop组成（1）HDFS（2）YARN（3）MapReduce架构概述（4）HDFS、YARN、MapReduce三者关系（5）大数据技术生态体系
Gong_yz·2023-12-17 06:39

hive学习笔记

1.HIVE结构Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
Tech_Hog·2023-12-17 05:05
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他