研磨hadoop

【Hadoop】Apache Hadoop YARN

个人主页——开着拖拉机回家_Linux,Java基础学习,大数据运维-CSDN博客✨感谢点赞和关注，每天进步一点点！加油！目录一、YARN概述二、YARN基础架构2.1ResourceManager（RM）2.1.1Scheduler2.1.2ApplicationManager2.2ApplicationMaster（AM）2.3NodeManager（NM）2.4Container三、YARN
开着拖拉机回家·2023-11-07 01:32

大数据从入门到实战 - HBase 开发：使用Java操作HBase

一、关于此次实践1、实战简介HBase和Hadoop一样，都是用Java进行开发的，本次实训我们就来学习如何使用J
发芽ing的小啊呜·2023-11-06 23:07

【数据开发】大数据平台架构，Hive / THive介绍

1、大数据引擎大数据引擎是用于处理大规模数据的软件系统，常用的大数据引擎包括Hadoop、Spark、Hive、Pig、Flink、Storm等。
小哈里·2023-11-06 23:12

Flink（一）【WordCount 快速入门】

前言学完了Hadoop、Spark，本想着先把Kafka、Flume这些工具先学完的，但想了想还是把核心的技术先学完最后再去把那些工具学学。
让线程再跑一会·2023-11-06 20:51

Hadoop分布式系统架构详解

导语：hadoop简单来说就是用java写的分布式，处理大数据的框架，主要思想是“分组合并”思想。
25577033_malong·2023-11-06 19:30

Hadoop分布式系统基础架构

https://baike.baidu.com/item/HadoopHadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。
m0_38085573·2023-11-06 19:00

二、Hadoop分布式系统基础架构

1、分布式分布式体系中，会存在众多服务器，会造成混乱等情况。那如何让众多服务器一起工作，高效且不出现问题呢？2、调度（1）架构在大数据体系中，分布式的调度主要有2类架构模式：~去中心化模式~中心化模式（2）去中心化模式没有明确的中心，众多服务器之间基于特定的规则进行同步协调。（3）中心化模式其中一台服务器作为中心，都以该台服务器为中心。3、常见基础构架（1）常见框架构成大数据框架的大多数基础构架，
弦之森·2023-11-06 19:29

大数据毕业设计选题推荐-设备环境监测平台-Hadoop-Spark-Hive

✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着工业4.0和物
IT毕设梦工厂·2023-11-06 18:03

YARN实战学习笔记

文章目录YARN的由来YARN架构分析YARN资源管理模型YARN中的调度器案例：YARN多资源队列配置和使用YARN的由来从Hadoop2开始，官方把资源管理单独剥离出来，主要是为了考虑后期作为一个公共的资源管理平台
小崔的技术博客·2023-11-06 18:16

Spark(Scala)-示例程序

1.版本system:windows10jdk:1.8.0_141scala:2.10.5spark:spark-2.0.2-bin-hadoop2.6IntelliJ:15.0.62.基本环境安装下载安装
陪你一起debug·2023-11-06 17:47

大数据HADOOP框架

Hadoop一、入门1、大数据定义2、Hadoop入门概念①Hadoop是什么？
FangSai_ovo·2023-11-06 16:18

【大数据处理框架】Hadoop大数据处理框架，包括其底层原理、架构、编程模型、生态圈

文章目录底层原理架构编程模型生态圈Hadoop是一个开源的大数据处理框架，它包含了底层的分布式文件系统和分布式计算资源管理系统，以及高级的数据处理编程接口。
我是廖志伟·2023-11-06 15:41

ssh免密登录

生成密钥且生成之后会在用户的根目录生成一个“.ssh”的文件夹2添加公钥到将公钥内容追加到authorized_keys中：cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys或则ssh-copy-idhadoop001
爱吃面的猫·2023-11-06 15:59

图文讲解hadoop中MapReduce的工作流程机制

保姆级图文讲解MapReduce的工作流程机制知识点：MapReduce的核心思想是什么？答:'先分离再合并'MapReduce的简要流程是啥？答:分为五个步骤。分别是Input/Read、Map、Shuffle、Reduce、Output/WriteMap阶段是做啥的？答:Map是分的阶段，把复杂的任务拆分成多个小的任务，拆分的前提是多个小任务互不干预，可以独立存在。Reduce阶段是做啥的？答
大数据学编程·2023-11-06 10:29

【Hadoop】MapReduce工作流程

MapReducer工作流程读数据1.客户端提交作业任务；2.Job根据作业任务获取文件信息；3.InputFormat将文件按照设定的切片大小（一般切片大小等于HDFS中的Block块大小）进行切片操作，并将切片的数据读入并生成一个MapTask任务；Mapper4.MapTask通过InputFormat获得RecordReader，从InputSplit中获取并解析出对应的key-value
温wen而雅·2023-11-06 09:57

hadoop之MapReduce---MapReduce详细工作流程

MapReduce工作流程流程示意图流程详解上面的流程是整个MapReduce最全工作流程，但是Shuffle过程只是从第7步开始到第16步结束，具体Shuffle过程详解，如下：1）MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件3）多个溢出文件会被合并成大的溢出文件4）在溢出过程及合并的过程中，都要调用Partitio
小刘同学-很乖·2023-11-06 09:57

Hadoop MapReduce工作流程图示与详解

1）Map阶段图示：2）Reduce阶段图示：3）Shuffle过程：Shuffle过程只是从map第7步开始到reduce第16步结束，具体Shuffle过程详解，如下：（1）MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中（2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件（3）多个溢出文件会被合并成大的溢出文件（4）在溢出过程及合并的过程中，都要调用Partitio
op1sreal·2023-11-06 09:56

Hadoop学习之MapReduce（MapReduce详细工作流程）心得

MapReduce详细工作流程：1.准备好待处理的输入文件2.对文件进行切片分析3.客户端将三样东西（Job.splitwc.jarJob.xml）提交至Yarn4.Yarn开启Mrappmaster根据提供的切片个数开启对应的MapTask个数5.默认的TextInputFormat读取K，v传递给Mapper6.进行逻辑运算后数据输出至环形缓冲区7.向环形缓冲区写入数据（默认大小100M，左侧
顺其自然的济帅哈·2023-11-06 09:25

HaDoop之MapReduce流程

MapReduce简介及优点MapReduce是一个分布式运算程序的编程框架,是Hadoop数据分析的核心MapReduce的核心思想是将用户编写的逻辑代码和架构中的各个组件整合成一个分布式运算程序,实现一定程序的并行处理海量数据
0918L·2023-11-06 09:24

认识XML：概念、语法、实例(Hadoop读取core-site.xml中数据的机制)

0、简要理解几个基本概念-----0.0标记语言是什么？-----0.1标准通用标记语言（SGML）-----0.2可扩展标记语言（XML）：本文主角1、本文主角：XML（可扩展标记语言）-----1.0XML学习-思维导图-----1.1XML-语法规范概述-----1.2XML-文档声明-----1.3XML-注释-----1.4XML-元素（/标记/节点）-----1.5XML-属性2、实例
神是念着倒·2023-11-06 09:50

hbase安装

这里安装0.99版本，如果hadoop为2.7可以换为更高版本hbase下载（当前目录有安装包）Hbase下载官网mkdir/opt/hbasetar-zxvfhbase-0.99.2-bin.tar.gzip
比基尼海滩章鱼哥·2023-11-06 09:49

Hadoop安装MySQL报错The GPG keys listed for the “MySQL 5.7 Community Server“ repository are already......

目录一、报错描述：二、问题分析：三、问题解决：四、命令运行：五、总结一、报错描述：TheGPGkeyslistedforthe"MySQL5.7CommunityServer"repositoryarealreadyinstalledbuttheyarenotcorrectforthispackage.CheckthatthecorrectkeyURLsareconfiguredforthisre
freshman_y·2023-11-06 07:29

逐时果

依旧于临画，修启去研磨。孤仿如古新，简玲须弥伏。ps：调diao，4声2022年11月29日作
春城怡景·2023-11-06 07:30

Hadoopo-MapReduce（数据处理）

认识HadoopHadoop是Apache基金会下一个分布式的开源计算平台。Hadoop可使用户在不了解分布式底层细节的情况下，使用简单的编程模型通过廉价PC的集群处理海量数据。
qq_42601983·2023-11-06 05:53

hadoop集群安装_已搭建好_可直接使用

已经搭建好的三台hadoop集群，下载可直接使用的hadoop完全分布式集群，环境搭建、集群配置已完成。
hys_guff·2023-11-06 05:15

CDH集群6.3.2 + CM6.3.1离线安装部署实操保姆级详细教程

目录一、序CDH简介CM简介为什么选择CDH而不是ApacheHadoopCDH安装说明二、准备工作前置条件测试服务器准备软件环境准备CDH安装包准备查看CDH6.3.2安装包查看CM6.3.1安装包查看
猫吃了源码·2023-11-06 05:44

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP

hadoop启动时报错：WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
D老歪·2023-11-06 05:23

计算机大数据毕设选题推荐Hadoop项目，Spark，Hive，Flink

1、基于Hadoop和Hive的食品配送优化：使用Hadoop和Hive分析食品配送数据，以优化配送路线、减少成本和提高效率。
大数据毕设辅导员·2023-11-06 05:52

大数据毕业设计选题推荐-无线网络大数据平台-Hadoop-Spark-Hive

✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着无线通信技术的
IT毕设梦工厂·2023-11-06 05:51

大数据毕业设计选题推荐-智慧小区大数据平台-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着信息技术的快速发展，智
IT研究室·2023-11-06 04:50

Python大数据处理库 PySpark实战 总结一

一书的总结归纳大数据时代大数据的特点：大量、高速、多样、低价值密度、真实性谷歌三篇论文是大数据的基石：GoogleFileSystem、GoogleMapReduce、GoogleBi个Table，解决存储、计算、查询的问题分析工具Hadoop
jialun0116·2023-11-06 04:42

狂神Docker通俗易懂学习笔记1

环境配置是十分的麻烦，每一个机器都要部署环境(集群Redis、ES、Hadoop......)，费时费力。Windows环境，最后发布到Linux!传统：开发jar
aa天意@@·2023-11-06 04:16

【基础篇】大数据学习笔记（4）相关名词解释

GFS：GoogleFileSystemGoogle文件系统HDFS：HadoopDsitributedFileSystemHadoop分布式文件系统Zookeeper：分布式应用程序协调服务，是Hadoop
风也醉·2023-11-06 02:54

2020-04-21

通过命令-setrep设置HDFS中文件的副本数量[zby@hadoop102hadoop-2.7.2]$hadoopfs-setrep10/sanguo/shuguo/kongming.txt这里设置的副本数只是记录在
Map_Reduce·2023-11-06 02:57

Hadoop2.6.5集群搭建

搭建虚拟机以下搭建所需环境和资源包为VMwareCentOS7Hadoop2.6.5.tar.gzJDK1.8+使用虚拟机安装3个CentOS7的主机模拟服务器，分别为master、slave1、slave2
Alexciヾ·2023-11-06 01:26

Exception in thread “main“ java.lang.RuntimeException: Error while running command to get file permi

这是在eclipse里面运行的Hadoopapi问题描述：Exceptioninthread"main"java.lang.RuntimeException:Errorwhilerunningcommandtogetfilepermissions
一名正在努力的大数据learner·2023-11-06 00:57

pyarrow读写hdfs

官方API文档：https://arrow.apache.org/docs/python/index.html1、测试服务器能够正确连接hdfs:>hadoopfs-ls/Found5itemsdrwxrwxrwx-hbasesupergroup02021
影子飞扬·2023-11-06 00:19

旅行是为了抵达内心和远方

晨跑回来，煮茶研磨习字，续读毕淑敏的《旅行是为了抵达内心和远方》。龟山贡芽“人的知识永远是不完备的，他无法知道一个地区或是一个时代是否就是空间和时间的全部。
蓝色海洋123·2023-11-06 00:29

大数据之spark_spark简介

孵化项目，2014年2月成为Apache的顶级项目，2014年5月发布spark1.0，2016年7月发布spark2.0，2020年6月18日发布spark3.0.0Spark的特点Speed：快速高效Hadoop
普罗米修斯之火·2023-11-05 23:42

HADOOP集群大数据词频统计及设计比较（完整教程）

通过百度网盘分享的文件：Hadoop相关需要的软件链接:https://pan.baidu.com/s/1XzDvyhP4_LQzAM1auQCSrg?
鸷鸟之不群·2023-11-05 23:22

Hadoop搭建的伪分布式（基于centos）

提示：以下是基于centos的Hadoop伪分布式搭建（Ubuntu相同流程，但是方法也可能不同）一、准备Linux环境1、(1)windows–>打开网络和共享中心–>更改适配器设置–>右键VMnet1
zhoudado921·2023-11-05 23:52

Iceberg数据湖的Table、Catalog、Hadoop配置Configuration

目录1.Configuration1.1tableproperties1.1.1Readproperties1.1.2Writeproperties1.1.3Tablebehaviorproperties1.1.4Reservedtableproperties1.1.4Compatibilityflags1.2Catalogproperties1.2.1Lockcatalogproperties1
Bulut0907·2023-11-05 23:52

编程实现Hadoop按日期统计访问次数

一、实训目标（1）编程实现按日期统计访问次数二、实训环境（1）使用CentOSdLinux操作系统搭建的3个节点（2）使用JDK（3）使用Hadoop三、实训内容（1）统计用户在2016年度每个自然日的总访问次数
鸷鸟之不群·2023-11-05 23:20

CentOS 8系统安装和基本配置以及Hadoop的伪分布式搭建

镜像下载下载地址：阿里CentOS8下载清华CentOS8下载CentOS8官网下载CentOS主要镜像文件类型介绍常见的镜像文件类型主要有以下几种：DVDISO：普通光盘完整安装版镜像，可离线安装到计算机硬盘上，包含大量的常用软件，一般选择这种镜像类型即可。EverythingISO：包含了完整安装版的内容，并对其进行补充，集成了所有软件。MinimalISO：这个版本为精简版的镜像，可以安装一
小Ｃ的快乐星球·2023-11-05 23:18

Centos8中Hadoop3.3.1安装详细过程（含图文）

目录Hadoop介绍：一、创建hadoop用户二、安装SSH、配置SSH无密码登录三、卸载jdk环境四、安装新的java版本五、安装Hadoop3六、配置hadoop环境变量七、Hadoop伪分布式配置
wat-999·2023-11-05 23:17

Hadoop(01) Hadoop3.3.6安装教程，单机/伪分布式配置

在安装Hadoop3.3.6前，需要满足以下前置条件：JavaDevelopmentKit(JDK)：Hadoop是用Java编写的，因此需要安装并配置适当版本的JDK。
Eufeo·2023-11-05 23:16

Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

在启动时出错了，没有启动起来jps2627DataNode2884SecondaryNameNode3267NodeManager3042ResourceManager3891Jps启动namenodesbin/hadoop-daemon.shstartnamenode
weixin_30329623·2023-11-05 23:16

hive java insert_hive表insert报错

环境hive1，Linux6.5，平台是星环的Hadoop4.3建了一张普通表，非ORC表，insert时报错，具体如下：insertintotemp.monitor_testvalues('20160722153748
棒棒的海绵糖·2023-11-05 23:16

9个步骤，手把手教你在Windows上安装Hadoop

在Windows上安装Hadoop时经常会出现许多错误，很多用户使用基于Linux的操作系统。
Java学研大本营·2023-11-05 23:45

Windows系统下安装Hadoop

文章目录前言安装步骤环境验证结语前言  Hadoop是一个开源的分布式计算平台，广泛应用于大数据处理。
想你依然心痛·2023-11-05 23:15
上一页 60 61 62 63 64 65 66 67 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他