hadoop学习积累

Hadoop下载与安装

安装Hadoop介绍：Hadoop是一个开源软件框架，用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储，巨大的处理能力以及处理几乎无限的并发任务或作业的能力。
m0_67400972·2023-11-07 11:34

Hadoop-3.3.6完全分布式集群搭建

目录1.克隆两台虚拟机，作为从机使用2.从机ip设置3.Xshell连接5.配置环境变量6.配置hadoop-env.sh文件及其他重要文件7.分发文件8.启动hadoop集群并测试9.访问web界面10
-ikL1122·2023-11-07 11:04

VM创建虚拟机安装centos7.5记录篇

或者在文件选项卡里找到新建虚拟机选项)在新建虚拟机导航里选择典型，点击下一步选择稍后安装操作系统，点击下一步如图选好将要安装的操作系统和对应的发行版我们自己命名虚拟机的名称，并配置本机磁盘上的对应位置，这里我将虚虚拟机命名为hadoop100
Java啊升·2023-11-07 10:17

Ubuntu环境下Hadoop1.2.1, HBase0.94.25, nutch2.2.1各个配置文件一览

××/Author：xxx0624HomePage：http://www.cnblogs.com/xxx0624//×××××××××××××××××××××××××××××××××××××××××/Hadoop
weixin_30491641·2023-11-07 09:10

Hadoop知识点全面总结

文章目录什么是HadoopHadoop发行版介绍Hadoop版本演变历史Hadoop3.x的细节优化Hadoop三大核心组件介绍HDFS体系结构NameNode介绍总结SecondaryNameNode
小崔的技术博客·2023-11-07 08:40

大数据毕业设计选题推荐-家具公司运营数据分析平台-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着家具行业的快速发展，市
IT研究室·2023-11-07 07:49

Haddop,HDFS和MapDeduce简单理论

HadoopHadoop1Hadoop2HDFS3.MapDeduceHadoop1Hadoop开源的分布式存储+分布式计算平台核心组件：HDFS：分布式文件系统，存储海量数据。
杰KaMi·2023-11-07 06:25

Spark基础知识点

分布式文件系统（HadoopDistributedFileSystem）当数据集达到一定规模，单机无法处理把数据分布到各个独立的机器上（多机器共同协作）网络HDFS优缺点优点：构建在廉价的机器上使用大数据处理高容错硬件错误流式数据访问大规模数据集简单的一致性模型
蛋炒双黄蛋·2023-11-07 05:04

【Spark】基础知识点

大数据开发复习课程-Spark11、spark11.1、spark介绍11.2、spark与Hadoop的区别11.3、spark的特点11.4、spark的运行模式1.local本地模式(单机)--开发测试使用
浪里小飞侠·2023-11-07 05:03

spark基础知识点

Spark针对开发大数据应用程序提供了丰富的API，这些API比HadoopMapReduce更易读懂。相比之下，HadoopMapRed
叫我三少爷·2023-11-07 05:01

Spark 基础知识点、三种模式安装

环境说明centos7.5spark-2.1.1Spark内置模块Sparklocal模式安装直接解压即可，无需配置（spark-2.1.1-bin-hadoop2.7.tgz集成hadoop环境包）local
得过且过1223·2023-11-07 05:01

hadoop配置

服务规划gz上传文件，解压文件，创建软连接cdetc修改workers文件配置hadoop-env.sh，这个文件作用主要是Hadoop运行的环境变量exportJAVA_HOME=/export/server
弦之森·2023-11-07 04:57

【Hadoop】Apache Hadoop YARN

个人主页——开着拖拉机回家_Linux,Java基础学习,大数据运维-CSDN博客✨感谢点赞和关注，每天进步一点点！加油！目录一、YARN概述二、YARN基础架构2.1ResourceManager（RM）2.1.1Scheduler2.1.2ApplicationManager2.2ApplicationMaster（AM）2.3NodeManager（NM）2.4Container三、YARN
开着拖拉机回家·2023-11-07 01:32

大数据从入门到实战 - HBase 开发：使用Java操作HBase

一、关于此次实践1、实战简介HBase和Hadoop一样，都是用Java进行开发的，本次实训我们就来学习如何使用J
发芽ing的小啊呜·2023-11-06 23:07

【数据开发】大数据平台架构，Hive / THive介绍

1、大数据引擎大数据引擎是用于处理大规模数据的软件系统，常用的大数据引擎包括Hadoop、Spark、Hive、Pig、Flink、Storm等。
小哈里·2023-11-06 23:12

Flink（一）【WordCount 快速入门】

前言学完了Hadoop、Spark，本想着先把Kafka、Flume这些工具先学完的，但想了想还是把核心的技术先学完最后再去把那些工具学学。
让线程再跑一会·2023-11-06 20:51

Hadoop分布式系统架构详解

导语：hadoop简单来说就是用java写的分布式，处理大数据的框架，主要思想是“分组合并”思想。
25577033_malong·2023-11-06 19:30

Hadoop分布式系统基础架构

https://baike.baidu.com/item/HadoopHadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。
m0_38085573·2023-11-06 19:00

B2《超越智商》D1理性之心

晶体智力（Gc）则指通过学习积累得来的陈述性知识，可以通过词汇任务、阅读理解和一般知识测验来测量。长久
TheMagus·2023-11-06 19:52

二、Hadoop分布式系统基础架构

1、分布式分布式体系中，会存在众多服务器，会造成混乱等情况。那如何让众多服务器一起工作，高效且不出现问题呢？2、调度（1）架构在大数据体系中，分布式的调度主要有2类架构模式：~去中心化模式~中心化模式（2）去中心化模式没有明确的中心，众多服务器之间基于特定的规则进行同步协调。（3）中心化模式其中一台服务器作为中心，都以该台服务器为中心。3、常见基础构架（1）常见框架构成大数据框架的大多数基础构架，
弦之森·2023-11-06 19:29

大数据毕业设计选题推荐-设备环境监测平台-Hadoop-Spark-Hive

✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着工业4.0和物
IT毕设梦工厂·2023-11-06 18:03

YARN实战学习笔记

文章目录YARN的由来YARN架构分析YARN资源管理模型YARN中的调度器案例：YARN多资源队列配置和使用YARN的由来从Hadoop2开始，官方把资源管理单独剥离出来，主要是为了考虑后期作为一个公共的资源管理平台
小崔的技术博客·2023-11-06 18:16

Spark(Scala)-示例程序

1.版本system:windows10jdk:1.8.0_141scala:2.10.5spark:spark-2.0.2-bin-hadoop2.6IntelliJ:15.0.62.基本环境安装下载安装
陪你一起debug·2023-11-06 17:47

大数据HADOOP框架

Hadoop一、入门1、大数据定义2、Hadoop入门概念①Hadoop是什么？
FangSai_ovo·2023-11-06 16:18

【大数据处理框架】Hadoop大数据处理框架，包括其底层原理、架构、编程模型、生态圈

文章目录底层原理架构编程模型生态圈Hadoop是一个开源的大数据处理框架，它包含了底层的分布式文件系统和分布式计算资源管理系统，以及高级的数据处理编程接口。
我是廖志伟·2023-11-06 15:41

ssh免密登录

生成密钥且生成之后会在用户的根目录生成一个“.ssh”的文件夹2添加公钥到将公钥内容追加到authorized_keys中：cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys或则ssh-copy-idhadoop001
爱吃面的猫·2023-11-06 15:59

图文讲解hadoop中MapReduce的工作流程机制

保姆级图文讲解MapReduce的工作流程机制知识点：MapReduce的核心思想是什么？答:'先分离再合并'MapReduce的简要流程是啥？答:分为五个步骤。分别是Input/Read、Map、Shuffle、Reduce、Output/WriteMap阶段是做啥的？答:Map是分的阶段，把复杂的任务拆分成多个小的任务，拆分的前提是多个小任务互不干预，可以独立存在。Reduce阶段是做啥的？答
大数据学编程·2023-11-06 10:29

【Hadoop】MapReduce工作流程

MapReducer工作流程读数据1.客户端提交作业任务；2.Job根据作业任务获取文件信息；3.InputFormat将文件按照设定的切片大小（一般切片大小等于HDFS中的Block块大小）进行切片操作，并将切片的数据读入并生成一个MapTask任务；Mapper4.MapTask通过InputFormat获得RecordReader，从InputSplit中获取并解析出对应的key-value
温wen而雅·2023-11-06 09:57

hadoop之MapReduce---MapReduce详细工作流程

MapReduce工作流程流程示意图流程详解上面的流程是整个MapReduce最全工作流程，但是Shuffle过程只是从第7步开始到第16步结束，具体Shuffle过程详解，如下：1）MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件3）多个溢出文件会被合并成大的溢出文件4）在溢出过程及合并的过程中，都要调用Partitio
小刘同学-很乖·2023-11-06 09:57

Hadoop MapReduce工作流程图示与详解

1）Map阶段图示：2）Reduce阶段图示：3）Shuffle过程：Shuffle过程只是从map第7步开始到reduce第16步结束，具体Shuffle过程详解，如下：（1）MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中（2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件（3）多个溢出文件会被合并成大的溢出文件（4）在溢出过程及合并的过程中，都要调用Partitio
op1sreal·2023-11-06 09:56

Hadoop学习之MapReduce（MapReduce详细工作流程）心得

MapReduce详细工作流程：1.准备好待处理的输入文件2.对文件进行切片分析3.客户端将三样东西（Job.splitwc.jarJob.xml）提交至Yarn4.Yarn开启Mrappmaster根据提供的切片个数开启对应的MapTask个数5.默认的TextInputFormat读取K，v传递给Mapper6.进行逻辑运算后数据输出至环形缓冲区7.向环形缓冲区写入数据（默认大小100M，左侧
顺其自然的济帅哈·2023-11-06 09:25

HaDoop之MapReduce流程

MapReduce简介及优点MapReduce是一个分布式运算程序的编程框架,是Hadoop数据分析的核心MapReduce的核心思想是将用户编写的逻辑代码和架构中的各个组件整合成一个分布式运算程序,实现一定程序的并行处理海量数据
0918L·2023-11-06 09:24

认识XML：概念、语法、实例(Hadoop读取core-site.xml中数据的机制)

0、简要理解几个基本概念-----0.0标记语言是什么？-----0.1标准通用标记语言（SGML）-----0.2可扩展标记语言（XML）：本文主角1、本文主角：XML（可扩展标记语言）-----1.0XML学习-思维导图-----1.1XML-语法规范概述-----1.2XML-文档声明-----1.3XML-注释-----1.4XML-元素（/标记/节点）-----1.5XML-属性2、实例
神是念着倒·2023-11-06 09:50

hbase安装

这里安装0.99版本，如果hadoop为2.7可以换为更高版本hbase下载（当前目录有安装包）Hbase下载官网mkdir/opt/hbasetar-zxvfhbase-0.99.2-bin.tar.gzip
比基尼海滩章鱼哥·2023-11-06 09:49

Hadoop安装MySQL报错The GPG keys listed for the “MySQL 5.7 Community Server“ repository are already......

目录一、报错描述：二、问题分析：三、问题解决：四、命令运行：五、总结一、报错描述：TheGPGkeyslistedforthe"MySQL5.7CommunityServer"repositoryarealreadyinstalledbuttheyarenotcorrectforthispackage.CheckthatthecorrectkeyURLsareconfiguredforthisre
freshman_y·2023-11-06 07:29

Hadoopo-MapReduce（数据处理）

认识HadoopHadoop是Apache基金会下一个分布式的开源计算平台。Hadoop可使用户在不了解分布式底层细节的情况下，使用简单的编程模型通过廉价PC的集群处理海量数据。
qq_42601983·2023-11-06 05:53

hadoop集群安装_已搭建好_可直接使用

已经搭建好的三台hadoop集群，下载可直接使用的hadoop完全分布式集群，环境搭建、集群配置已完成。
hys_guff·2023-11-06 05:15

CDH集群6.3.2 + CM6.3.1离线安装部署实操保姆级详细教程

目录一、序CDH简介CM简介为什么选择CDH而不是ApacheHadoopCDH安装说明二、准备工作前置条件测试服务器准备软件环境准备CDH安装包准备查看CDH6.3.2安装包查看CM6.3.1安装包查看
猫吃了源码·2023-11-06 05:44

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP

hadoop启动时报错：WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
D老歪·2023-11-06 05:23

计算机大数据毕设选题推荐Hadoop项目，Spark，Hive，Flink

1、基于Hadoop和Hive的食品配送优化：使用Hadoop和Hive分析食品配送数据，以优化配送路线、减少成本和提高效率。
大数据毕设辅导员·2023-11-06 05:52

大数据毕业设计选题推荐-无线网络大数据平台-Hadoop-Spark-Hive

✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着无线通信技术的
IT毕设梦工厂·2023-11-06 05:51

大数据毕业设计选题推荐-智慧小区大数据平台-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着信息技术的快速发展，智
IT研究室·2023-11-06 04:50

Python大数据处理库 PySpark实战 总结一

一书的总结归纳大数据时代大数据的特点：大量、高速、多样、低价值密度、真实性谷歌三篇论文是大数据的基石：GoogleFileSystem、GoogleMapReduce、GoogleBi个Table，解决存储、计算、查询的问题分析工具Hadoop
jialun0116·2023-11-06 04:42

狂神Docker通俗易懂学习笔记1

环境配置是十分的麻烦，每一个机器都要部署环境(集群Redis、ES、Hadoop......)，费时费力。Windows环境，最后发布到Linux!传统：开发jar
aa天意@@·2023-11-06 04:16

【基础篇】大数据学习笔记（4）相关名词解释

GFS：GoogleFileSystemGoogle文件系统HDFS：HadoopDsitributedFileSystemHadoop分布式文件系统Zookeeper：分布式应用程序协调服务，是Hadoop
风也醉·2023-11-06 02:54

2020-04-21

通过命令-setrep设置HDFS中文件的副本数量[zby@hadoop102hadoop-2.7.2]$hadoopfs-setrep10/sanguo/shuguo/kongming.txt这里设置的副本数只是记录在
Map_Reduce·2023-11-06 02:57

Hadoop2.6.5集群搭建

搭建虚拟机以下搭建所需环境和资源包为VMwareCentOS7Hadoop2.6.5.tar.gzJDK1.8+使用虚拟机安装3个CentOS7的主机模拟服务器，分别为master、slave1、slave2
Alexciヾ·2023-11-06 01:26

Exception in thread “main“ java.lang.RuntimeException: Error while running command to get file permi

这是在eclipse里面运行的Hadoopapi问题描述：Exceptioninthread"main"java.lang.RuntimeException:Errorwhilerunningcommandtogetfilepermissions
一名正在努力的大数据learner·2023-11-06 00:57

pyarrow读写hdfs

官方API文档：https://arrow.apache.org/docs/python/index.html1、测试服务器能够正确连接hdfs:>hadoopfs-ls/Found5itemsdrwxrwxrwx-hbasesupergroup02021
影子飞扬·2023-11-06 00:19

大数据之spark_spark简介

孵化项目，2014年2月成为Apache的顶级项目，2014年5月发布spark1.0，2016年7月发布spark2.0，2020年6月18日发布spark3.0.0Spark的特点Speed：快速高效Hadoop
普罗米修斯之火·2023-11-05 23:42
上一页 58 59 60 61 62 63 64 65 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他