Hadoop大数据学习

hadoop 安装到配置-2021-11-4

文章目录本次需要用到软件：1.安装虚拟机2.安装centos73.安装hadoop静态IP的配置更改主机名配置本地域名解析（host）设置linux防火墙关闭防火墙：防火墙配置文件：配置ssh（免密连接
JiaJunRun·2023-11-08 09:32

sqoop笔记（安装、配置及使用）

sqoop简介----sqoop是一个用来在hadoop体系和关系型数据库之间进行数据互导的工具----实质就是将导入导出命令转换成mapreduce程序来实现sqoop安装：安装在一台节点上就可以了。
小小哭包·2023-11-08 09:00

Spark中常见的错误以及修改方案

1、在Windows中运行，缺少模拟Hadoop的运行环境，报这样的错是因为你windows下的hadoop中没有hadoopzaiwindows下执行所需要的插件：winutils.exe解决方式：配置一下就可以解决
新手小农·2023-11-08 09:23

hadoop yarn调度平台

前言YARN是Hadoop资源管理器。负责协调任务作业的服务器资源。使任务有序对资源进行利用。除了支持原生MapReduce任务，他还提供了Spark等任务接入的入口。
懒猫gg·2023-11-08 06:12

Hadoop Yarn 三种资源调度器详解使用

参考链接：https://blog.csdn.net/ddxygq/article/details/113869619?spm=1001.2014.3001.55011、调度器的选择在Yarn中有三种调度器可以选择：FIFOScheduler，CapacityScheduler，FairScheduler。FIFOScheduler把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分
这个操蛋的人生！！！·2023-11-08 06:40

hadoop之 Yarn 调度器Scheduler详解

概述集群资源是非常有限的，在多用户、多任务环境下，需要有一个协调者，来保证在有限资源或业务约束下有序调度任务，YARN资源调度器就是这个协调者。YARN调度器有多种实现，自带的调度器为CapacityScheduler和FairScheduler。YARN资源调度器均实现ResourceScheduler接口，是一个插拔式组件，用户可以通过配置参数来使用不同的调度器，也可以自己按照接口规范编写新的
weixin_33847182·2023-11-08 06:10

hadoop yarn资源调度

yarn概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x版本中的一个新特性
习丿枫叶菊·2023-11-08 06:09

【大数据】HADOOP-YARN容量调度器配置详解

目录简介资源分配应用程序数目限制队列权限管理基于用户或组的队列映射应用程序的生存期(lifetime)简介Capacity调度器具有以下的几个特性：层次化的队列设计，这种层次化的队列设计保证了子队列可以使用父队列设置的全部资源。这样通过层次化的管理，更容易合理分配和限制资源的使用。容量保证，队列上都会设置一个资源的占比，这样可以保证每个队列都不会占用整个集群的资源。安全，每个队列有严格的访问控制。
笑起来贼好看·2023-11-08 06:39

hadoop job yarn 命令

hadoop命令行与job相关的：命令行工具•1.查看Job信息：hadoopjob-list2.杀掉Job：hadoopjob–killjob_id3.指定路径下查看历史日志汇总：hadoopjob-historyoutput-dir4
wankunde·2023-11-08 06:39

【大数据】【Spark】Spark概述

可参照博主以下Scala入门文章链接：https://blog.csdn.net/treesorshining/article/details/124697102文章目录1.Spark概念2.Spark与Hadoop
Silver Star·2023-11-08 06:08

大数据学习之一文学会Spark【Spark知识点总结】

文章目录什么是SparkSpark的特点SparkvsHadoopSpark+HadoopSpark集群安装部署Spark集群安装部署StandaloneONYARNSpark的工作原理什么是RDDRDD
小崔的技术博客·2023-11-08 06:37

Apache Hadoop YARN详解

官方文档ApacheHadoopYARN：https://hadoop.apache.org/docs/r3.3.5/hadoop-yarn/hadoop-yarn-site/YARN.html一、什么是
liuhanyuu·2023-11-08 05:35

Hadoop hadoop yarn 指令相关参数详解

原文地址：Hadoop之YARN命令http://www.aboutyun.com/thread-14930-1-1.html问题导读1.对于Hadoop集群用户有哪些有用的命令？
m0_67403073·2023-11-08 05:35

Hadoop中Yarn资源调度器、Yarn工作机制、作业提交全过程、Yarn调度器和调度算法、先进先出调度器（FIFO）、容量调度器（Capacity Scheduler）、公平调度器（Fair Sc

文章目录16.Yarn资源调度器16.1Yarn基础架构16.2Yarn工作机制16.3作业提交全过程16.3.1HDFS、YARN、MapReduce三者关系16.3.2作业提交过程值YARN16.3.3作业提交过程之HDFS&MapReduce16.4Yarn调度器和调度算法16.4.1先进先出调度器（FIFO）16.4.2容量调度器（CapacityScheduler）16.4.2.1容器调
Redamancy_06·2023-11-08 05:03

大数据学习之Spark性能优化

文章目录Spark三种任务提交模式宽依赖和窄依赖StageSparkJob的三种提交模式Shuffle机制分析未优化的HashBasedShuffle优化后的HashBasedShuffleSort-BasedShuffleSpark之checkpointcheckpoint概述checkpoint与持久化的区别checkPoint的使用checkpoint源码分析Spark程序性能优化性能优化分
小崔的技术博客·2023-11-08 05:02

【Hadoop】YARN容量调度器详解

目录一、CapacityScheduler简介二、CapacityScheduler特性三、CapacityScheduler配置四、YARNWEBUI参数详解一、CapacityScheduler简介HadoopYARN
开着拖拉机回家·2023-11-08 05:02

搭建DMETL与使用

DMETL创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持，大幅度降低了用户使用各种hadoop
abiubiu~·2023-11-08 03:14

DMETL部署测试记录

DMETL创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持，大幅度降低了用户使用各种hadoop
xufei_9527·2023-11-08 03:14

DMETL5工具安装部署（图形化安装）

DMETL创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持，大幅度降低了用户使用各种hadoop
Dfnygs·2023-11-08 03:43

hadoop安装与配置

安装和配置Hadoop涉及以下步骤：下载Hadoop：访问Hadoop官方网站（https://hadoop.apache.org/）或其他可信来源，下载适合您操作系统的Hadoop版本。
玥沐春风·2023-11-08 01:06

Hadoop不主动退出安全模式

hdfsdfsadmin-safemodeget查看安全模式的状态hdfsdfsadmin-safemodeleave主动关闭安全模式或者hdfsfsck/查看损坏的数据块hdfsfsck/-delete删除损坏的数据块
南城守护·2023-11-07 22:26

Hadoop从入门到入土（第三天）

（今天学习的时候把hadoop的环境变量配置错了，然后所有命令就运行不了，被迫重开）目录一、安装hadoop二、本地运行模式一、安装hadoop打开Xshell7连接hadoop102>cd/opt/software
南城守护·2023-11-07 22:56

Hadoop从入门到入土（第四天）

编写集群分发脚本xsync二、ssh无密登陆配置1.配置ssh2.无密钥设置一、完全分布式运行模式（开发重点）1）分析1.准备3台客户机（关闭防火墙、静态IP、主机名称）2.安装JDK3.配置环境变量4.安装Hadoop5
南城守护·2023-11-07 22:56

Hadoop从入门到入土（第五天）

cd/opt/module/hadoop文件名>ll>cdetc/hadoop/>复制(fs.defaultFShdfs://hadoop102:8020hadoo
南城守护·2023-11-07 22:56

Hadoop从入门到入土（第二天）

目录一、今日学习所遇到的命令二、模板虚拟机准备三、虚拟机克隆四、安装jdk一、今日所遇到的命令：reboot重启，相当于shutdown-rnowsu变更其它使用者的身份cd返回上一级目录pwd查看当前目录ping用来检测网络联通性yuminstall-yepel-release关闭防火墙systemctldisablefivewall.service关闭防火墙开机自启systemctldisab
南城守护·2023-11-07 22:56

云服务器安装Hive

服务运行模式6.编写脚本来管理hive的metastore/hiveserver2服务的启动和停止1.7Hive常用命令7.Hive参数配置方式7.1Hive常见的几个属性配置安装Hive的前提是先安装Hadoop
几窗花鸢·2023-11-07 22:19

【flink集群+高可用搭建】

-1.10.1flink配置环境变量：exportFLINK_HOME=/usr/local/software/flinkexportPATH=$FLINK_HOME/bin:$PATH#exportHADOOP_CONF_DIR
长安不问·2023-11-07 22:49

大数据毕业设计选题推荐-营业厅营业效能监控平台-Hadoop-Spark-Hive

✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着通信行业的快速
IT毕设梦工厂·2023-11-07 17:59

基于Hadoop与Electron的京东商品评论词云统计系统

项目采用Electron+Hadoop技术栈实现，前后端使用Socket进行通讯。二、背景随着电子商务的快速发展，京东和淘宝成为中国最大的在线购物平台之一
没头发的米糊·2023-11-07 15:06

渗透测试思路

渗透测试思路端口扫描注意未授权访问漏洞：mongoDB/redis/hadoop/推荐工具：nmap—时间较长小米范—可快速发现很多页面的未授权访问常规测试点明文传输（中危）：抓包，是不是HTTPS，是
行者_Seven·2023-11-07 11:06

Centos7系统下搭建Hadoop 3.3.6

本次使用3台服务器进行安装Hadoop。其中服务器系统均为Centos7.6、Hadoop版本为3.3.6、jdk版本为1.8.0_371。
mr-element·2023-11-07 11:41

Hadoop下载与安装

安装Hadoop介绍：Hadoop是一个开源软件框架，用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储，巨大的处理能力以及处理几乎无限的并发任务或作业的能力。
m0_67400972·2023-11-07 11:34

Hadoop-3.3.6完全分布式集群搭建

目录1.克隆两台虚拟机，作为从机使用2.从机ip设置3.Xshell连接5.配置环境变量6.配置hadoop-env.sh文件及其他重要文件7.分发文件8.启动hadoop集群并测试9.访问web界面10
-ikL1122·2023-11-07 11:04

VM创建虚拟机安装centos7.5记录篇

或者在文件选项卡里找到新建虚拟机选项)在新建虚拟机导航里选择典型，点击下一步选择稍后安装操作系统，点击下一步如图选好将要安装的操作系统和对应的发行版我们自己命名虚拟机的名称，并配置本机磁盘上的对应位置，这里我将虚虚拟机命名为hadoop100
Java啊升·2023-11-07 10:17

Ubuntu环境下Hadoop1.2.1, HBase0.94.25, nutch2.2.1各个配置文件一览

××/Author：xxx0624HomePage：http://www.cnblogs.com/xxx0624//×××××××××××××××××××××××××××××××××××××××××/Hadoop
weixin_30491641·2023-11-07 09:10

Hadoop知识点全面总结

文章目录什么是HadoopHadoop发行版介绍Hadoop版本演变历史Hadoop3.x的细节优化Hadoop三大核心组件介绍HDFS体系结构NameNode介绍总结SecondaryNameNode
小崔的技术博客·2023-11-07 08:40

大数据毕业设计选题推荐-家具公司运营数据分析平台-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着家具行业的快速发展，市
IT研究室·2023-11-07 07:49

Haddop,HDFS和MapDeduce简单理论

HadoopHadoop1Hadoop2HDFS3.MapDeduceHadoop1Hadoop开源的分布式存储+分布式计算平台核心组件：HDFS：分布式文件系统，存储海量数据。
杰KaMi·2023-11-07 06:25

Spark基础知识点

分布式文件系统（HadoopDistributedFileSystem）当数据集达到一定规模，单机无法处理把数据分布到各个独立的机器上（多机器共同协作）网络HDFS优缺点优点：构建在廉价的机器上使用大数据处理高容错硬件错误流式数据访问大规模数据集简单的一致性模型
蛋炒双黄蛋·2023-11-07 05:04

【Spark】基础知识点

大数据开发复习课程-Spark11、spark11.1、spark介绍11.2、spark与Hadoop的区别11.3、spark的特点11.4、spark的运行模式1.local本地模式(单机)--开发测试使用
浪里小飞侠·2023-11-07 05:03

spark基础知识点

Spark针对开发大数据应用程序提供了丰富的API，这些API比HadoopMapReduce更易读懂。相比之下，HadoopMapRed
叫我三少爷·2023-11-07 05:01

Spark 基础知识点、三种模式安装

环境说明centos7.5spark-2.1.1Spark内置模块Sparklocal模式安装直接解压即可，无需配置（spark-2.1.1-bin-hadoop2.7.tgz集成hadoop环境包）local
得过且过1223·2023-11-07 05:01

hadoop配置

服务规划gz上传文件，解压文件，创建软连接cdetc修改workers文件配置hadoop-env.sh，这个文件作用主要是Hadoop运行的环境变量exportJAVA_HOME=/export/server
弦之森·2023-11-07 04:57

【Hadoop】Apache Hadoop YARN

个人主页——开着拖拉机回家_Linux,Java基础学习,大数据运维-CSDN博客✨感谢点赞和关注，每天进步一点点！加油！目录一、YARN概述二、YARN基础架构2.1ResourceManager（RM）2.1.1Scheduler2.1.2ApplicationManager2.2ApplicationMaster（AM）2.3NodeManager（NM）2.4Container三、YARN
开着拖拉机回家·2023-11-07 01:32

大数据从入门到实战 - HBase 开发：使用Java操作HBase

一、关于此次实践1、实战简介HBase和Hadoop一样，都是用Java进行开发的，本次实训我们就来学习如何使用J
发芽ing的小啊呜·2023-11-06 23:07

【数据开发】大数据平台架构，Hive / THive介绍

1、大数据引擎大数据引擎是用于处理大规模数据的软件系统，常用的大数据引擎包括Hadoop、Spark、Hive、Pig、Flink、Storm等。
小哈里·2023-11-06 23:12

Flink（一）【WordCount 快速入门】

前言学完了Hadoop、Spark，本想着先把Kafka、Flume这些工具先学完的，但想了想还是把核心的技术先学完最后再去把那些工具学学。
让线程再跑一会·2023-11-06 20:51

Hadoop分布式系统架构详解

导语：hadoop简单来说就是用java写的分布式，处理大数据的框架，主要思想是“分组合并”思想。
25577033_malong·2023-11-06 19:30

Hadoop分布式系统基础架构

https://baike.baidu.com/item/HadoopHadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。
m0_38085573·2023-11-06 19:00

二、Hadoop分布式系统基础架构

1、分布式分布式体系中，会存在众多服务器，会造成混乱等情况。那如何让众多服务器一起工作，高效且不出现问题呢？2、调度（1）架构在大数据体系中，分布式的调度主要有2类架构模式：~去中心化模式~中心化模式（2）去中心化模式没有明确的中心，众多服务器之间基于特定的规则进行同步协调。（3）中心化模式其中一台服务器作为中心，都以该台服务器为中心。3、常见基础构架（1）常见框架构成大数据框架的大多数基础构架，
弦之森·2023-11-06 19:29
上一页 58 59 60 61 62 63 64 65 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他