hadoop学习积累

Ubuntu下搭建Hadoop分布式集群

应课程要求，这学期学习到了云计算与大数据，这次实验就是让我们在ubuntu中配置好hadoop分布式集群，这两天就从网上一边搜寻教程并结合课本（课本上是使用的centos，而且版本较老，不太适用）一边自己动手做
夜雨声烦ikkk·2023-12-05 08:19

Hadoop 安装与配置

创建虚拟机这里需要下载ubuntu操作系统创建一个hadoop用户，并使用/bin/bash作为shell虚拟机打开成功后，打开终端Terminal，开始创建hadoop用户sudouseradd-mhadoop-s
丶流年·2023-12-05 08:18

大数据Hadoop集群的启动

目录1启动准备工作1.1配置操作系统的环境变量1.2创建Hadoop数据目录1.3格式化文件系统1.4启动和关闭Hadoop1.5验证Hadoop是否成功启动1.6hadoop-daemon.sh的使用
赵广陆·2023-12-05 08:13

Hadoop

1.请简要介绍一下Hadoop生态系统。
编织幻境的妖·2023-12-05 08:41

小学语文成语填空测试题，快打印出来测测孩子们成语量

小学阶段语文的学习，成语的学习积累非常重要。多多学习成语，除了能够在写作中运用为作文添彩外，还能学习到一些成语背后的典故。
爱学娃·2023-12-05 07:58

1-Hadoop原理与技术

单选题题目1：安装Hadoop集群时，是在哪个文件指定哪些机器作为集群的从机？
阿伊同学·2023-12-05 06:06

Hadoop三大组件之Yarn

文章目录1.概述2.YARN基础架构3.辅助角色3.1Web应用代理(WebApplicationProxy)3.2JobHistoryServer历史服务器1.概述什么是资源调度？为什么需要资源调度？资源，即服务器的硬件资源，如：CPU、内存、网络等；资源调度是为了管控服务器的硬件资源，提供更好的利用率；分布式资源调度是管控这个分布式服务器集群的全部资源，整合进行统一的调度在分布式系统中，会有很
不忘初欣丶·2023-12-05 06:05

hadoop之yarn

简介一、YARN是一个通用资源管理系统和调度平台，为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。1、通用指不仅支持mr程序，也支持其它计算程序2、资源管理包括集群的硬件资源、cpu、内存等3、调度平台指多个程序同时执行时如何分配计算资源，调度的规则（算法）二、YARN类似一个分布式的操作系统平台，为MapReduce等计算程序提供运行所需的内存、CPU等资源。三、yarn在hadoo
测试开发知识积累·2023-12-05 06:33

Hadoop之YARN详解

Hadoop是一个开源的分布式计算框架，它的核心是HDFS和MapReduce。然而，随着Hadoop的发展，它的计算框架也在不断地演进。
蓝胖子的宝贝·2023-12-05 06:33

Apache Hadoop YARN

YARN的概述ApacheYarn（YetAnotherResourceNegotiator的缩写）是hadoop集群资源管理器系统，Yarn从hadoop2引入，最初是为了改善MapReduce的实现
麦迪康·2023-12-05 06:03

Hadoop Yarn详解

一、Yarn简介Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。
m0_67392661·2023-12-05 06:03

Hadoop系列 (四)：Yarn详细介绍

文章目录Hadoop系列文章Yarn简介Yarn基本架构Yarn组件介绍ResourceManagerNodeManagerApplicationMasterContainerYarn运行原理Yarn-HA
EricRae·2023-12-05 06:32

Hadoop Yarn RPC远程命令执行

影响范围HadoopYarnRPC漏洞类型远程命令执行利用条件可未授权访问漏洞概述2021年11月15日，有安全研究人员披露HadoopYarnRPC存在未授权访问漏洞，此漏洞存在于Hadoop的核心组件
FLy_鹏程万里·2023-12-05 06:32

Hadoop组件之Yarn

文章目录Yarn简介Yarn产生的原因Yarn架构ResourceManagerApplicationMasterNodeManagerContainerYarn工作流程分析作业提交作业初始化任务分配任务运行进度和状态更新作业完成Yarn中的资源调度器先进先出调度器（FIFO）容量调度器（CapacityScheduler）公平调度器（FairScheduler）Yarn任务的推测执行机制启用推测
iceburg-blogs·2023-12-05 06:32

10-Hadoop组件开发技术

选项:AHadoopHA即集群中包含SecondaryNameNode作为备份节点存在。
阿伊同学·2023-12-05 06:01

Hadoop

1.请简要介绍一下Hadoop的基本架构和组件。Hadoop是一个由Apache基金会开发的分布式系统基础架构，它可以充分利用集群的威力进行高速运算和存储。
编织幻境的妖·2023-12-05 06:31

Hadoop YARN组件

YARN，也被称为"YetAnotherResourceNegotiator"，是ApacheHadoopYARN，也被称为"YetAnotherResourceNegotiator"，是ApacheHadoop
编织幻境的妖·2023-12-05 06:31

Hadoop的介绍与安装

1Hadoop的简介Hadoop是一个开源的大数据框架，是一个分布式计算的解决方案。
憨憨小白·2023-12-05 06:30

二百零九、Hive——with嵌套语句报错：hadoop.hive.ql.parse.SemanticException: Line 2:5 Ambiguous table alias ‘t2‘

一、目的在Hive的with嵌套语句时，HQL报错Line2:5Ambiguoustablealias't2'二、报错详情org.apache.hadoop.hive.ql.parse.SemanticException
天地风雷水火山泽·2023-12-05 06:22

Hadoop实验putty文件

博客主页：A_SHOWY系列专栏：力扣刷题总结录数据结构云计算数字图像处理很多朋友反馈做hadoop实验中的putty找不到Connection-SSH-Auth路径下找不到Privatekeyforauthentication
A_SHOWY·2023-12-05 06:46

启动 AWS Academy Learner Lab【教学】（Hadoop实验）

博客主页：A_SHOWY系列专栏：力扣刷题总结录数据结构云计算第一部分创建实例过程首先，需要创建3台EC2，一台作主节点(masternode)，两台作从节点(slavesnode)。1.镜像选择EC2（弹性计算云）：是AWS提供的最基本的云计算产品：虚拟专用服务器。这些“实例”可以运行大多数操作系统。2.选择实例类型实例类型这里我选择的t2.medium,虽然选择t2.micro或者t2.sma
A_SHOWY·2023-12-05 05:36

Flink入门之部署（二）

三种部署模式standalone集群，会话模式部署：先启动flink集群webUI提交shell命令提交：bin/flinkrun-d-mhadoop102:8081-ccom.atguigu.flink.deployment.Flinke1
十七✧ᐦ̤·2023-12-05 04:47

一个大数据架构师应该掌握的技能

专业工具平台海致BDP永洪易观4）APP分析平台mixpanelgrowingIO神策诸葛IO2.技术选型1）CDH2）HDP+HDF3）MAPR4）Transwarp3.平台架构1）HDPCore(平台核心也是Hadoopcore
潘永青·2023-12-05 02:13

Flume+Kafka双剑合璧玩转大数据平台日志采集

一般而言，这些系统需要具有以下特征：构建应用系统和分析系统的桥梁，并将它们之间的关联解耦支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统具有高可扩展性。
浪尖聊大数据-浪尖·2023-12-05 02:12

大数据开发：Hive on Spark设计原则及架构

在Spark越来越受到主流市场青睐的大背景下，Hive作为Hadoop生态当中的数仓组件工具，在于Spark生态的配合当中，开始有了HiveonSpark的思路，那么具体是怎么实现的呢？
成都加米谷大数据·2023-12-05 01:44

从 MapReduce 的运行机制看它为什么比 Spark 慢

在Hadoop1中，MapReduce计算框架即负责集群资源的调度，还负责MapReduce程序的运行。一，MapReduce组成MapReduce的运行过程有三个关键进程：1，大数据应用进程。
stone_zhu·2023-12-05 00:36

HDFS运维问题

zhuanlan.zhihu.com/p/1704789651这次我吐血整理了一些在维护hdfs工作中遇到的问题，有的是血的教训，有的是花了不少功夫定位，也有的是一些知识点或者技巧，其中有两个补丁已经合并到apachehadoop
专职掏大粪·2023-12-04 23:50

sqoop导入导出工具的使用以及通过java代码连接linux，远程执行shell命令

1、sqoop是apache开源提供的一个数据导入导出的工具，从关系型数据库导入到hdfs，或者从hdfs导出到关系型数据库等等导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE
喵喵秀拌酱·2023-12-04 21:20

Spark读写Oracle性能深度调优

Spark作为一个分布式计算框架，可以很好的适用于Hadoop。那么Spark是否可以与关系型数据库较好的进行兼容呢？以Spark作为计算，以关系型数据库（例如Oracle）作为存储？  
weixin_43370502·2023-12-04 21:16

写作的量变一定会带来质变吗？

坚持+不断地学习积累+正确地写作方法=质变02写作需要的不仅是天长日久的积累和坚持，在写的过程中，我们需要更多
于小五·2023-12-04 21:52

大数据的技术栈-逐步完善

目录1.hadoopa.HDFS分布式文件系统b.Yarn集群资源管理器c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构
刘文钊1·2023-12-04 20:12

centos安装Python3之后yum不能使用异常

问题描述在centos上安装python3之后出现yum使用不了问题，使用yum会报如下信息：[root@hadoop101~]#yuminstallwgetFile"/usr/bin/yum",line30exceptKeyboardInterrupt
大数据魔法师·2023-12-04 20:04

头歌大数据作业二：搭建Hadoop环境及HDFS

课外作业二：搭建Hadoop环境及HDFS作业详情内容阿里云-云起实验室-《搭建Hadoop环境》-Hadoop-2.10.1伪分布式：1.截图本实验ECS的公网IP地址，并添加彩色框标注，如下图所示：
别叫哥喜羊羊·2023-12-04 15:42

（图文详细）云计算与大数据实训作业答案（之篇三HDFS和MapReduce实训 ）

HDFS和MapReduce实训第1关：WordCount词频统计第2关：HDFS文件读写第3关：倒排索引第4关：网页排序——PageRank算法HDFS和MapReduce实训Hadoop是一个由Apache
Sunny蔬菜小柠·2023-12-04 15:11

大数据生态圈及分布式文件系统HDFS实践-part1

Hadoop入门第一章大数据概述1.1大数据概念“人类正在从IT时代走向DT时代”。大数据（BigData）：指的是传统数据处理应用软件不足以处理（存储和计算）它们的大而复杂的数据集。
落叶飘雪2014·2023-12-04 15:40

大数据实训笔记3：hdfs

HDFS（HadoopDistributedFileSystem）是一个文件系统，用于存储文件，通过目录树来定位文件。它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
Roslin_v·2023-12-04 15:39

Java操作Hdfs(分布式文件系统)完成文件上传、下载和删除

Java操作Hdfs(分布式文件系统)文件上传实现创建Maven项目，项目命名Hadoop_hdfs导入pom.xml依赖4.0.0hadoophadoop0.0.1-SNAPSHOThadoop_learnorg.apache.hadoophadoop-client3.2.0
菜鸟小党·2023-12-04 15:39

HDFS和MapReduce综合实训：构建大数据处理应用

摘要：本文将介绍如何使用Hadoop分布式文件系统（HDFS）和MapReduce框架来构建大数据处理应用。
IbtnLisp·2023-12-04 15:09

HBASE命令行查看中文字符

问题记录中文显示的是编码字符不方便查看value=\xE5\xB8\xB8\xE5\xAE\x89\xE5\xAE\x891修改前中文显示：解决方法1、'列族:列名:toString’2、'列族:列名:c(org.apache.hadoop.hbase.util.Bytes
Link_999·2023-12-04 11:20

HADOOP：：Fsimage和Edits解析

NameNode被格式化之后，将在/opt/modulehadoop-3.1.3/data/tmp/dfs/name/curent目录中产生如下文件fsimage_0000000000000000000fsimage
星星失眠️·2023-12-04 09:15

Presto基础学习--学习笔记

1，Presto背景2011年，FaceBook的数据仓库存储在少量大型hadoop/hdfs集群，在这之前，FaceBook的科学家和分析师一直靠hive进行数据分析，但hive使用MR作为底层计算框架
祈愿lucky·2023-12-04 09:21

基于hadoop下的Kafka分布式安装

简介Kafka是一种分布式流处理平台，它具有高吞吐量、可扩展性、可靠性、实时性和灵活性等优点。它能够支持每秒数百万条消息的传输，并且可以通过增加节点来增加吞吐量和存储容量。Kafka通过将数据复制到多个节点来实现数据冗余和高可用性，即使某个节点故障，也可以保证数据不会丢失。它能够快速地处理和传输数据，支持实时数据的处理和分析。此外，Kafka可以与各种不同的数据处理和分析工具集成，包括流处理、批处
necessary653·2023-12-04 08:37

【大数据】区分 hdfs dfs -ls 与 hdfs dfs -ls /

[hadoop@hadoop001~]$hdfsdfs-
G皮T·2023-12-04 07:19

带你涨姿势，Hbase 概念原理扫盲 ！

bainianminguo/p/12110077.html作者：bainianminguo一、Hbase简介1、什么是HbaseHbase的原型是google的BigTable论文，收到了该论文思想的启发，目前作为hadoop
码农小光·2023-12-04 07:06

阅读 Flink 源码前必会的知识 - 命令行解析库 Apache Commons Cli

一、介绍一下ApacheCommonsCli，有一个感官的认识我们在使用一些开源项目时，会敲一些命令，有简单的，比如hadoopversion；有复杂的，比如flinkrun…，hdfsdfs-ls，等等
KK架构·2023-12-04 06:22

flink-connector-mysql-cdc_2.0.2

flink-cdc-connectors/master/content/connectors/mysql-cdc.html1、测试步骤：1）开启MySQLBinlog并重启MySQL2）启动HDFS集群[hadoop
ykqidev·2023-12-04 06:49

Hadoop——分布式存储HDFS

HDFS集群环境部署VMware虚拟机中部署一、https://hadoop.apache.org中下载安装包二、环境分配三、上传、解压确认服务器创建、固定IP、防火墙关闭、Hadoop用户创建、SSH
A尘埃·2023-12-04 06:13

Hadoop——分布式计算MapReduce和资源调度Yarn

分布式计算MapReduceYARN架构YARN集群部署一、Hadoop安装目录下/etc/hadoop修改mapred-env配置文件，mapred-site.xml文件二、etc/hadoop文件内
A尘埃·2023-12-04 06:34

八、hdfs文件系统副本块数量的配置

1、配置方式2、实际操作演示（1）在Hadoop用户的根目录下创建text.txt文件（2）上传文件hadoop@node1:~$hdfsdfs-lshdfs://node1:8020/Found4itemsdrwxr-xr-x-hadoopsupergroup02023
弦之森·2023-12-04 05:05

2023.12.3 分布式SQL查询引擎-Presto

目录1.Prosto简介==ApacheHadoop-MapReduce====ApacheHive==2.Presto的优缺点3.个人自用启动服务个人自用启动服务4.presto和hive的区别5.presto
白白的wj·2023-12-04 05:29
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他