Hadoop大数据学习

Flink快速入门

1、大数据处理框架发展史大数据-3v-tpezy-分而治之批处理流处理-微信运动、信用卡月度账单、国家季度GDP增速MPI-节点间数据通信-c和pythonMR-2004谷歌提出的编程范式-hadoop
WaiSaa·2023-12-05 21:30

【Windows下】Eclipse 尝试 Mapreduce 编程

文章目录配置环境环境准备连接Hadoop查看hadoop文件导入Hadoop包创建MapReduce项目测试Mapreduce编程代码注意事项常见报错配置环境环境准备本次实验使用的Hadoop为2.7.7
撕得失败的标签·2023-12-05 19:59

Java大数据开发入门教程：使用Hadoop处理海量数据

在大数据领域，Hadoop作为一个开源的分布式计算框架，被广泛应用于海量数据的存储和处理。本文将为大家介绍Java大数据开发的基本概念和Hadoop的使用方法，帮助读者入门大数据开发。
C红毛丹·2023-12-05 19:29

Hadoop 概述

文章目录Hadoop概述Hadoop是什么Hadoop主要发展历程Hadoop优势Hadoop组成Hadoop1.x、2.x、3.x区别HDFS概述YARN概述MapReduce架构概述HDFS、YARN
撕得失败的标签·2023-12-05 19:59

hadoop 常用命令

启动Hadoop进入HADOOP_HOME目录。
零点145·2023-12-05 18:27

ssh问题

我想安装Hadoop，之前要安装ssh。
mjiansun·2023-12-05 16:51

大数据集群配置-HA（hadoop高可用）

hadoopHA配置软件名称软件包名Zookeeperzookeeper-3.4.8.tar.gzhiveapache-hive-2.0.0-src.tar.gzjdkjdk-8u65-linux-x64
厨 神·2023-12-05 16:20

第二章 Flink 环境部署

它集成了所有常见的集群资源管理器，例如HadoopYARN，但也可以设置作为独立集群运行。Flink运行
CDHong.it·2023-12-05 14:11

jdk和tomcat安装

下3配置环境变量4如果运行级别是3那么logout注销后就起作用如果运行级别是5那么必须点击用户点击注销5.在任何目录下都能使用java和javac6.测试是否安装成功1）创建java文件[root@hadoop1
pretty_rain·2023-12-05 12:34

头哥实践平台----HBase 开发：使用Java操作HBase

一.第1关：创建表1.先写命令行start-dfs.shstart-hbase.shhadoopfs-ls/hbase(可有可无)2.再写代码文件packagestep1;importjava.io.IOException
不想做程序猿的员·2023-12-05 11:06

Apache Spark

ApacheSpark是一个快速、可扩展、开源的大数据处理框架，采用内存计算，具有比HadoopMapReduce更高的性能和更好的扩展性。
m0_64180190·2023-12-05 10:24

Hadoop入门---简单介绍

一.分布式和集群分布式：多台服务器协同配合完成同一个大任务(每个服务器都只完成大任务拆分出来的单独1个子任务)，可以提高工作效率，但是当其中一台服务器无法运行时，该子任务无法完成，就会导致大任务也无法完成。集群：多台服务器联合起来独立做相同的任务(多个服务器分担客户端发来的请求)。当只有一个任务时，如果正在运行的服务器出现故障，剩下的服务器可以顶上运行任务，保证任务的持续性；如果有多个相同的任务，
Yan_bigdata·2023-12-05 10:13

hive数据库查看参数/hive查看当前环境配置

如果没有-v参数，只显示与hadoop不同的配置。set具体参数：返回具体参数对应
五月天的尾巴·2023-12-05 10:13

Apache Sqoop使用

1.Sqoop介绍ApacheSqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。
高过蓝天的云·2023-12-05 10:41

Hadoop大数据集群搭建（超详细）

使用了几个学期的实验手册，应该没有啥大问题了，现在分享给大家，希望对你学习hadoop有用实验环境：Vmwareworkstation+CentOS7+Hadoop3.1.3目录第一步：安装虚拟机第二步
小飞飞V5·2023-12-05 08:49

Ubuntu下搭建Hadoop分布式集群

应课程要求，这学期学习到了云计算与大数据，这次实验就是让我们在ubuntu中配置好hadoop分布式集群，这两天就从网上一边搜寻教程并结合课本（课本上是使用的centos，而且版本较老，不太适用）一边自己动手做
夜雨声烦ikkk·2023-12-05 08:19

Hadoop 安装与配置

创建虚拟机这里需要下载ubuntu操作系统创建一个hadoop用户，并使用/bin/bash作为shell虚拟机打开成功后，打开终端Terminal，开始创建hadoop用户sudouseradd-mhadoop-s
丶流年·2023-12-05 08:18

大数据Hadoop集群的启动

目录1启动准备工作1.1配置操作系统的环境变量1.2创建Hadoop数据目录1.3格式化文件系统1.4启动和关闭Hadoop1.5验证Hadoop是否成功启动1.6hadoop-daemon.sh的使用
赵广陆·2023-12-05 08:13

Hadoop

1.请简要介绍一下Hadoop生态系统。
编织幻境的妖·2023-12-05 08:41

1-Hadoop原理与技术

单选题题目1：安装Hadoop集群时，是在哪个文件指定哪些机器作为集群的从机？
阿伊同学·2023-12-05 06:06

Hadoop三大组件之Yarn

文章目录1.概述2.YARN基础架构3.辅助角色3.1Web应用代理(WebApplicationProxy)3.2JobHistoryServer历史服务器1.概述什么是资源调度？为什么需要资源调度？资源，即服务器的硬件资源，如：CPU、内存、网络等；资源调度是为了管控服务器的硬件资源，提供更好的利用率；分布式资源调度是管控这个分布式服务器集群的全部资源，整合进行统一的调度在分布式系统中，会有很
不忘初欣丶·2023-12-05 06:05

hadoop之yarn

简介一、YARN是一个通用资源管理系统和调度平台，为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。1、通用指不仅支持mr程序，也支持其它计算程序2、资源管理包括集群的硬件资源、cpu、内存等3、调度平台指多个程序同时执行时如何分配计算资源，调度的规则（算法）二、YARN类似一个分布式的操作系统平台，为MapReduce等计算程序提供运行所需的内存、CPU等资源。三、yarn在hadoo
测试开发知识积累·2023-12-05 06:33

Hadoop之YARN详解

Hadoop是一个开源的分布式计算框架，它的核心是HDFS和MapReduce。然而，随着Hadoop的发展，它的计算框架也在不断地演进。
蓝胖子的宝贝·2023-12-05 06:33

Apache Hadoop YARN

YARN的概述ApacheYarn（YetAnotherResourceNegotiator的缩写）是hadoop集群资源管理器系统，Yarn从hadoop2引入，最初是为了改善MapReduce的实现
麦迪康·2023-12-05 06:03

Hadoop Yarn详解

一、Yarn简介Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。
m0_67392661·2023-12-05 06:03

Hadoop系列 (四)：Yarn详细介绍

文章目录Hadoop系列文章Yarn简介Yarn基本架构Yarn组件介绍ResourceManagerNodeManagerApplicationMasterContainerYarn运行原理Yarn-HA
EricRae·2023-12-05 06:32

Hadoop Yarn RPC远程命令执行

影响范围HadoopYarnRPC漏洞类型远程命令执行利用条件可未授权访问漏洞概述2021年11月15日，有安全研究人员披露HadoopYarnRPC存在未授权访问漏洞，此漏洞存在于Hadoop的核心组件
FLy_鹏程万里·2023-12-05 06:32

Hadoop组件之Yarn

文章目录Yarn简介Yarn产生的原因Yarn架构ResourceManagerApplicationMasterNodeManagerContainerYarn工作流程分析作业提交作业初始化任务分配任务运行进度和状态更新作业完成Yarn中的资源调度器先进先出调度器（FIFO）容量调度器（CapacityScheduler）公平调度器（FairScheduler）Yarn任务的推测执行机制启用推测
iceburg-blogs·2023-12-05 06:32

10-Hadoop组件开发技术

选项:AHadoopHA即集群中包含SecondaryNameNode作为备份节点存在。
阿伊同学·2023-12-05 06:01

Hadoop

1.请简要介绍一下Hadoop的基本架构和组件。Hadoop是一个由Apache基金会开发的分布式系统基础架构，它可以充分利用集群的威力进行高速运算和存储。
编织幻境的妖·2023-12-05 06:31

Hadoop YARN组件

YARN，也被称为"YetAnotherResourceNegotiator"，是ApacheHadoopYARN，也被称为"YetAnotherResourceNegotiator"，是ApacheHadoop
编织幻境的妖·2023-12-05 06:31

Hadoop的介绍与安装

1Hadoop的简介Hadoop是一个开源的大数据框架，是一个分布式计算的解决方案。
憨憨小白·2023-12-05 06:30

二百零九、Hive——with嵌套语句报错：hadoop.hive.ql.parse.SemanticException: Line 2:5 Ambiguous table alias ‘t2‘

一、目的在Hive的with嵌套语句时，HQL报错Line2:5Ambiguoustablealias't2'二、报错详情org.apache.hadoop.hive.ql.parse.SemanticException
天地风雷水火山泽·2023-12-05 06:22

Hadoop实验putty文件

博客主页：A_SHOWY系列专栏：力扣刷题总结录数据结构云计算数字图像处理很多朋友反馈做hadoop实验中的putty找不到Connection-SSH-Auth路径下找不到Privatekeyforauthentication
A_SHOWY·2023-12-05 06:46

启动 AWS Academy Learner Lab【教学】（Hadoop实验）

博客主页：A_SHOWY系列专栏：力扣刷题总结录数据结构云计算第一部分创建实例过程首先，需要创建3台EC2，一台作主节点(masternode)，两台作从节点(slavesnode)。1.镜像选择EC2（弹性计算云）：是AWS提供的最基本的云计算产品：虚拟专用服务器。这些“实例”可以运行大多数操作系统。2.选择实例类型实例类型这里我选择的t2.medium,虽然选择t2.micro或者t2.sma
A_SHOWY·2023-12-05 05:36

Flink入门之部署（二）

三种部署模式standalone集群，会话模式部署：先启动flink集群webUI提交shell命令提交：bin/flinkrun-d-mhadoop102:8081-ccom.atguigu.flink.deployment.Flinke1
十七✧ᐦ̤·2023-12-05 04:47

适合零基础的大数据学习路线

在中国，大数据也正迅速成为行业和市场的热点。专注与亚太及中国市场的市场调查机构泛亚咨询发布的调研数据显示，目前出现在各类招聘平台上与数据分析相关的招聘需求比去年同期相比，增长率高达67%；大数据相关高级职位的薪酬与其他同类技术职位相比平均高出43%以上。无论是世界范围内还是在中国，大数据浪潮正在深刻改变着各行各业，而各行各业对大数据人才的需求，以及技术从业者希望跻身大数据高级人才的需求也变得越来越
QFdongdong·2023-12-05 04:33

一个大数据架构师应该掌握的技能

专业工具平台海致BDP永洪易观4）APP分析平台mixpanelgrowingIO神策诸葛IO2.技术选型1）CDH2）HDP+HDF3）MAPR4）Transwarp3.平台架构1）HDPCore(平台核心也是Hadoopcore
潘永青·2023-12-05 02:13

Flume+Kafka双剑合璧玩转大数据平台日志采集

一般而言，这些系统需要具有以下特征：构建应用系统和分析系统的桥梁，并将它们之间的关联解耦支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统具有高可扩展性。
浪尖聊大数据-浪尖·2023-12-05 02:12

大数据开发：Hive on Spark设计原则及架构

在Spark越来越受到主流市场青睐的大背景下，Hive作为Hadoop生态当中的数仓组件工具，在于Spark生态的配合当中，开始有了HiveonSpark的思路，那么具体是怎么实现的呢？
成都加米谷大数据·2023-12-05 01:44

从 MapReduce 的运行机制看它为什么比 Spark 慢

在Hadoop1中，MapReduce计算框架即负责集群资源的调度，还负责MapReduce程序的运行。一，MapReduce组成MapReduce的运行过程有三个关键进程：1，大数据应用进程。
stone_zhu·2023-12-05 00:36

HDFS运维问题

zhuanlan.zhihu.com/p/1704789651这次我吐血整理了一些在维护hdfs工作中遇到的问题，有的是血的教训，有的是花了不少功夫定位，也有的是一些知识点或者技巧，其中有两个补丁已经合并到apachehadoop
专职掏大粪·2023-12-04 23:50

sqoop导入导出工具的使用以及通过java代码连接linux，远程执行shell命令

1、sqoop是apache开源提供的一个数据导入导出的工具，从关系型数据库导入到hdfs，或者从hdfs导出到关系型数据库等等导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE
喵喵秀拌酱·2023-12-04 21:20

Spark读写Oracle性能深度调优

Spark作为一个分布式计算框架，可以很好的适用于Hadoop。那么Spark是否可以与关系型数据库较好的进行兼容呢？以Spark作为计算，以关系型数据库（例如Oracle）作为存储？  
weixin_43370502·2023-12-04 21:16

大数据的技术栈-逐步完善

目录1.hadoopa.HDFS分布式文件系统b.Yarn集群资源管理器c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构
刘文钊1·2023-12-04 20:12

centos安装Python3之后yum不能使用异常

问题描述在centos上安装python3之后出现yum使用不了问题，使用yum会报如下信息：[root@hadoop101~]#yuminstallwgetFile"/usr/bin/yum",line30exceptKeyboardInterrupt
大数据魔法师·2023-12-04 20:04

头歌大数据作业二：搭建Hadoop环境及HDFS

课外作业二：搭建Hadoop环境及HDFS作业详情内容阿里云-云起实验室-《搭建Hadoop环境》-Hadoop-2.10.1伪分布式：1.截图本实验ECS的公网IP地址，并添加彩色框标注，如下图所示：
别叫哥喜羊羊·2023-12-04 15:42

（图文详细）云计算与大数据实训作业答案（之篇三HDFS和MapReduce实训 ）

HDFS和MapReduce实训第1关：WordCount词频统计第2关：HDFS文件读写第3关：倒排索引第4关：网页排序——PageRank算法HDFS和MapReduce实训Hadoop是一个由Apache
Sunny蔬菜小柠·2023-12-04 15:11

大数据生态圈及分布式文件系统HDFS实践-part1

Hadoop入门第一章大数据概述1.1大数据概念“人类正在从IT时代走向DT时代”。大数据（BigData）：指的是传统数据处理应用软件不足以处理（存储和计算）它们的大而复杂的数据集。
落叶飘雪2014·2023-12-04 15:40

大数据实训笔记3：hdfs

HDFS（HadoopDistributedFileSystem）是一个文件系统，用于存储文件，通过目录树来定位文件。它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
Roslin_v·2023-12-04 15:39
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他