“MapReduce:

Spark Streaming发布到Yarn

YARN的设计目标是解决HadoopMapReduce在处理大规模数据处理时面临的问题，例如扩展性、灵活性、容错性和性能优化。
cong_han·2023-11-11 23:50

如何在虚拟机上安装和配置Spark开发环境

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark拥有HadoopMapReduc
Deng872347348·2023-11-11 19:39

python—spark本地安装及环境变量配置

Spark和Hadoop的关系是，Hadoop的MapReduce是大家广为熟知的计算框架，而Spark则是一种新的计算框架
Sun_shine99·2023-11-11 19:38

hadoop、jboss未授权访问漏洞复现与未授权访问漏洞学习（内含服务器与中间件的区别）

由于服务器直接在开放了Hadoop机器HDFS的50070web端口及部分默认服务端口，黑客可以通过命令行操作多个目录下的数据，如进行删除，下载，目录浏览甚至命令执行等操作主要HDFS（Hadoop分布式文件系统）和MapReduce
不想当脚本小子的脚本小子·2023-11-11 17:28

core-site.xml,yarn-site.xml,hdfs-site.xml,mapred-site.xml配置

core-site.xmlfs.defaultFShdfs://node02:9820hadoop.tmp.dir/opt/module/hadoop-3.3.3/datayarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.hostnamenode03yarn.nodemanager.env
芝士小熊饼干·2023-11-11 15:47

MIT 6.824分布式 LAB1： MapReduce

介绍lab1其实就是让你利用MapReduce的原理去实现数单词的程序。MapReduce也是谷歌的大数据三篇重要论文之一
Wedge_Ss·2023-11-11 11:46

【6.824】分布式lab1 mapReduce

PapermainideaFigure1showstheoverallflowofaMapReduceoperationinourimplementation.WhentheuserprogramcallstheMapReducefunction
叩钉吧zz·2023-11-11 11:14

简易搜索引擎原理与基于Hadoop MapReduce的搜索引擎实现

本文所述搜索引擎较为简单，无法达到商用级别，但仍可管中窥豹，学习其基本原理，并锻炼编写MapReduce程序的能力。阅读目标了解搜索引擎工作原理，并编写简单的搜索引擎。
枫铃树·2023-11-11 08:11

hadoop

MapReduce对海量数据处理map函数进行数据的提取、排序，实现mapper，四个形参（
yuanjianqiang_0925·2023-11-11 08:01

hadoop-mapred-site.xml配置文件详解

hadoop-mapred-site.xml配置文件详解mapred-site.xml配置文件简介MapReduce配置相关mapred-site.xml配置namevaluedescriptionmapreduce.jobtracker.jobhistory.locationIfjobtrackerisstaticthehistoryfilesarestoredinthissinglewellk
许喜朝·2023-11-11 03:31

Hadoop配置文件_mapred-default.xml

mapreduce.jobtracker.jobhistory.locationIfjobtrackerisstaticthehistoryfilesarestoredinthissinglewellknownplace.IfNovalueissethere
达达呀·2023-11-11 03:30

2023.11.10 hadoop,hive框架概念,基础组件

目录分布式和集群的概念:hadoop架构的三大组件:Hdfs,MapReduce,Yarn1.hdfs分布式文件存储系统HadoopDistributedFileSystem2.MapReduce分布式计算框架
白白的wj·2023-11-11 01:08

Hive-入门学习之 hive 简介和安装 (1)

开源用于解决海量结构化日志的数据统计(海量的结构化数据的运算分析).是基于hadoop的一个数据仓库工具(服务性的软件),可以将结构化的数据文件映射为一张表,并提供类似SQL查询.本质是将HiveSQL转化成MapReduce
算啦粉·2023-11-11 01:37

Hadoop入门指南之分组实战

入门指南之HDFS介绍Hadoop入门指南之Linux环境搭建Hadoop入门指南之Linux软件安装Hadoop入门指南之Hadoop安装Hadoop入门指南之hdfs命令行使用.Hadoop入门指南之MapReduce
我辈岂是蓬蒿人225·2023-11-10 20:24

Hadoop入门指南之统计库存实战

入门指南之HDFS介绍Hadoop入门指南之Linux环境搭建Hadoop入门指南之Linux软件安装Hadoop入门指南之Hadoop安装Hadoop入门指南之hdfs命令行使用.Hadoop入门指南之MapReduce
我辈岂是蓬蒿人225·2023-11-10 20:54

Hadoop入门指南之分区、规约实战

入门指南之HDFS介绍Hadoop入门指南之Linux环境搭建Hadoop入门指南之Linux软件安装Hadoop入门指南之Hadoop安装Hadoop入门指南之hdfs命令行使用.Hadoop入门指南之MapReduce
我辈岂是蓬蒿人225·2023-11-10 20:54

Hadoop入门指南之排序实战

入门指南之HDFS介绍Hadoop入门指南之Linux环境搭建Hadoop入门指南之Linux软件安装Hadoop入门指南之Hadoop安装Hadoop入门指南之hdfs命令行使用.Hadoop入门指南之MapReduce
我辈岂是蓬蒿人225·2023-11-10 20:54

hadoop MapReduce 实战（java）：单词计数

hadoopMapReduce实战（java）：单词计数点击【File】—>【Project】，选择【Map/ReduceProject】，输入项目名称test，一直回车。
柯努力·2023-11-10 20:51

MapReduce 与 关系型数据库的区别

MapReduce与关系型数据库的区别：1数据访问模式受限于磁盘寻址磁盘寻址时间提高速度远远小于数据传输速率提高速度。对于超大规模数据（以PB为单位）必须考虑使用其他方式。
GeoWin_CAU·2023-11-10 16:26

hadoop 写入mysql_hadoop读写mysql数据库

hadoop技术推出一度曾遭到关系数据库研究者的挑衅和批评，认为MapReduce不具有关系数据库中的结构化数据存储和处理能力。
weixin_39827315·2023-11-10 16:54

MapReduce 写入数据库操作

MapReduce写入数据库操作一、MapReduce实体类二、MapReduceDBWriterMapper类（写入数据库操作）2.MapReduceDBWriterReduce类（写数据库操作）MapReduceDBWriterDriver
誰。·2023-11-10 16:54

MapReduce读写mysql

2019独角兽企业重金招聘Python工程师标准>>>hadoop的API提供了DBOutputFormat和DBInputFormat这两个类，来进行与数据库交互，除此之外，我们还需要定义一个类似JAVABean的实体类，来与数据库的每行记录进行对应，通常这个类要实现Writable和DBWritable接口，来重写里面的4个方法以对应获取每行记录里面的各个字段信息。参考：http://blog
weixin_34318272·2023-11-10 16:23

MapReduce 排序三种实现方式

MapReduce排序两种实现方式MapReduce排序两种实现方式都是借助重写compareTo方法实现方式一：借助MapReduce按照Key排序特性，在WritableComparable实现类中重写
李昊哲小课·2023-11-10 16:46

传统关系型数据库和MapReduce的比较

传统关系型数据库和MapReduce的比较传统关系型数据库MapReduce数据量级GBPB数据存取交互式和批处理批处理数据更新多次读写一次写入，多次读取结构静态动态完整性高低事务ACID无横向扩展非线性线性
每个月只能更新一次·2023-11-10 16:46

HDFS✧MapReduce具体流程

HDFS✧MapReduce具体流程HDFS✧MapReduce具体流程一、HDFS读写流程1、宏观写流程2、微观写流程3、读数据流程二、MapReduce计算流程一、HDFS读写流程1、宏观写流程①客户端提交数据
每日小新·2023-11-10 16:15

【MapReduce】MapReduce读写MySQL数据

MapReduce读写MySQL数据数据代码实现自定义类来接收源数据自定义类型来存储结果数据Mapper阶段Reducer阶段Driver阶段上传运行打包上传集群运行使用MapReduce读取MySQL
飝鱻.·2023-11-10 16:43

Hadoop 中利用 mapreduce 读写 mysql 数据

有时候我们在项目中会遇到输入结果集很大，但是输出结果很小，比如一些pv、uv数据，然后为了实时查询的需求，或者一些OLAP的需求，我们需要mapreduce与mysql进行数据的交互，而这些特性正是hbase
coco_ethan·2023-11-10 16:12

18、MapReduce的计数器与通过MapReduce读取/写入数据库示例

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作-shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFSAPI的RESTful风格–We
一瓢一瓢的饮 alanchan·2023-11-10 16:11

20、MapReduce 工作流介绍

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作-shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFSAPI的RESTful风格–We
一瓢一瓢的饮 alanchan·2023-11-10 16:41

MapReduce 读写数据库

MapReduce读写数据库经常听到小伙伴吐槽MapReduce计算的结果无法直接写入数据库，实际上MapReduce是有操作数据库实现的本案例代码将实现MapReduce数据库读写操作和将数据表中数据复制到另外一张数据表中准备数据表
李昊哲小课·2023-11-10 16:08

Hadoop YARN的伪分布式安装

//core-site.xmlfs.defaultFShdfs://localhost:9000//hdfs-site.xmldfs.replication1//mapred-site.xmlmapreduce.framework.nameyarn
zmx2029·2023-11-10 15:19

Apache Pulsar 在火山引擎 EMR 的集成与场景

火山引擎中Stateless云原生开源大数据平台E-MapReduce（简称EMR）为用户提供了云上的端到端
字节数据平台·2023-11-10 11:50

HBase/Hadoop学习笔记 (转)

3.掌握如何用MapReduce分析HBase里的数据4.掌握如何测试HBaseMapReduce。HBase简介：HBase在产品中还包含了Jetty，在HBase启动时采用嵌入式的
wbj0110·2023-11-10 02:56

大数据开发笔记（十）：Hbase实践

✨大数据开发笔记推荐：大数据开发面试知识点总结_GoAI的博客-CSDN博客_大数据开发面试本文详细介绍大数据hadoop生态圈各部分知识，包括不限于hdfs、yarn、mapreduce、hive、sqoop
GoAI·2023-11-10 02:56

HBase/Hadoop学习笔记

3.掌握如何用MapReduce分析HBase里的数据4.掌握如何测试HBaseMapReduce。
codepython·2023-11-10 02:25

hadoop知识点总结（一）hadoop架构以及mapreduce工作机制

期待的解决方案解决性能瓶颈，在可见的未来不会出现新瓶颈之前的技术可以平稳过渡，如SQL；转移成本，如软硬件成本，开发成本，技能培养成本，维护成本2，关系型数据库和MapReduce的比较：传统关系型数据库
junzhou134·2023-11-10 02:25

Hadoop原理，HDFS架构，MapReduce原理

Hadoop原理，HDFS架构，MapReduce原理2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开测开的话，你就得学数据库，sql，oracle
冰露可乐·2023-11-10 00:27

【Hadoop】Hadoop体系知识点梳理（目录）

Hadoop体系知识点梳理（目录）核心点第一章：Hadoop背景知识与起源第二章：搭建Hadoop环境第三章：HDFS体系架构第四章：HDFS第五章：MapReduce第六章：Hbase第七章：Hive
lys_828·2023-11-09 11:49

在window10上安装apache-hive-3.1.3

hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行，hive是一种底层封装了Hadoop的数据仓库处理工具，使用类SQL的
爱上雪茄·2023-11-09 09:22

Hadoop学习笔记（持续更新中）

文章目录HadoopHadoop的组成HDFS特点NameNode和DataNode文件系统命名空间数据块块缓存MapReducejob、task、inputsplitcombiner其他示例HadoopHadoop
东河西·2023-11-09 09:19

手写实现数组的方法

手写实现数组的方法文章目录手写实现数组的方法someeveryfiltermapreduce总结some该方法用于检测数组中的元素是否满足指定条件，只要有一个满足就返回true,否则false.不会改变原数组
丹妮儿_zhao·2023-11-09 06:58

aws emr_AWS胶水与EMR

awsemrAmazonWebServicesprovidetwoserviceoptionscapableofperformingETL:GlueandElasticMapReduce(EMR).Iftheybothdoasimilarjob
一二三是五六十·2023-11-09 06:55

【面经】联想大数据开发面经

2.Hive怎么把SQL编译成MapReduceHive的基本流程：UI调用DRIVER的接口；DRIVER为查询创建会话句柄，并将查询发送到COMPILER生成执行计划；COMPILER从元数据存储中获取本次查询所需要的元数据
和风与影·2023-11-09 03:36

数仓面试题（3）

2.MapReduce的工作流程：MapReduce是一种编程模型，用于处理大规模数据集。它分为两个阶段：Map阶段和Reduce阶段
Young_IT·2023-11-09 03:34

数仓面经大框架

计算机及编程基础：操作系统：进程、线程等数据结构：算法题计算机网络：分层等Linux：常用的指令MySQL（重点）Java/Python基础排序算法（快排、归并等）2.大数据组件Hadoop:HDFS(重点)，MapReduce
Young_IT·2023-11-09 02:03

yarn+MapReduce入门

yarn+MapReduce入门yarn主要模块MapReduceonyarnSchedulerMapReduce入门hdfs存储yarn资源调度分配MapReduce计算yarn主要模块ResourceManger
zhangyujie12138·2023-11-08 20:49

[yarn]yarn异常

一、运行一下算圆周率的测试代码，看下报错cd/home/data_warehouse/module/hadoop-3.1.3/share/hadoop/mapreducehadoopjarhadoop-mapreduce-examples
胖胖学编程·2023-11-08 19:41

MongoDB复杂分组聚合查询

常用聚合管道2.3.1与mysql聚合类比3使用示例3.1统计所有数据3.2对所有城市人数求合3.3对城市缩写相同的城市人数求合3.4state重复的城市个数3.5state重复个数大于100的城市4MapReduce4.1
赵广陆·2023-11-08 19:53

sqoop笔记（安装、配置及使用）

sqoop简介----sqoop是一个用来在hadoop体系和关系型数据库之间进行数据互导的工具----实质就是将导入导出命令转换成mapreduce程序来实现sqoop安装：安装在一台节点上就可以了。
小小哭包·2023-11-08 09:00

hadoop yarn调度平台

除了支持原生MapReduce任务，他还提供了Spark等任务接入的入口。
懒猫gg·2023-11-08 06:12
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他