【MapReduce】

Hive中数据库和表的操作(HSQL)

数仓管理工具Hive可以将HDFS文件中的结构化数据映射成表，利用HSQL对表进行分析，HSQL的底层运行机制，默认是MapReduce计算，也可以替换成Spark、Tez、Flink计算结果存储在HDFS
时下握今·2023-06-22 05:19

企业级ChatGPT开发的三大核心内幕及案例实战（四）

MapReduce方式把一个很大的
段智华·2023-06-22 04:17

Spark 介绍（基于内存计算的大数据并行计算框架）

原因是Hadoop框架基于一个简单的编程模型（MapReduce），它支持可扩展，灵活，容错和成本有效的计算解决方案。
weixin_30821731·2023-06-22 01:02

火山引擎 EMR StarRocks 场景案例分享

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群日前，火山引擎数智平台（VeDI）旗下产品E-MapReduce（简称“EMR”）正式上线StarRocks集群，为企业客户带来业界领先的引擎性能和产品使用体验
·2023-06-21 14:18

大数据大作业（课程设计）

题目：信息爬取字数统计及可视化内容及要求：配置Hadoop平台；利用爬虫技术爬取任一门户网站新闻栏目一定时间段内的新闻信息，保存为一个或多个文件并上传到Hadoop平台以本人学号命名的文件夹下；利用MapReduce
onlywishes·2023-06-21 12:25

大数据hadoop生态体系之YARN配置和使用(13)

为上一层的mapreduce，spark等任务服务提供统一的资源管理和调度。
welun·2023-06-21 10:41

Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

学习HadoopMapReduce使用的过程中报错，检查环境变量配置无误，看到很多解决方案说：C:\Windows\System32下缺少hadoop.dll,把这个文件拷贝到C:\Windows\System32
香蕉弦定李·2023-06-21 07:22

Flink 学习十 FlinkSQL

Flink学习十FlinkSQL1.FlinkSQL基础概念flinksql基于flinkcore,使用sql语义方便快捷的进行结构化数据处理的上层库;类似理解sparksql和sparkcore,hive和mapreduce1.1
C0oOder·2023-06-21 00:51

3.Hadoop之MapReduce

1.MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，用于用户开发“基于Hadoop的数据分析应用”的核心框架。
hutc_Alan·2023-06-20 17:55

flink Spark 和 Flink对比

它提出的内存计算概念让大家得以从Hadoop繁重的MapReduce程序中解脱出来。
但行益事莫问前程·2023-06-20 04:49

Haoop | 【05】MapReduce分布式计算模型简介

文章目录一、简介1、核心思想2、处理的主要事务2.1Map2.2Reduce3、工作原理3.1主要流程3.2分片、格式化数据3.3执行MapTask3.4执行Shuffle3.5执行ReduceTask3.6写入文件4、编程组件4.1InputFormat4.2OutputFormat4.3Combiner4.4Mapper4.5Reducer4.6Partitioner5、运行模式5.1本地运行
Jxiepc·2023-06-20 01:27

Hadoop学习之MapReduce分布式计算框架

目录一、本地模式1.新建一个本地maven项目2.修改prom依赖（maven）3.新建一个包mapreduce，在该包中新建三个包4.写mapper组件5.写Reducer组件6.写Driver组件7
平平无奇秃头小天才·2023-06-20 01:27

分布式计算模式：MapReduce

分布式计算模式：MapReduce前言什么是分而治之？分治法的原理抽象模型MapReduce工作原理MapReduce实践应用知识扩展：Fork-Join计算模式是什么意思呢？
海陆云·2023-06-20 01:56

MapReduce分布式计算框架

1、MapReduce分布式计算框架本章介绍了Hadoop的MapReduce分布式计算框架的基本概念、编程规范和词频统计实战等内容。
Distantfbc·2023-06-20 01:26

MapReduce分布式计算

一、MapReduce分布式计算1、MapReduce计算模型介绍1.1理解MapReduce思想MapReduce思想在生活中处处可见。或多或少都成接触过这种思想。
章鱼哥TuNan&Z·2023-06-20 01:55

MapReduce分布式离线计算框架

介绍:Google发布的三个产品:GoogleFileSystem/MapReduc/BigTable的详细设计论文,奠定了风靡全球的大数据算法的基础.MapReduce分布式离线计算框架用于大规模数据
瓶中怪·2023-06-20 01:25

分布式计算框架——MapReduce

一、MapReduce概述HadoopMapReduce是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到Hadoop集群上用于并行处理大规模的数据集。
Cynicism_Kevin·2023-06-20 01:24

MapReduce(分布式计算框架)

什么是MapReduceMapReduce是分布式计算框架，它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务，适用于大规模数据处理场景，每个job包含Map和Reduce两部分MapReduce
简单不过l·2023-06-20 01:23

MapReduce分布式计算(二)

MapReduce工作流程原始数据File1T数据被切分成块存放在HDFS上，每一个块有128M大小数据块Blockhdfs上数据存储的一个单元,同一个文件中块的大小都是相同的因为数据存储到HDFS上不可变
子非我104·2023-06-20 01:53

来聊一聊Zookeeper吧

根据MapReduce，于是我们有了Hadoop；根据GFS，于是我们有HDFS；根据BigTable，于是我们有了HBase。
程序源monster·2023-06-20 01:39

任务调度框架之oozie

一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对HadoopMapreduce、PigJobs的任务调度与协调。Oozie需要部署到JavaServlet容器中运行
陈朝辉_39f7·2023-06-19 20:17

项目难点攻破

HBase数据倾斜及查询效率问题，Phoenix应用三、数据入库效率问题，hdfs及HBase分析，批量写入优化四、CheckPoint优化及配置，内存模型，Flink运行参数调优五、爬虫，hive表关联六、mapreduce
SparkSql·2023-06-19 18:45

MapReduce分布式计算(一)

MapReduce是Hadoop系统核心组件之一，它是一种可用于大数据并行处理的计算模型、框架和平台，主要解决海量数据的计算，是目前分布式计算模型中应用较为广泛的一种。
子非我104·2023-06-19 15:43

分布式入门

分布式入门前言分布式概述分布式节点通信技术分布式存储MapReduceSpark前言小白一枚，首先感谢本校大三时期李老师开的分布式计算课程。
长门yuki·2023-06-19 15:59

Spark01-Spark快速上手、运行模式、运行框架、核心概念

1概述Spark和HadoopHadoopHDFS(GFS:TheGoogleFileSystem)MapReduce总结：性能横向扩展变得容易，横向拓展:增加更多的计算节点来扩展系统的处理能力Hbase
:Concerto·2023-06-19 14:49

【分布式系统遨游】分布式计算

在分布式中，针对这种情况我们大概有两种计算模式：MapReduce和Stream，接下来
·2023-06-19 10:09

大数据治理.数据储存技术

hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
908486905·2023-06-19 09:06

spark-streaming笔记

SparkStreaming笔记框架的类型：1.离线批处理：mapreduce、hive、SparkCore、Sparksql=》mapreducespark2.SQL的交互式查询：hive、SparkSQL3
最美不过你回眸·2023-06-18 23:34

大数据处理学习笔记2.4

一、词频统计准备工作单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。
MISS0-0·2023-06-18 23:31

MapReduce学习笔记(1)

MapReduce学习笔记1.MapReduce编程模型-Hadoop架构1.1Map阶段1.2Reduce阶段1.3MapReduce模型图2.MapReduce编程示例2.1MapReduce原理图
Hansionz·2023-06-18 23:00

Hbase的bulkload流程与实践

Bulkload流程与实践1.案例一：（1）说明与注意事项（2）自我实践2.案例二：（1）MR生成HFile文件（2）HFile入库到HBase3.案例三：用Scala程序通过Spark完成一、前言  通常MapReduce
小强签名设计·2023-06-18 21:56

数据中心网络的电路交换域

数据中心与Internet不同，流量类型相对固定，典型的如mapreduce，rpc，rdma，及各类存储。进一步归纳，可分为两类：短突发消息：分组交换。持续块数据：电路交换。
dog250·2023-06-18 17:05

Doris之资源管理

资源管理为了节省Doris集群内的计算、存储资源，Doris需要引入一些其他外部资源来完成相关的工作，如Spark/GPU用于查询，HDFS/S3用于外部存储，Spark/MapReduce用于ETL,
墨卿风竹·2023-06-18 15:51

hadoop基础(二)

mysqlmysql-connector-java5.1.47org.apache.hadoophadoop-common3.1.1org.apache.hadoophadoop-hdfs3.1.1org.apache.hadoophadoop-mapreduce-client-core3.1.1org.apache.hadoopha
子非我104·2023-06-18 08:20

Hadoop的shuffle过程及调优

MapReduce中的Shuffle发生在map输出到reduce输入的过程，它的中文解释是“洗牌”，顾名思义该过程涉及数据的重新分配，主要分为两部分：map任务输出的数据分组、排序，写入本地磁盘。
RainTicking·2023-06-18 06:30

阿里云EMR自定义日志投递与使用实践分享

1►引言：开源大数据平台E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks
Apache Spark中国社区·2023-06-18 05:42

Spark从入门到精通31:Spark SQL：Hive On Spark

其底层默认是基于MapReduce实现的，但是由于MapReduce速度实在比较慢，因此这两年，陆续出来了新的SQL查询引擎。包括SparkSQL，HiveOnTez，HiveOnSpark等。
勇于自信·2023-06-17 23:24

【Hadoop综合实践】手机卖场大数据综合项目分析

本文章实现了基于MapReduce的手机浏览日志分析文章简介：主要包含了数据生成部分，数据处理部分，数据存储部分与数据可视化部分【本文仅供参考！！
大数据小禅·2023-06-17 18:46

MongoDB聚合操作-02

聚合操作包含三类：单一作用聚合、聚合管道、MapReduce。单一作用聚合：提供了对常见聚合过程的简单访问，操作都从单个集合聚合文档。聚合管道是一个数据聚合的框架，模型基于数据处理流水线的概念。
孤单品尝寂寞·2023-06-17 16:01

Hive学习

Hive查询操作过程严格遵守HadoopMapReduce的作业执行模型，Hive将用户的HiveQL语句通过解释器转换为提交到Hadoop集群上，Had
明月清风，良宵美酒·2023-06-17 11:36

MapReduce将HDFS数据清洗到多个Hbase表中

最近一直在对历史数据进行清洗，原始数据是纯数据格式，现在要清洗到hbase中，方便后期跟hive进行整合查询。。可能现在基本上都使用spark来做清洗了，但是如果受机器本身硬件条件的限制的话，就没法子了，spark根本跑不动，哎，还是老老实实的写MR吧。。话不多说，直接上代码。importcom.gey.hbase.helper.HBaseHelper;importorg.apache.hadoo
LearnBigData·2023-06-17 09:23

[Hadoop实现Springboot之HDFS数据查询和插入 ]

例如，使用HDFS的FileSystemAPI来读取和写入文件，使用MapReduce来处理数
是汤圆丫·2023-06-17 09:35

Hue:Hadoop 图形化用户界面

特性：一个HDFS的文件浏览器，一个MapReduce/YARN的Job浏览器，一个HBas的浏览器，Hive，Pig，ClouderaImpala和Sqoop2的查询编辑器。
victory0508·2023-06-17 06:07

从搭建hadoop开始学习大数据中分而治之的MapReduce(伪集群模式)

环境准备首先需要将如下四个必要的文件下载到计算机（已经附上了下载地址，点击即可下载）。VmwareWorkstation17.x【官方的下载地址】CentOS-7-x86_64-Minimal-2009【阿里云镜像站下载地址】openjdk-8u41-b04-linux-x64-14_jan_2020【开源下载地址】安装CentOS7在安装了VmwareWorkstation17后，接下来就可开始
程序小增·2023-06-17 05:59

大数据学习之Hadoop——07MapReduce相关练习01(wordCount + topN)

欢迎关注我的CSDN:https://blog.csdn.net/bingque65351.编写WordCountDriver端packagecom.hjf.mr.wordcount;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.
Jiang锋时刻·2023-06-17 04:30

基于docker的Hadoop集群下实现最小生成树的mapreduce程序

01.技术背景在本文中，将为读者详细介绍如下内容：如何部署基于docker的hadoop开发环境mapreduce的基本开发流程与基本知识java开发的一些基本知识最小生成树算法相关的知识。
奋羊羊·2023-06-17 01:48

Spark高频面试题(建议收藏)

它内部的组成模块，包含SparkCore，SparkSQL，SparkStreaming，SparkMLlib，SparkGraghx等...它的特点：快Spark计算速度是MapReduce计算速度的
无精疯·2023-06-16 22:12

【Hadoop】 | 搭建HA之报错锦集

的active结点无法主备切换三、HadoopWeb端无法上传文件四、hdfs创建文件夹报错五、IDEA操作Hdfs无法初始化集群六、Java无法连接Hdfs七、找不到Hadoop家目录八、IDEA对MapReduce
初心%·2023-06-16 20:22

Java-Spark系列1-spark概述

文章目录一.大数据技术栈二.Spark概述2.1MapReduce框架局限性2.2Hadoop生态圈中的各种框架2.3Spark2.3.1Spark的优势2.3.2Spark特点2.3.3SPRAK2新特性一
只是甲·2023-06-16 18:14

大数据hadoop生态体系之MapReduce词频统计案例(12)

MapReduce实现词频统计案例：1>定义WordMapper类继承Mapper类，重新map方法，用于读取每行数据Mapper父类参数说明：args1LoginWritable:表示每次读取文件块的一行所指的长度偏移量
welun·2023-06-16 15:29
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他