MAPREDUCE）

大数据技术之Hadoop（Yarn）

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
猫腻余腥·2023-06-16 14:29

Apache Spark教程_编程入门自学教程_菜鸟教程-免费教程分享

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
·2023-06-16 14:56

分布式任务调度系列 - PowerJob

执行模式丰富：支持单机、广播、Map、MapReduce四种执行模式，其中Ma
代码的知行者·2023-06-16 13:02

Hadoop配置之 开启不了 8088、19888端口

8088端口（一般）对应Hadoop集群监控的ResourceManager19888端口（一般）对应MapReduceJobHistoryServer问题描述：分别执行start-dfs.shstart-yarn.shmr-jobhistory-damon.sh
飞花落雨·2023-06-16 12:54

hadoop、hive、hbase的关系

hadoop它是一个分布式计算+分布式文件系统，前者其实就是MapReduce，后者是HDFS。
mengml_smile·2023-06-16 12:49

Spark

简介高效性基于内存Spark比MapReduce快100倍易用性函数式编程代码体积小通用性用于批处理、交互式查询（SparkSQL）、实时流处理（SparkStreaming）、机器学习（SparkMLlib
mengml_smile·2023-06-16 12:46

大数据学习记录（hadoop hive flume azkaban sqoop）

大数据学习记录（hadoophiveflumeazkabansqoop）1.hadoop对海量数据进行分布式处理2.核心组件：HDFS（分布式文件系统）、YARN（运算资源调度系统）、MAPREDUCE
左上晨·2023-06-16 10:58

【大数据面试】【项目开发经验】Hadoop、Flume、Kafka、Hive、MySQL、Sqoop、Azkaban、Spark...

主要内容：框架层面的调优、业务经验一、Hadoop1、Hadoop基准测试(HDFS的读写性能、MapReduce的计算能力测试)(1)测试内容：文件上传下载的时间(2)服务器有几个硬盘插槽2/4块问题
哥们要飞·2023-06-16 10:57

Spark——（Spark简介，Spark 与 Hadoop，Spark系统架构）

Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流；与MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。
想做CTO的任同学...·2023-06-16 06:44

Spark基础入门

---针对大规模数据处理的统一分析引擎补充：spark是基于hadoop基础之上的改进，不同于mapreduce的是Jo
我家浪猫初长成·2023-06-16 03:00

Hive调优

1、Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。
码戈·2023-06-16 01:13

大数据技术之Hadoop（MapReduce）

大数据技术之Hadoop（MapReduce）第1章MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架
猫腻余腥·2023-06-15 21:12

hadoop(mapreduce) shuffle

但是在说spark之前还是很有必要把mapreduce的shuffle过程理一遍，以做对比。
loukey_j·2023-06-15 20:11

Hive_MBY_GJF

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
炳烛之明科技·2023-06-15 20:51

mapreduce异常分析：mr.MapredLocalTask: I/O error in redirector thread

分析执行日志，发现更新数据时，出现了mapreduce异常：2023-05-2702:06:13Startingtolaunchlocaltaskto
邢为栋·2023-06-15 13:34

Hive面试题十道

Hive将结构化数据映射到Hadoop的分布式文件系统（HDFS）上，并通过MapReduce任务执行查询操作。问题2：Hive的主要特性是什么？
MIDSUMMER_yy·2023-06-15 13:31

一百二十五、Hive——hive性能优化

性能优化的参数设置一、hive性能优化sethive.vectorized.execution.enabled=false;sethive.auto.convert.join=false;--map阶段内存不足setmapreduce.map.memory.mb
天地风雷水火山泽·2023-06-15 13:00

基于MapReduce实现的Kmeans算法(非调库)

简单基于MapReduce实现了下KMeans。算法思路KMeans算法作为一种划分式的聚类算法，利用MapReduce进行实现的主要难点在于满足KMeans每次迭代划分过程的中间结果保存。
回炉重造P·2023-06-15 13:18

Apache Zeppelin系列教程第九篇——Zeppelin NoteBook数据缓存

数据进行查询过程中，如果遇到非常复杂的sql，查询效率是非常慢比如：selectdt,count(*)fromtablegroupbydt做过数据开发的同学都知道，在hivesql查询过程中，hive会被转换为MapReduce
诸葛子房_·2023-06-15 12:59

Hadoop（CentOS）安装及MapReduce实现数据去重

Hadoop（CentOS）安装及MapReduce实现数据去重1.JDK安装1.1资源下载：下载地址：https://pan.quark.cn/s/17d7266205f9hadoop的安装包javajdk
拼搏的小浣熊·2023-06-15 12:28

Hive概念

本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS中，数据库将数据保存在块设备或者本地文件系统中。
小迷糊>_<·2023-06-15 11:18

Hive 概念与安装

本质是：将HQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在Yarn上2.hive的优缺点优点操作接口采用类SQL语法，提供快速开发的能力
wtzhm·2023-06-15 11:18

大数据技术之Hive：Hive基本概念

本质是：将HQL转化成MapReduce程序；1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上二、Hive的优缺点优点1)操作接口采用类
浊酒南街·2023-06-15 11:48

数据仓库工具Hive概念

文章目录Hive的产生背景及概念Hive将SQL转换为MR任务的过程数据仓库的概念Hive与RDBMS区别Hive的优缺点Hive架构Hive的产生背景及概念Hive的产生背景在Hadoop中直接使用MapReduce
想做CTO的任同学...·2023-06-15 11:17

MapReduce编程

Hadoop的MapReduce计算框架概述MapReduce计算框架是一种计算框架，用于计算处理大规模的数据集，他将数据分成小块，然后在集群中的多个节点上并行处理这些块MapReduce框架是由两个组件组成
陆卿之·2023-06-15 11:17

HIVE概念&组件&交互方式&架构

Hive概念基于Hadoop的数据仓库工具主要是将结构化的数据文件映射为数据库表，提供类sql功能本质是将SQL转换为mapreduce程序1、将结构化文件和数据库表建立映射关系2、将文件列和数据库表列建立映射关系
Neighbor_L·2023-06-15 11:46

Hive的概念

Hive概述Hive是一个基于Hadoop的数据仓库系统，它提供了类似与SQL的查询语言HiveQL,可以将结构化数据存储在Hadoop分布式文件系统中，并通过MapReduce进行过处理。
陆卿之·2023-06-15 11:15

Hadoop中MapReduce的执行顺序

Hadoop中MapReduce的执行顺序如下：InputSplit（输入拆分）MapReduce将文件拆分成多个块，并将其分配给不同的Mapper任务进行处理。
老人笔记·2023-06-15 07:26

MapReduce基础

函数式编程概念MapReduce程序是设计用来并行计算大规模海量数据的，这需要把工作流分划到大量的机器上去，如果组件(component)之间可以任意的共享数据，那这个模型就没法扩展到大规模集群上去了（
小小哭包·2023-06-15 01:14

HBase集群部署

HBase的运行依赖于Hadoop和ZooKeeper，HBase利用HDFS作为其文件存储系统；利用MapReduce处理HBase中的数据；利用ZooKeeper作为分布式应用程序协调服务，同时存储
想你依然心痛·2023-06-14 23:17

30 条架构原则

Srinath撰写了两本关于MapReduce和许多技术文章的书。他获得了博士学位。来自美国印第安纳大学。Srinath通过不懈的努力最终总结出了3
佩哥说Java·2023-06-14 23:54

Apache 的架构师们遵循的 30 条设计原则

Srinath撰写了两本关于MapReduce和许多技术文章的书。他获得了博士学位。来自美国印第安纳大学。Srinath通过不懈的努力最终总结出了3
北海宇微·2023-06-14 23:23

Hadoo 之 Hive

etc/hadoop/core-site.xmletc/hadoop/hdfs-site.xmletc/hadoop/mapred-site.xmletc/hadoop/yarn-site.xmlFQAmapreduceexamples
zhixingheyi_tian·2023-06-14 22:44

Hbase的使用技巧

进入hbaseshell查询一个表的数据量时比较耗时且容易刷屏，使用hbase自带的工具可以直接查询hbaseorg.apache.hadoop.hbase.mapreduce.RowCounter'namespace
MIDSUMMER_yy·2023-06-14 16:39

Hadoop面试题十道

它基于Google的MapReduce和Google文件系统（GFS）的思想，旨在解决大数据量的处理和分析问题。问题2：Hadoop的核心组件有哪些？
MIDSUMMER_yy·2023-06-14 15:34

在MaxCompute中利用bitmap进行数据处理

本文给出了一个使用MaxComputeMapReduce开发一个对不同日期活跃用户ID进行bitmap编码和计算的样例。供感兴趣的用户进一步了解、分析，并应用在自己的场景下。
·2023-06-14 15:28

笔记：分布式大数据技术原理（二）构建在 Hadoop 框架之上的 Hive 与 Impala

”“”有了MapReduce，Tez和Spark之后，程序员发现，MapReduce的程序写起来真麻烦。他们希望简化这个过程。这就好比你有了汇编语言，虽然你几乎什么都能干了，但是你还是觉得繁琐。
WeeeicheN·2023-06-14 10:51

大数据开发之Hive案例篇13：Hive SQL 常见参数调整

二.解决方案以下是常见的调参:#指定队列setmapreduce.job.queuename=root.default;#在只有map的作业结束时合并小文件，默认开启true；sethive.merge.mapfile
只是甲·2023-06-14 10:50

MIT 6.824 lab distributed system 分布式系统（1）----lab1 MapReduce

https://youtu.be/cQP8WApzIQQ概念为什么需要分布式系统？highperformanceparallelism：分布式系统可以实现CPU、内存、硬盘的并行运行faulttolerancephysical：security/isolated分布式系统的困难concurrency：各个并行的部分之间的complexinteractions以及各种时间依赖的事务partialfa
back2childhood·2023-06-14 05:38

用python辅助理解mapreduce的sort排序

概念简介map含义是映射，即把一个值A变成另一个值B，这里的是B往往是被压缩后的信息。比如要从一组字符串中找出最长字符串，那么我需要先计算每个字符串的长度，那么这里的长度，就是把字符串（值A）变成整数表示的长度（值B）。reduce含义是归约，即把多个值合并在一起。比如第一步map得到了很多个单词的出现次数：apple3,sugar5,apple4,fox1，那么reduce就是进一步聚合为：ap
Paycation·2023-06-13 15:50

MapReduce【数据倾斜的优化】

比如，我们有1000w条数据（0~10开头）需要进行WordCount，也就是统计每个数字出现的次数，但是由于数据分布很不均匀（5这个数字就占了910w左右的样子），这个时候我们如果来写一个MApReduce
让线程再跑一会·2023-06-13 13:12

MapReduce【小文件的优化-Sequence文件】

在实际开发中，我们肯定希望提高MapReduce的工作效率，其实提高MapReduce的效率，无非就是提高Map阶段和Reduce阶段的效率。
让线程再跑一会·2023-06-13 13:42

ZooKeeper

前言Hadoop的三大件（HDFS、MapReduce和Yarn）基本上是学完了，剩下时间就是把《Hadoop权威指南》多啃几遍就行了。今天开干ZooKeeper！
让线程再跑一会·2023-06-13 13:41

spark的shuffle 和原理分析

1.概述shuffle就是对数据进行重组,由于分布式计算的特性和要求,在实现细节上更加繁琐和复杂.在MapReduce框架,Shuffle是连接Map和Reduce之间的桥梁,Map阶段通过shuffle
c062197eecd2·2023-06-13 12:37

猿辅导基于 EMR StarRocks 的 OLAP 演进之路

虽然是用Hive、MapReduce做离线的批量的ETL，但是为了保证用户交互足够快、延迟足够短，还是会把
·2023-06-13 11:49

猿辅导基于 EMR StarRocks 的 OLAP 演进之路

虽然是用Hive、MapReduce做离线的批量的ETL，但是为了保证用户交互足够快、延迟足够短，还是会把
·2023-06-13 10:09

Apache Hadoop概述

Hadoop的核心是HDFS(HadoopDistributedFileSystem)和MapReduce编程模型。HDFS是一个高度容错性的系统，可以在数百台服务器上存储PB级别的数据。
严同学正在努力·2023-06-13 09:14

高级网络计算模式复习大纲

内容路由实现机制DNS重定向机制的描述P2P网络P2P的概念DHT的概念Pastry算法和Chord算法的比较网格计算什么是网格网格的五层沙漏模型OSGA云计算与网格计算的差别Hadoop基本原理描述MapReduce
Caramel_biscuit·2023-06-13 08:43

MapReducer之Combiner（归约处理）

Commbiner相当于本地的Reducer计算模式，但是并不是所有场合都适合，总结一下都是什么场合适合用。作用因为Map产生了太多的输出，为了减少RPC传输，在本地进行一次类似于Reduce操作，进行累加，再将累加的值传给Reduce。注意：因为Combiner是可插拔的，所以添加Combiner不能影响最终的计算机过，Combiner应该适用于那些，Reduce输入和输出key/value类型
末央酒·2023-06-13 04:30

大数据组件笔记 -- Hadoop

3.2HDFSShell3.3HDFS客户端3.4HDFS数据流3.4.1写数据流程3.4.2读数据流程3.5NN和2NN3.5.1工作机制3.5.2集群安全模式3.6DN3.6.1工作机制3.6.2扩容3.6.3退役四、MapReduce4.1
L小Ray想有腮·2023-06-13 04:02
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他