【MapReduce】

Chapter4 分布式数据库HBase

在BigTable上运行MapReduce，MapReduce计算作业运行在整张表上，会生成索
今晚滿天星·2023-04-13 23:22

滴滴三面面经JAVA面经

JavaGC5.手撕twolinkedlistmegretoone6.算法一个二叉树给一个target，找到所有sum==target的路径7.Linux命令,各种操作命令，没用过的话还真说不出来8.MapReduce
程序员七十一·2023-04-13 22:34

kafka入门学习

一般批处理(一个文件或者一批文件),不管文件多大，都是可以度量mapreducehivesparkcoresparksql2.消息队列最大的优势就是解耦削峰。
wt5264·2023-04-13 18:05

菜鸟笔记之《Graph Convolutional Neural Networks for Web-Scale Recommender Systems》

说实话，这篇文章的实验部分没有看懂，涉及到MapReduce并行计算多GPU单
mying_三丘·2023-04-13 18:25

黑猴子的家：Hadoop 历史服务配置启动查看

1）配置mapred-site.xmlmapreduce.jobhistory.addressnode1:10020mapreduce.jobhistory.webapp.addressnode1:198882
黑猴子的家·2023-04-13 14:00

黑猴子的家：如何选择Hadoop版本？

实际上，当前Hadoop只有两个版本：Hadoop1.0和Hadoop2.0，其中，Hadoop1.0由一个分布式文件系统HDFS和一个离线计算框架MapReduce组成，而Hadoop2.0则包含一个支持
黑猴子的家·2023-04-13 07:33

MapReduce Map端 join 的一个例子

那在MapReduce中的Join就是指上面的操作，只不过可能不是处理的表，而是文件，或者是从表存储的介质比如MySql、Hbase中读取的数据。举个MapRe
博弈史密斯·2023-04-13 02:32

日更100天（9）每天进步一点点

——王勃1.云计算领域的三篇分别关于MapReduce/GFS/BigTable三大技术的经典论文是由哪家公司发表的？B.Google（谷歌）C.Microsof
你可以叫我老白·2023-04-13 01:29

MapReduce实现TopN

目录1、先导知识2、案例2.1需求2.2代码实现FlowBean类Mapper类Reducer类Driver类3、总结1、先导知识TreeMap底层是根据红黑树的数据结构构建的，默认是根据key的自然排序来组织（比如integer的大小，String的字典排序），如果key是自定义类，可以通过重写compareTo方法自定义排序。firstKey()方法用于返回此TreeMap中具有最小键值的第一
不爱研究的研究僧·2023-04-13 01:17

大数据面试题集锦-Hadoop面试题(四)-YARN

2、简述hadoop1与hadoop2的架构异同3、Hadoop的调度器总结4、MapReduce2.0容错性5、HDFS的数据压缩算法?6、mapreduce推
张飞的猪大数据·2023-04-13 01:13

大数据面试题集锦-Hadoop面试题(三)-MapReduce

你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下"张飞的猪大数据分享"吧，公众号会不定时的分享相关的知识和资料。文章目录1、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化?2、FileInputFormat切片机制3、在一个Hadoop任务中，什么是InputSplit（切片），以及切片是用来做什么的，切片与block有
张飞的猪大数据·2023-04-13 01:43

大数据面试题集锦-Hadoop面试题(五)-优化

文章目录1、MapReduce优化方法2、MapReduce跑得慢的原因？
张飞的猪大数据·2023-04-13 01:43

使用minicluster给hadoop程序做单元测试（windows环境）

使用maven管理依赖的话，入门的HelloWorld级的程序，WordCount，需要的依赖有：junithadoop-commonhadoop-mapreduce-client-jobclienthadoop-miniclus
cdarling·2023-04-12 17:08

看了廖雪峰的map和reduce教程的总结

MapReduce.png首先对于map函数
Juha·2023-04-12 16:38

如何看jar包里的代码

以hadoop-mapreduce的wordcount为例，效果杠杠的
wowYuXuan808·2023-04-12 15:15

Hive 自定义UDF函数讲解

文件3.3Hive建表测试及数据3.4UDF函数编写3.5UDTF函数编写四：添加到hive一、UDF描述UDF全称为User-DefinedFunctions,即用户自定义函数，在HiveSQL编译成MapReduce
冷艳无情的小妈·2023-04-12 15:02

MapReduce分布编程模型之映射函数与化简函数简介

映射函数与化简函数是MapReduce分布编程模型的两个主要函数。简单的说，一个映射函数就是对一些独立元素组成的概念上的列表{例如，一个测验成绩的列表}的每个元素所指定的操作。
栀子花_ef39·2023-04-12 15:35

大数据与互联网的结合

MapReduce：几分钟，Spark：几秒钟。2、互联网产品要求：毫秒级响应(1秒以内完成)；需要通过大数据实现统计分析、数据挖掘、关联推荐、用户画像。
幸福右手牵·2023-04-12 14:17

YARN部署

关于MapReduce和YARN的部署，其实就是2件事情：关于MapReduce：修改相关配置文件，但是没有进程可以启动关于YARN：修改相关配置文件，并启动ResourceManager、NodeManager
Kilig*·2023-04-12 11:28

HIVE部署

但他可以提交分布式的MapReduce程序运行。MySQL安装在node1节点使用yum在线安装MySQL5.7版本。
Kilig*·2023-04-12 11:28

MapReduce与Yarn

MapReduceMap：分散Reduce：聚合、汇总YarnMapReduce是基于Yarn运行的。Yarn在框架中负责资源调度,服务器集群资源的统一管理。
Kilig*·2023-04-12 11:27

大数据Hadoop|MapRedece|Yarn

HadoopHadoop概述Hadoop特性优点Hadoop国内外应用Hadoop发行版本Hadoop集群整体概述HDFS分布式文件系统传统常见的文件系统数据和元数据HDFS核心属性HDFS简介HDFSshell操作MapReduce
北山啦·2023-04-12 09:09

Hadoop企业优化

MapReduce跑的慢的原因image.pngMapReduce优化方法MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。
白纸糊·2023-04-12 04:44

面试题集锦

hadoop的namenode宕机,怎么解决6.namenode对元数据的管理7.元数据的checkpoint8.yarn资源调度流程9.hadoop中combiner和partition的作用10.用mapreduce
Saiheihua·2023-04-12 03:22

为何spark中需要设计RDD这个一个概念

Spark一般已经过度使用Hadoop（MapReduce），因为它在迭代处理算法中更快地执行方面提供了好处。
毕利格次_de99·2023-04-12 03:25

面试官：你可以用 for of 遍历 Object 吗？

提到遍历，大家都对那些手段耳熟能详了，下面我们先简单列一下各种数据类型的遍历：遍历数组for循环forEachmapreducekeysvaluesforof....
前端技术栈·2023-04-12 00:37

第十二章 Ambari二次开发之集成Alluxio

客户端用于通过Spark或MapReduce作业、Alluxio命令行或FUSE层等应用程序与Alluxio服务器通信
随缘清风殇·2023-04-11 23:02

从零开始认识 Spark

老套路，我们点开官网来seesee先吧把这句话翻译一下spark是在Hadoop基础上的改进，是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于
即将秃头的Java程序员·2023-04-11 20:16

大数据周会-本周学习内容总结07

目录01【hadoop】1.1【编写集群分发脚本xsync】1.2【集群部署规划】1.3【Hadoop集群启停脚本】02【HDFS】2.1【HDFS的API操作】03【MapReduce】3.1【P077
延锋L·2023-04-11 19:44

大数据组件——Hive简介及入门

Hive旨在将SQL用户和MapReduce程序员带入到一个单一系统中以处理超大型数据集，并将复杂的编程任务简化为类似SQL的声明性查询
'Wu'·2023-04-11 19:14

黑猴子的家：Hive 表的优化之 大表 Join 大表

例如key对应的字段为空，操作如下案例实操（1）配置历史服务器配置mapred-site.xmlmapreduce.jobhistory.addre
黑猴子的家·2023-04-11 18:53

黑猴子的家：Hadoop的起源

2003-2004年，Google公布了部分GFS和MapReduce思想的细节，受此启发的DougCutting等人用2年的业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。
黑猴子的家·2023-04-11 15:27

MapReduce

MapReduce设计理念map-->映射(keyvalue)reduce-->归纳mapreduce必须构建在hdfs之上一种大数据离线计算框架在线：实时数据处理离线：数据处理时效性没有在线那么强，但是相对也需要很快得到结果
So Youth·2023-04-11 15:42

黑猴子的家：HBase 与 Hive 的对比

(3)基于HDFS、MapReduceHive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。2、HBase(1)数据库是一种面向列存储的非关系型数
黑猴子的家·2023-04-11 11:40

Mapreduce---RandomSampler采样实现全排序

排序是MapReduce的核心技术，排序分为部分排序，全排序和二次排序。部分排序：调用默认的HashPartitioner，不需要操作，每个reduce聚合的key都是有序的。
缘定三石·2023-04-11 07:49

Hadoop 配置历史服务器及日志的聚集 （六）

mapreduce.jobhistory.addresshadoop102:10020mapreduce.
小道士写程序·2023-04-11 04:26

Hadoop：INFO mapreduce.Job: Running job

（0）CSDN最细致解决办法，涉及到本质，其他都是不让MapReduce运行在Yran上，这个是真正修改了Yran与运行所需要的内存包括物理内存和虚拟内存Hadoop提交MapReduce任务后卡在mapreduce.Job
ForwardSummer·2023-04-11 02:55

通俗易懂了解Hadoop

Hadoop体系架构Common——制片人HDFS——编剧MapReduce——导演Yarn——后勤Hadoop：主流开源云架构什么是分布式？书中模拟了一个场景，提出了四个划时代的问题。
苏黎世的民谣·2023-04-11 00:24

Hadoop学习笔记

3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。4）高容错性：自动保存多份
静宸丶水默含声·2023-04-10 22:44

HDFS和MapReduce 架构分析----阿冬专栏

来自：http://articles.e-works.net.cn/It_overview/Article103875.htmHadoopHDFS和MapReduce架构浅析在简述Hadoopnamenode
阿冬专栏·2023-04-10 16:29

Pig的搭建和配置

若要引用，请标注链接地址全文共计2663字，阅读大概需要3分钟欢迎关注我的个人公众号：不懂开发的程序猿一、任务描述Pig内部，每个操作或变换是对输入进行数据处理，然后产生输出结果，这些变换操作被转换成一系列MapReduce
不懂开发的程序猿·2023-04-10 14:50

MapReducer之Shuffle

shuffle是将Map的输出结果进行分区，排序，分组等处理之后交给Reduce进行处理的过程Map端的shuffle写入缓存每一个Map都会被分配一个环形的缓冲区，设置一个缓冲区大小和阈值，当缓存区数据积累达到阈值时，开始向磁盘写入（写入的是序列化完的key和value），在写入的过程中Map继续输出到缓冲区，如何在此期间缓冲区满，则会阻塞Map。设置缓冲区大小，默认是100MBmapreduc
末央酒·2023-04-10 07:37

帮做COMP9313 2018s2 Assignment 编程、php调试、帮做php编程

COMP93132018s2AssignmentQuestion1.MapReduce(5pts)ProblemBackground:GivenanundirectedgraphG,its“linegraph
panwengle·2023-04-10 04:53

Linux实战——Hadoop安装部署

三类组件HadoopHDFS：提供分布式海量数据存储能力HadoopYARN：提供分布式集群资源管理能力HadoopMapReduce：提供分布式海量数据计算能力前置要求请确保完成了集群化环境前置准备即
会不了一点·2023-04-10 04:37

SparkSQL 概述

1.2HiveandSparkSQLSparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员
一抹鱼肚白·2023-04-10 04:43

《Hadoop篇》------HDFS与MapReduce

目录一、HDFS角色职责总结二、CheckPoint机制三、Mapreduce序列化四、Mapper4.1、官方介绍4.2、Split计算4.3、Split和block对应关系4.4、启发式算法五、MapTask
清忖灬·2023-04-10 03:40

虚拟机开启hive的命令

其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，可以理解为一个将SQL转换为MapReduce的任务的工具。
会跑的小蛇·2023-04-10 01:20

Hive概念、架构、启动方式、基本命令

同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer
宇文心亘·2023-04-10 00:01

Hadoop和谷歌的MapReduce、GFS等技术之间有密切的关

文章目录三、简要回答“课堂考核”内容四、习题3.9习题!!!xxxx大学流水线式教学方式以及奔溃的教育体系;三、简要回答“课堂考核”内容Hadoop安装有哪些模式？本实验是哪种模式？可不可以安装其他模式？○单节点模式（StandaloneMode）和伪分布式模式（Pseudo-DistributedMode）单点模式是所有的hadoop集群都在一台机器运行，伪分布式是不同组件在不同机器中运行，但这
JaneOnly300·2023-04-09 20:50

hive兼容性验证

前言Hive是基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将sql语句转换为MapReduce任务进行运行，其优点是学习成本低，可以通过类SQL
雪绒～·2023-04-09 19:39
上一页 40 41 42 43 44 45 46 47 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他