mapreduc

常见的分布式文件系统简介

Google学术论文，这是众多分布式文件系统的起源==================================GoogleFileSystem（大规模分散文件系统）MapReduc
夏雨薇安·2020-08-03 01:52

SparkSql -- DataFrame和DataSet

SparkSql–DataFrame和DataSet1.什么是sparksqlHive将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce
ITgagaga·2020-08-02 21:27

MapReduce 模式、算法和用例

基本MapReduc
juliashine·2020-07-31 18:21

第十天 - MapReduce实体数据类型 - 与Web交互

MapReduce与Web进行交互案例index.jspRunMRServlet.javasystem.propertiesRemoteUtil.javaPropertiesUtil.java运行结果一、MapReduc
Eva.努力学习·2020-07-30 14:59

浅析图数据库 Nebula Graph 数据导入工具——Spark Writer

通过MapReduc
图数据库NebulaGraph·2020-07-30 12:12

浅析图数据库 Nebula Graph 数据导入工具——Spark Writer

通过MapReduc
NebulaGraph·2020-07-27 16:22

hadoop之 mapreduce example（1）

importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduc
乄浅醉·2020-07-27 15:15

浅析图数据库 Nebula Graph 数据导入工具——Spark Writer

通过MapReduc
NebulaGraph·2020-07-16 18:00

hbase1.2.0-cdh5.11.2升级到hbase2.1.0-cdh6.3.0遇到的问题之hbase通过MapReduce查看表行数

问题描述：执行以下命令报错[root@worker~]#hbaseorg.apache.hadoop.hbase.mapreduc
benpaodexiaowoniu·2020-07-15 14:05

12、MapReduce编程案例

文件开发环境搭建请参考《11、HDFS编程案例》一文一、MapReduce项目开发说明关于MapReduc程序最核心的操作类就是Job接口类，可以知道linux下当我们通过hadoop提交jar包运行的时候
贝壳里的沙·2020-07-14 14:00

如何使用 Hadoop 提升 Hive 查询性能

Tez通过提高处理速度来对MapReduce样例进行提升，并且保持着MapReduc
Joker_Ye·2020-07-14 11:23

Hive初识功能架构

1.1mapreduc
正义飞·2020-07-13 15:44

基于YARN集群构建运行PySpark Application

YanjunSparkApplication可以直接运行在YARN集群上，这种运行模式，会将资源的管理与协调统一交给YARN集群去处理，这样能够实现构建于YARN集群之上Application的多样性，比如可以运行MapReduc
36大数据·2020-07-13 08:08

1.1.2 Spark生态

1.SparkCoreSparkCore是整个BDAS的核心组件，是一种大数据分布式处理框架，不仅实现了MapReduc
Albert陈凯·2020-07-10 02:34

Hadoop简介

HDFS是供数据存储的,MapReduce是方便数据计算的,YARN是负责资源调度的HDFS对应namenode和DataNode.NameNode负责保存元数据的基本信息,Datanode直接存放数据本身MapReduc
wintershii·2020-07-09 00:09

整合Cassandra与Hadoop MapReduce

2启动MapReduc
weixin_33955681·2020-07-08 16:02

MapReduce中Shuffle机制的学习案例——房屋租赁信息

Hadoop版本：2.6.5Shuffle机制  上图是MapReduc
Leon1895·2020-07-08 01:21

从Hadoop框架与MapReduce模式中谈海量数据处理

由此，最近凡是空闲时，便在看“Hadoop”，“MapReduc
dinongxu8804·2020-07-07 07:58

Hadoop之YARN的安装与测试

mapred-site.xml文件，只有一个模版文件mapred-site.xml.template拷贝一个重命名一下即可，cpmapred-site.xml.templatemapred-site.xml然后配置以下内容：mapreduc
尼古拉斯_谭·2020-07-06 06:42

Spark 集群与数据集RDD

中集群单机模式：使用spark内置的任务调度框架基于Mesos:Mesos是一个流行的开源集群计算框架基于Yarn:hadoop2，一个与hadoop关联的集群计算和资源调度框架区别：解析hadoop新一代mapreduc
光脚丫丫·2020-07-02 13:00

谷歌三大论文之Google MapReduce 的理解

MapReduce（分布式计算系统）定义：MapReduc
ziyonghong·2020-06-30 18:38

《纽约客》特写Jeff Dean与Sanjay：谷歌唯二11级工程师，同一台电脑上写代码

后来，他们还又合作多次重构谷歌搜索引擎核心算法，开发了MapReduc
量子位·2020-06-30 05:00

SparkSQL之一张贴告诉你什么是SparkSQL

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。
王傲旗的大数据之路·2020-06-29 11:17

Hadoop之MapReduce

Hadoop比较适合解决大数据问题，很大程度上依赖其大数据存储系统，即HDFS和大数据处理系统，即MapReduc
陆勤·2020-06-27 13:21

Hadoop2.5细节

NameNode工作，定时合并文件)3.YRANHadoop操作系统Data操作系统ContainerResourceManager(整个集群资源的管理和调度)NodeManager(管理每个节点的资源和调度)4.MapReduc
虎城威威·2020-06-27 06:51

Reduce Task调优

mapreduce.reduce.shuffle.parallelcopies"(默认为5)指定，对于每个待拷贝的文件，如果文件大小小于一定阈值A，则将其放在内存中，否则以文件的形式存放在磁盘上，如果内存中文件满足一定条件D，则会将这些数据写入磁盘，而当磁盘上文件数目达到mapreduc
忘净空·2020-06-25 13:58

Hive基础介绍

2.为什么要使用hive为超大数据集设计的计算/扩展能力统一的元数据管理MapReduc
qingdsj·2020-06-24 22:35

CDH5.8 HUE的使用（那些年走过的坑）

通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduc
gao123456789amy·2020-06-23 09:11

分布式机器学习（上）-并行计算与机器学习

MapReduce，已经如何用MapReduc
forest_open·2020-06-23 08:36

各种分布式文件系统简介

Google学术论文，这是众多分布式文件系统的起源==================================GoogleFileSystem（大规模分散文件系统）MapReduc
elf8848·2020-06-23 06:54

谷歌技术"三宝"之BigTable

相当多的google应用使用了BigTable，比如GoogleEarth和GoogleAnalytics，因此它和GFS、MapReduc
weixin_33816300·2020-06-21 10:29

大数据系统运维2019

集群硬件监控通过应用案例了解工作方法与流程大数据运维概览大数据的运维案例回顾：运维内容运维工作流程运维支撑平台大数据运维涉及哪些内容大数据运维关注的问题大数据运维平台的典型架构大数据系统核心组件介绍1、集群管理工具—ambari2、数据仓库—hive3、分布式计算—MapReduc
zhanggliy·2020-04-01 20:03

分布式计算框架比较

ApacheHadoop批处理模式Hadoop的处理功能来自MapReduc
Bill_Lin·2020-03-30 04:19

hadoop单机，伪分布搭建运行总结

同样附上链接http://hadoop.apache.org/docs/r2.8.3/hadoop-mapreduc
黑白配ly·2020-03-12 23:45

sparksql 概述

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。
DB乐之者·2020-03-11 09:00

深入理解MapReduce原理

1.概念百度百科对MapReduce的定义感觉还是比较全面的：MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义：1）MapReduc
杨赟快跑·2020-03-05 21:37

day06.Hadoop快速入门&云服务三种模式IaaS，PaaS和SaaS【大数据教程】

旗下的一套开源软件平台2).HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3).HADOOP的核心组件有A.HDFS（分布式文件系统）B.YARN（运算资源调度系统）C.MAPREDUC
Java帮帮·2020-01-03 03:05

Hadoop 优化配置

(3)mapreduc
Minty_·2019-12-18 03:28

mapreduce原理简单叙述

这个东西大概长这个鬼样：mapreduc
戈风·2019-10-31 01:24

Hadoop第七天--MapReduce&Yarn详解（二）

Hadoop第七天–MapReduce&Yarn详解（二）接着上一篇“Hadoop第七天–MapReduce&Yarn详解（一）”，通过阅读大牛的博客以及学习老师课上所讲总结一下这几天学的内容二、MapReduc
Nix GnaHz·2019-09-13 15:41

Spark学习笔记0——简单了解和技术架构

扩展了广泛使用的MapReduc
隔壁老李头·2019-09-10 12:00

MapReduc压缩工具对比及配置

在MapReduce的各阶段过程中，根据场景开启不同类型的压缩，可以有效提升Job的处理时间；MR使用压缩的各个阶段：压缩可以在MapReduce作用的任意阶段启用，通过压缩可以有效降低Job的处理时间；从上图可以总结为如下内容：1.从原始数据到Map阶段；需要可切分的Splitable，以便于启动多个线程加速任务2.Map阶段落地过程；因为需要马上进行Reduce，所以讲求的是Speed，所以越
bigdata_lzw·2019-04-18 16:17

使用intellij搭建运行MapReduce环境

一、实验环境物理机：Windows10idea：intellij2017二、具体需求在idea中搭建一个用于运行MapReduce程序的环境，这样就可以在idea中运行或调试MapReduc
HelloWorldWP·2019-03-28 22:43

大数据入门 | 二、初识hadoop

Hadoop的核心是分布式文件系统HDFS（HadoopDistributedFileSystem）和MapReduc
松鼠的读书笔记·2019-01-29 22:43

Java客户端读取Hive 3.0任务进度（一）

需要执行MapReduc
天天乐见·2019-01-24 20:03

Sqoop数据迁移工具

二、工作机制将导入或导出命令翻译成mapreduc
邢小成·2018-10-23 14:08

Hadoop从入门到放弃系列------YARN

在Hadoopv1.0时代，作业调度全由MapReduc
积跬步，积小流·2018-09-10 22:39

常见分布式文件系统

Google学术论文，这是众多分布式文件系统的起源==================================GoogleFileSystem（大规模分散文件系统）MapReduc
innerpeace-yt·2018-05-20 14:00

利用MapReduce对HBase数据进行统计分析

2、应用场景假设有一张HBase表article,它有一列是数据来源source，现在需要统计不同来源的文章数量(数据行数)，对于这样的简单统计需求，可以利用MapReduc
carrotsssss·2018-03-02 15:23

1.spark简介

Spark则属于BDAS生态体系之一3.SparkVSMapReduce为什么Spark比MapReduce快：a.磁盘IO开销:Spark中间计算结果都是基于内存，节省开销；b.排序：Spark避免MapReduc
dream0352·2017-03-14 08:29
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他