mapreduce运行日志

MapReduce序列化之统计各部门员工薪资总和

MapReduce序列化之统计各部门员工薪资总和文章目录MapReduce序列化之统计各部门员工薪资总和1.1实验目的1.2实验环境1.3需求描述1.4实验步骤1.4.1采用IDEA创建一个Maven工程
桑榆嗯·2023-04-15 10:26

数据科学之路（7）即席查询工具Impala

我们在前面两篇中介绍了数据仓库工具Hive，但是早期的Hive是依赖Hadoop的MapReduce进行并行数据处理，而MapReduce作为离线批处理计算框架的延时是非常高的，用Hive做实时交互式查询的等待一般都是在分钟级别
LiuShaodong·2023-04-15 08:07

104_es生产集群备份恢复之部署hadoop hdfs分布式文件存储系统

是什么的同学，简单的介绍，不会花太多时间，hadoop当前大数据领域的事实上的一个标准hadoophdfs，提供的是分布式的文件存储，数据存储hadoopyarn，提供的是分布式的资源调度hadoopmapreduce
小山居·2023-04-15 05:56

MapReduce 理解

MapReduce理解MapReduce原语句MapReduce原语：“相同”key的键值对为一组调用一次Reduce方法，方法内迭代这组数据进行计算。
冰可乐～·2023-04-15 01:38

MapReduce计算模型

在Hadoop中，用于执行MapReduce任务的机器角色有两个：JobTracker:用于调度工作的，初始化作业，分配作业，与TaskTracker进行通信，协调整个作业的执行TaskTracker:
董家二少·2023-04-15 00:37

分布式计算技术（上）：经典计算框架MapReduce、Spark 解析

本篇我们介绍两个经典的计算框架MapReduce和Spark。—MapReduce批处理引擎—MapReduce是第一个比较成功的计算引擎，主要用于数据批处理。由于企业的大数据
星环科技·2023-04-14 12:01

mac IDEA重新安装报错，闪退，无法PJ

MacOsIDEA重新安装报错，闪退，无法PJ问题排查首先到应用右键打开包信息，找到MacOs文件夹运行idea，这是可以看到后台运行日志，可以很明确的找到错误。
人生重构·2023-04-14 11:31

深入理解Java虚拟机-第四章 虚拟机性能监控与故障处理工具

这里所说的数据包括：运行日志、异常堆栈、GC日志、线程快照（threaddump/javacore文件）、堆转储快照（headdump/hprof文件）等4.2JDK的命令行工具Sun公司（现在应该是Oracle
狂野程序员·2023-04-14 09:11

【Hadoop学习笔记】

文章目录Hadoop概述MapReduce概述MapReduce优点MapReduce缺点MapReduce大致流程：举一个简单的例子：HDFS概述HDFS的优点HDFS的缺点HDFS的数据读写过程YARN
枯鱼过河泣·2023-04-14 07:00

【HDFS】HDFS学习笔记

HDFS优缺点HDFS常用配置HDFS常用命令一、HDFS是什么1.HADOOP1.0中有两个模块：Hadoop分布式文件系统HDFS(HadoopDistrbutedFileSystem)、分布式计算框架MapReduce
Jessie_hhhhhzy·2023-04-14 07:24

Spark学习笔记

1.1Spark特点a.快速处理能力：Hadoop的MapReduce中间数据采用磁盘存储，而Spark优先使用内存避免大量的磁盘IO，极大的提高了计算速度；b.支持性强：Spark支持Java、Scala
zhglance·2023-04-14 03:39

Apache Hadoop 3.x高可用集群部署

Hadoop核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架）：解决海量数据计算hadoop集群规划准
freesharer·2023-04-14 02:11

Hadoop2.X之高可用简介及环境搭建

Hadoop2.0之高可用Hadoop2.0产生背景Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题HDFS存在的问题(2个)NameNode单点故障，难以应用于在线场景HA
瓜不田·2023-04-14 02:39

Chapter4 分布式数据库HBase

在BigTable上运行MapReduce，MapReduce计算作业运行在整张表上，会生成索
今晚滿天星·2023-04-13 23:22

滴滴三面面经JAVA面经

JavaGC5.手撕twolinkedlistmegretoone6.算法一个二叉树给一个target，找到所有sum==target的路径7.Linux命令,各种操作命令，没用过的话还真说不出来8.MapReduce
程序员七十一·2023-04-13 22:34

kafka入门学习

一般批处理(一个文件或者一批文件),不管文件多大，都是可以度量mapreducehivesparkcoresparksql2.消息队列最大的优势就是解耦削峰。
wt5264·2023-04-13 18:05

菜鸟笔记之《Graph Convolutional Neural Networks for Web-Scale Recommender Systems》

说实话，这篇文章的实验部分没有看懂，涉及到MapReduce并行计算多GPU单
mying_三丘·2023-04-13 18:25

黑猴子的家：Hadoop 历史服务配置启动查看

1）配置mapred-site.xmlmapreduce.jobhistory.addressnode1:10020mapreduce.jobhistory.webapp.addressnode1:198882
黑猴子的家·2023-04-13 14:00

黑猴子的家：如何选择Hadoop版本？

实际上，当前Hadoop只有两个版本：Hadoop1.0和Hadoop2.0，其中，Hadoop1.0由一个分布式文件系统HDFS和一个离线计算框架MapReduce组成，而Hadoop2.0则包含一个支持
黑猴子的家·2023-04-13 07:33

MapReduce Map端 join 的一个例子

那在MapReduce中的Join就是指上面的操作，只不过可能不是处理的表，而是文件，或者是从表存储的介质比如MySql、Hbase中读取的数据。举个MapRe
博弈史密斯·2023-04-13 02:32

日更100天（9）每天进步一点点

——王勃1.云计算领域的三篇分别关于MapReduce/GFS/BigTable三大技术的经典论文是由哪家公司发表的？B.Google（谷歌）C.Microsof
你可以叫我老白·2023-04-13 01:29

MapReduce实现TopN

目录1、先导知识2、案例2.1需求2.2代码实现FlowBean类Mapper类Reducer类Driver类3、总结1、先导知识TreeMap底层是根据红黑树的数据结构构建的，默认是根据key的自然排序来组织（比如integer的大小，String的字典排序），如果key是自定义类，可以通过重写compareTo方法自定义排序。firstKey()方法用于返回此TreeMap中具有最小键值的第一
不爱研究的研究僧·2023-04-13 01:17

大数据面试题集锦-Hadoop面试题(四)-YARN

2、简述hadoop1与hadoop2的架构异同3、Hadoop的调度器总结4、MapReduce2.0容错性5、HDFS的数据压缩算法?6、mapreduce推
张飞的猪大数据·2023-04-13 01:13

大数据面试题集锦-Hadoop面试题(三)-MapReduce

你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下"张飞的猪大数据分享"吧，公众号会不定时的分享相关的知识和资料。文章目录1、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化?2、FileInputFormat切片机制3、在一个Hadoop任务中，什么是InputSplit（切片），以及切片是用来做什么的，切片与block有
张飞的猪大数据·2023-04-13 01:43

大数据面试题集锦-Hadoop面试题(五)-优化

文章目录1、MapReduce优化方法2、MapReduce跑得慢的原因？
张飞的猪大数据·2023-04-13 01:43

docker运行服务端性能监控系统Prometheus和数据分析系统Grafana

prometheus.yml文件3、启动容器4、查看启动是否成功5、记录安装过程中出现的错误二、Grafana的安装和运行1、使用docker拉取镜像2、创建grafana3、运行grafana4、查看grafana运行日志
敲代码敲到头发茂密·2023-04-12 22:41

使用minicluster给hadoop程序做单元测试（windows环境）

使用maven管理依赖的话，入门的HelloWorld级的程序，WordCount，需要的依赖有：junithadoop-commonhadoop-mapreduce-client-jobclienthadoop-miniclus
cdarling·2023-04-12 17:08

看了廖雪峰的map和reduce教程的总结

MapReduce.png首先对于map函数
Juha·2023-04-12 16:38

如何看jar包里的代码

以hadoop-mapreduce的wordcount为例，效果杠杠的
wowYuXuan808·2023-04-12 15:15

Hive 自定义UDF函数讲解

文件3.3Hive建表测试及数据3.4UDF函数编写3.5UDTF函数编写四：添加到hive一、UDF描述UDF全称为User-DefinedFunctions,即用户自定义函数，在HiveSQL编译成MapReduce
冷艳无情的小妈·2023-04-12 15:02

MapReduce分布编程模型之映射函数与化简函数简介

映射函数与化简函数是MapReduce分布编程模型的两个主要函数。简单的说，一个映射函数就是对一些独立元素组成的概念上的列表{例如，一个测验成绩的列表}的每个元素所指定的操作。
栀子花_ef39·2023-04-12 15:35

大数据与互联网的结合

MapReduce：几分钟，Spark：几秒钟。2、互联网产品要求：毫秒级响应(1秒以内完成)；需要通过大数据实现统计分析、数据挖掘、关联推荐、用户画像。
幸福右手牵·2023-04-12 14:17

YARN部署

关于MapReduce和YARN的部署，其实就是2件事情：关于MapReduce：修改相关配置文件，但是没有进程可以启动关于YARN：修改相关配置文件，并启动ResourceManager、NodeManager
Kilig*·2023-04-12 11:28

HIVE部署

但他可以提交分布式的MapReduce程序运行。MySQL安装在node1节点使用yum在线安装MySQL5.7版本。
Kilig*·2023-04-12 11:28

MapReduce与Yarn

MapReduceMap：分散Reduce：聚合、汇总YarnMapReduce是基于Yarn运行的。Yarn在框架中负责资源调度,服务器集群资源的统一管理。
Kilig*·2023-04-12 11:27

大数据Hadoop|MapRedece|Yarn

HadoopHadoop概述Hadoop特性优点Hadoop国内外应用Hadoop发行版本Hadoop集群整体概述HDFS分布式文件系统传统常见的文件系统数据和元数据HDFS核心属性HDFS简介HDFSshell操作MapReduce
北山啦·2023-04-12 09:09

Hadoop企业优化

MapReduce跑的慢的原因image.pngMapReduce优化方法MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。
白纸糊·2023-04-12 04:44

面试题集锦

hadoop的namenode宕机,怎么解决6.namenode对元数据的管理7.元数据的checkpoint8.yarn资源调度流程9.hadoop中combiner和partition的作用10.用mapreduce
Saiheihua·2023-04-12 03:22

为何spark中需要设计RDD这个一个概念

Spark一般已经过度使用Hadoop（MapReduce），因为它在迭代处理算法中更快地执行方面提供了好处。
毕利格次_de99·2023-04-12 03:25

上传文件限制导致413-Request Entity Too Large

在使用Nginx时，在异步上传图片到服务器时，发现抛出“error”错误，仔细发现抛出错误内容为：413-RequestEntityTooLarge，查看Tomcat运行日志时发现后台没有接收到文件上传的请求
loop.fu·2023-04-12 01:11

面试官：你可以用 for of 遍历 Object 吗？

提到遍历，大家都对那些手段耳熟能详了，下面我们先简单列一下各种数据类型的遍历：遍历数组for循环forEachmapreducekeysvaluesforof....
前端技术栈·2023-04-12 00:37

第十二章 Ambari二次开发之集成Alluxio

客户端用于通过Spark或MapReduce作业、Alluxio命令行或FUSE层等应用程序与Alluxio服务器通信
随缘清风殇·2023-04-11 23:02

从零开始认识 Spark

老套路，我们点开官网来seesee先吧把这句话翻译一下spark是在Hadoop基础上的改进，是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于
即将秃头的Java程序员·2023-04-11 20:16

搭建SpringBoot和Mysql Demo

比如APP传递的数据需要进行持久化，方便下一次来获取；存储设备运行日志，将设备的执行日志存放到数据库中，方便排查错误，开放接口方便用户进行自主查询。因此，接下来就来
CodeJames·2023-04-11 19:02

大数据周会-本周学习内容总结07

目录01【hadoop】1.1【编写集群分发脚本xsync】1.2【集群部署规划】1.3【Hadoop集群启停脚本】02【HDFS】2.1【HDFS的API操作】03【MapReduce】3.1【P077
延锋L·2023-04-11 19:44

大数据组件——Hive简介及入门

Hive旨在将SQL用户和MapReduce程序员带入到一个单一系统中以处理超大型数据集，并将复杂的编程任务简化为类似SQL的声明性查询
'Wu'·2023-04-11 19:14

黑猴子的家：Hive 表的优化之 大表 Join 大表

例如key对应的字段为空，操作如下案例实操（1）配置历史服务器配置mapred-site.xmlmapreduce.jobhistory.addre
黑猴子的家·2023-04-11 18:53

黑猴子的家：Hadoop的起源

2003-2004年，Google公布了部分GFS和MapReduce思想的细节，受此启发的DougCutting等人用2年的业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。
黑猴子的家·2023-04-11 15:27

MapReduce

MapReduce设计理念map-->映射(keyvalue)reduce-->归纳mapreduce必须构建在hdfs之上一种大数据离线计算框架在线：实时数据处理离线：数据处理时效性没有在线那么强，但是相对也需要很快得到结果
So Youth·2023-04-11 15:42

黑猴子的家：HBase 与 Hive 的对比

(3)基于HDFS、MapReduceHive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。2、HBase(1)数据库是一种面向列存储的非关系型数
黑猴子的家·2023-04-11 11:40
上一页 45 46 47 48 49 50 51 52 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他