mapreduce运行日志

【Hadoop入门】Hadoop的架构介绍

Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成。
小明同学呀呀呀·2023-04-05 07:01

hadoop报错：Stack trace: ExitCodeException exitCode=1

在linux系统下使用eclipse自动打包运行MapReduce的时候发现了如下错误。
Calendula597·2023-04-05 05:42

使用MongoDB的MapReduce进行查询和数据组织

Date:2016-03-09Summary:在实际应用中，用MongoDB做了数据库查询之后返回的数据量很大，想要做一些比较复杂的统计和聚合操作做花费的时间超过了数据库操作耗时，尝试用MongoDB中的MapReduce
浪尖儿·2023-04-05 03:32

nacos安装详细教程-单机、集群(nginx)

Nginx1.20、MySql5.7、JDK1.8、NavicatPremium11一、nacos下载【下载地址】；二、解压nacos-server-2.1.1.zip；bin启动/关闭脚本，以及启动后默认存放运行日志的目录
Lovme_du·2023-04-05 00:27

利用MapReduce将文件内容写入Hbase

org.apache.hadoophadoop-client2.7.3org.apache.hbasehbase-client1.3.1org.apache.hbasehbase-server1.3.1packagecom.neuedu;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;import
小猪Harry·2023-04-04 23:24

impala使用

目录a.添加impala服务b.impala客户端启动c.创建表d.impala进行mapreduce计算e.分区使用f.impala数据同步1.使用hive插入数据2.impala查询数据3.进行数据同步
yang_zzu·2023-04-04 23:03

Impala架构和工作原理

239989011.Impala架构Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具（实时SQL查询引擎Impala），Impala没有再使用缓慢的Hive+MapReduce
小砖工·2023-04-04 23:52

impala的架构

而MapReduce是一个临时的计算，什么时候提交作业什么时候才会计算。Spark：启动服务后一直计算知道所有计算结束，进程拉起后执行完所有计算任务才会销毁。
陈小哥cw·2023-04-04 22:33

Impala架构及其原理

已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。
数据小二·2023-04-04 22:11

impala实战篇

1.1Impala的优缺点1.1.1优点基于内存运算，不需要把中间结果写入磁盘，省掉了大量的I/O开销无需转换MapReduce，直接访
AllenGd·2023-04-04 22:36

Impala 架构了解

Impala整体架构了解一Impala官网PB级大数据实时查询分析引擎，具有实时、批处理、多并发等优点，提供对HDFS、Hbase数据的低延迟SQL查询；Impala不使用MapReduce，通过分布式查询引擎访问数据
叫我阿呆就好了·2023-04-04 22:33

自定义yarn应用程序

现如今好多大型计算框架都可以运行在yarn框架上，比如天生运行在yarn上的MapReduce、优秀的内存计算引擎Spark、后起之秀Flink等都支持yarn的运行模式。
L凝竹·2023-04-04 22:28

分布式理论(九) —— Paxos共识算法详解

MongoDB、Redis、MapReduce使用这种方案。对于静态网站、实时性较弱的查询类数据库，会牺牲一致性
天健胡马灵越鸟·2023-04-04 20:04

ELK6.x集群搭建（丐版 含出错解决）

hadoop-2.6.4节点文件配置2.节点配置完整[root@hadoop02hadoop]#viyarn-site.xmlyarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandleryarn.log-aggregation-enabletrueyarn.log-aggre
Rinki.·2023-04-04 19:22

手把手教数据仓库建设dataworks（小白版）

spark等等，如果自己从0到1去搭建整个数据仓库工作量比较大，且对于性价比不高，故我们采用现成的阿里云提供的数据仓库，阿里云技术框架如下：阿里云产品介绍类比DataHub数据总线Kafka+dataxE-MapReduce
菩提树下的呆子·2023-04-04 18:42

lab1 mapreduce

抽象理解：master维护worker，task两个队列，表示空闲的worker，等待执行的task。对task进行抽象比较重要，输入数据位置+nReducer+用户代码逻辑，即可确定一个task。worker可能随时被分配给master，所以master主要分成两个线程：背景线程用来接收分配给它的worker，把worker插入队列。调度线程分别从worker、task队列中取出一个worker
祝方泽·2023-04-04 18:28

SpringBoot 整合 Log4j2 日志框架

前言代码运行日志对于项目来说十分重要。本文记录的是SpringBoot与Log4j2的整合配置过程，至于其他日志框架和Log4j2的对比，小伙伴们可自行查阅资料。
曾是然·2023-04-04 15:09

九.企业级调优

9.1Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。
临时_01e2·2023-04-04 14:02

Hadoop集群的组成成份

一、Hadoop的核心功能有两个：HDFS与MapReduce。
星之擎·2023-04-04 12:29

Hadoop相关组成介绍

Hadoop只是一套工具的总称，它包含三部分：HDFS，Yarn，MapReduce，功能分别是分布式文件存储、资源调度和计算。
傅安安·2023-04-04 12:15

Hadoop 之 MapReduce 概述

1.MapReduce定义MapReduce是一个分布式的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
小吴学数据·2023-04-04 12:40

Hadoop组成及各组件架构概述

1.Hadoop组成在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源调度，耦合性较大。在Hadoop2.x时代，增加了Yarn。
小吴学数据·2023-04-04 11:00

WordCount 在 MapReduce上运行详细步骤

注意：前提条件hadoop已经安装成功，并且正常启动。1.准备好eclipse安装包，eclipse-jee-juno-linux-gtk-x86_64.tar.gz，使用SSHSecureFileTransferClient工具把安装包上传于Hadoop集群的名称节点。2.上传Hadoop在eclipse上运行插件：haoop-eclipse-plugin-2.6.0.jar3.更改eclips
飘羽·2023-04-04 09:56

Hadoop 2.7.7 伪分布式安装

逐渐演变成：HDFS、YARN、MapReduce三大应用模块，这三个应用模块分别的能力和作用是：1、HDFS：分布式文件系统，用来解决海量大文件的存储问题2、MapReduce：一套通用的用来解决海量大文件计算的编程模型
ruth13156402807·2023-04-04 09:23

Hive SQL执行全过程源码解析(Hive3.1)

Hive就是把SQL通过AST解析，然后遍历若干次(进行算子替换以及优化)，最后再次遍历算子，如果为reduceSink操作符则划分出一个stage，类似Spark中通过shuffle来划分stage，生成MapReduce
Deegue·2023-04-04 07:27

利用MapReduce将文件内容写入Hbase

引入Hbase的配置文件hbase.zookeeper.quorummaster,slave1,slave2ThedirectorysharedbyRegionServers.org.apache.hadoophadoop-client2.7.3org.apache.hbasehbase-client1.3.1org.apache.hbasehbase-server1.3.1//计算wordcou
数据萌新·2023-04-04 07:18

【大数据】Hive SQL执行全过程源码解析(Hive3.1)

Hive就是把SQL通过AST解析，然后遍历若干次(进行算子替换以及优化)，最后再次遍历算子，如果为reduceSink操作符则划分出一个stage，类似Spark中通过shuffle来划分stage，生成MapReduce
笑起来贼好看·2023-04-04 07:09

Apache Hive

hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布任务给MR框架执行，完成SQL到MapReduce的转换。
祈人之忧·2023-04-04 07:26

Apache Hive 的 SQL 执行架构

本专栏目录结构和参考文献请见大数据技术体系正文本文介绍ApacheHive如何将SQL转化为MapReduce任务，整个编译过程可以分为六个阶段：对SQL进行词法、语法解析，将SQL转化为ASTTree
Shockang·2023-04-04 07:36

HiveSQL的执行流程

底层任务调度通过yarn进行资源分配，默认计算引擎为MapReduce，可移植为hiveontez或者hiveonspark，下面是一条hivesql的执行流程：（hive中的四大组件：解析器，编译器，
请学习好嘛·2023-04-04 07:30

第1章 初始Hadoop

HDFSHadoopDistributedFileSystem分布式文件系统MapReduce并行计算框架HBase分布式NoSQL列数据库Hive数据仓库工具，将结构化的数据文件映射为一张数据库表，并提供简单的
longbow747·2023-04-04 06:58

简述MapReduce执行过程？

简述MapReduce执行过程？
真题OK撒·2023-04-04 04:31

刷题 | top k问题

（哼哼，某厂面试官还...）堆--以最小k个为例，先把前k个元素建立一个大顶堆（On），然后从k+1开始遍历，如果小于堆顶则替换，并下沉，最糟糕的复杂度是nlogk大数据的情况100亿找1000堆okmapreduce1
tuuzkiii_Tuu·2023-04-04 04:58

比较Hive数据库与MySQL数据库

hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
晓之以理的喵~~·2023-04-04 04:17

Hive与HBase之间的区别和联系

HBase两者的区别，我们必须要知道两者的作用和在大数据中扮演的角色概念Hive1.Hive是hadoop数据仓库管理工具，严格来说，不是数据库，本身是不存储数据和处理数据的，其依赖于HDFS存储数据，依赖于MapReducer
程序员阿伟·2023-04-04 02:58

Java开发必须掌握的线上问题排查命令

,所以我们需要借助一些常用命令来查看运行时的具体情况，这些运行时信息包括但不限于运行日志、异常堆栈、堆使用情况、GC情况、JVM参数情况、线程情况
java架构进阶·2023-04-04 00:15

大数据技术高频面试题汇总

LZO压缩，需要添加jar包，并在hadoop的cores-site.xml文件中添加相关压缩配置；Hadoop常用端口号；Hadoop配置文件以及简单的Hadoop集群搭建；HDFS读流程和写流程；MapReduce
wespten·2023-04-03 23:50

尚硅谷大数据技术Hadoop教程-笔记06【Hadoop-生产调优手册】

大数据概论】尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】尚硅谷大数据技术Hadoop教程-笔记04【Hadoop-MapReduce
延锋L·2023-04-03 23:32

Hadoop架构

Hadoop1.xhadoop1.x:由hdfs(分布式文件存储系统)与MapReduce(分布式计算框架)组成HDFS节点:1.namenode(主节点)负责管理整个HDFS集群,维护和管理元数据(用来描述数据的数据
奋斗哼哼·2023-04-03 21:42

使用docker搭建Hadoop

Hadoop简介1、Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统
哦吼吼吼tian·2023-04-03 20:27

Hadoop架构和原理

Hadoop包含很多技术和组件，其中主要有文件存储HDFS、计算引擎MapReduce、资源调度YARN三大组件。
松myth·2023-04-03 20:26

hadoop部分架构图

1.hdfs架构2.NamenodeSecondaryNamenode3.hadoop1.0与hadoop2.0比较图4.MapReduce5.MapReduceShuffle6.hadoopha7.hdfsarchitecture8
躁动的青年·2023-04-03 20:29

大数据开发之Hadoop学习1---从Hadoop框架讨论大数据生态

2.2Hadoop发展历史（了解）2.3Hadoop三大发行版本（了解）2.4Hadoop的优势（4高）2.5Hadoop组成（面试重点）2.5.1HDFS架构概述2.5.2YARN架构概述2.5.3MapReduce
Lcreator·2023-04-03 20:56

大数据——Hadoop组成及架构分析

一、Hadoop组成Hadoop1.x主要由MapReduce+HDFS+Common组成MapReduce：负责任务的计算以及实现资源的调度HDFS：负责数据的存储Common：是一个Hadoop的底层的辅助工具
Crazy ProMonkey·2023-04-03 20:23

hadoop组成及其架构

1.Hadoop组成组成Hadoop的最核心框架有三个MapReduce、YARN和Hdfs，分别是分布式计算框架、资源调度框架和分布式文件系统。
90后的包子·2023-04-03 20:50

java微服务不侵入业务代码的情况下快速追踪一个请求链路中各个服务的运行日志

背景在使用微服务中，由于调用链路进一步的复杂，同一个请求可能会在不同的机器，jvm和线程中运行这样就造成了日志的发散和查找的困难，发散问题我们可以通过日志收集，重新聚合，例如ELK等，但是聚合的日志查找整个链路的日志依然非常困难，这里介绍一种方案，原理其实很简单，就是通过请求时随机生成一个requestId，然后将requestId存入每个线程中作为一个变量，打印日志时从线程中取出，打印在日志中，
_junLing·2023-04-03 17:25

2021-07-15

packagemapreduce;importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.fs.Path
Packbacker_s·2023-04-03 16:03

黑猴子的家：MapReduce 编程规范（八股文）

用户编写的程序分成三个部分：Mapper，Reducer，Driver(提交运行mr程序的客户端)1、Mapper阶段（1）用户自定义的Mapper要继承自己的父类（2）Mapper的输入数据是KV对的形式（KV的类型可自定义）（3）Mapper中的业务逻辑写在map()方法中（4）Mapper的输出数据是KV对的形式（KV的类型可自定义）（5）map()方法（maptask进程）对每一个调用一次
黑猴子的家·2023-04-03 13:21

Flink高手之路1一Flink的简介

Flink的特性5.Flink四大基石6.批处理和流处理二、Flink的架构1.Flink的角色2.编程模型一、Flink简介1.Fink的引入大数据的计算引擎，发展过程有四个阶段第一代：Hadoop的MapReduce
W_chuanqi·2023-04-03 07:09

大数据时代的小数据神器 - asqlcell

自从Google发布了经典的MapReduce论文，以及Yahoo开源了Hadoop的实现，大数据这个词就成为了一个行业的热门。
熊主任·2023-04-03 06:32
上一页 48 49 50 51 52 53 54 55 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他