mapreduce运行日志

《从0开始学大数据》之流式计算的代表

这些数据通常通过HDFS存储在磁盘上，使用MapReduce或者Spark这样的批处理大数据计算框架进行计算，一般完成一次计算需要花费几分钟到几小时的时间。
我叫CJJ·2023-02-04 17:21

《从0开始学大数据》之大数据基准测试

大数据作为一个生态体系，不但有各种直接进行大数据处理的平台和框架，比如HDFS、MapReduce、Spark，还有很多周边的支撑工具，而大数据基准测试工具就是其中一个大类。
我叫CJJ·2023-02-04 17:21

《从0开始学大数据》的启示

看产品思维模式思维大数据发展历史分布式计算的核心思想——移动计算而非移动数据大数据系统与大型网站系统设计思路的差异大型网站的思路大数据系统的思路从RAID到HDFS（存储）作为计算模型的MR为什么HDFS是系统，而MapReduce
N-Paradigm·2023-02-04 17:50

《大数据技术从零开始》自学知识库(2022年整理)

文章目录计算机组成原理操作系统数据结构与算法计算机网络Linux系统JavaScalaPythonMySQL分布式系统NettyHadoopHDFSMapReduceYarnZookeeperHiveSparkKafkaFlink
DataChat.Club·2023-02-04 17:50

从0开始学大数据（一）

预习01|大数据技术发展史：大数据的前世今生我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce
ziqiiii·2023-02-04 17:19

从0开始学大数据总结笔记：2、大数据生态体系主要产品原理与架构

上面所有这些技术在实际部署的时候，通常会部署在同一个集群中，某台服务器可能运行着HDFS的DataNode进程，负责HDFS的数据存储；同时也运行着Yarn的NodeManager，负责计算资源的调度管理；而MapReduce
qililong88·2023-02-04 17:49

《从0开始学大数据》之构建一个大数据平台

在分布式系统中分发执行代码并启动执行，这样的计算方式必然不会很快，即使在一个规模不太大的数据集上进行一次简单计算，MapReduce也可能需要几分钟，Spark快一点，也至少需要数秒的时间。
我叫CJJ·2023-02-04 17:18

java如何实现从指定位置读取文件到指定位置结束？

我所遇到的业务是这样的：在某个页面上点击某个按钮，需要能够看到这台服务器的运行日志。于是就
我以前是学渣·2023-02-04 06:43

日志审计系统的基本原理

综合日志审计平台，通过集中采集信息系统中的系统安全事件、用户访问记录、系统运行日志、系统运行状态等各类信息，经过规范化、过滤、归并和告警分析等处理后，以统一格式的日志形式进行集中存储和管理，结合丰富的日志统计汇总及关联分析功能
额嗬·2023-02-04 05:31

Hive Distinct的实现原理

numfromordergroupbydealid;当只有一个distinct字段时，如果不考虑Map阶段的HashGroupBy，只需要将GroupBy字段和Distinct字段组合为map输出key，利用mapreduce
麦子星星·2023-02-04 02:06

quartz运用

还有quartz没有记录运行日志，不知道到底运
xiaoming_he·2023-02-03 21:20

十七.Hadoop部分问题思考

1.关于切片的时候保证数据完整性的问题MapReduce在进行切片的时候有几个参数，一个是最小切片大小(mapred.min.split.size)，一个是最大切片大小(mapred.min.split.size
临时_01e2·2023-02-03 19:43

直播 | StarRocks 联合腾讯云分享 EMR-StarRocks 的降本增效之路

1月10日19:00，StarRocks社区将联合腾讯云大数据举办“数智话”技术沙龙，以“弹性MapReduceEMR
StarRocks_labs·2023-02-03 17:32

翻译：Coprocessor Introduction

原文Authors:TrendMicroHadoopGroup:MingjieLai,EugeneKoontz,AndrewPurtellHBase对MapReduce集成非常友好，可用于对其表中存储的数据进行分布式计算
掩流年·2023-02-03 15:02

分布式调度与计算框架：OhMyScheduler

架构的一款分布式调度平台与分布式计算框架（对标AlibabaSchedulerX2.0），其主要功能特性如下：使用简单：提供前端Web界面，允许开发者可视化地完成调度任务的管理（增、删、改、查）、任务运行状态监控和运行日志查看等功能
村口滕师傅·2023-02-03 14:33

sqoop介绍及使用

Sqoop工作机制Sqoop工作机制是将导入或导出命令翻译成mapreduce程
weixin_43814165·2023-02-03 12:02

SQL

5asint);解析json文件并处理换行符regexp_replace(get_json_object(json_content,'$.body'),'[\\n\\r]','')ascontent避免mapreducesethive.exce.mode.local.auto
渡猫·2023-02-03 06:19

Hive1

mysql,roacle,sqlserve,DB，MDB,...数据仓库：Hive,是MR的客户端，也就是说不必要每台机器都安装部署Hive-Hive的特性1）操作接口是采用SQL语法,HQL；2）避免乐写MapReduce
ZhangShiWen·2023-02-03 05:00

Mapreduce

一句话总结：Mapreduce的原理就是一个归并排序。Hadoop是一个实现了MapReduce模式的开源的分布式并行编程框架。
徐超Change·2023-02-03 01:35

MapReduce —— WordCount案例

一般情况下，一个MapReduce程序主要包含三个部分：Map、Reduce和Drive。
Manfestain·2023-02-02 20:37

使用docker容器运行go程序，找不到可执行文件

查看运行日志，发现如下报错：standard_init_linux.go:228:execuserprocesscaused:nosuchfileordirectory经过查阅资料后得知，golang在编译时可以选择使用
·2023-02-02 20:07

聊一聊数组的map、reduce、foreach等方法

聊聊数组遍历方法JS数组的遍历方法有好几个：everysomefilterforeachmapreduce接下来我们来一个个地交流下。
Haozj·2023-02-02 19:14

HADOOP大数据技术栈简介

Hadoop三大组件：HDFS、YARN、MapReduce。
奋斗的韭菜汪·2023-02-02 15:54

Map Reduce执行过程

MapReduce执行过程是数仓hql调优所必须熟知的，也是初高级数仓工程师面试基本必问的一块内容，所以为了面包，巩固学习一下。
乌拉乌拉儿·2023-02-02 15:38

数据科学之路（8）不得不说的Tez

我们在《数据科学之路（5）数据仓库工具》中提到了Hive既可以运行在MapReduce上，也可以运行在Tez和Spark上，那么Tez到底是什么呢？
LiuShaodong·2023-02-02 14:39

HADOOP介绍

apache旗下的一套开源软件平台HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理HADOOP的核心组件有HDFS（分布式文件系统）YARN（运算资源调度系统）MAPREDUCE
BoltBear·2023-02-02 14:00

hadoop集群部署

1、Hadoop的介绍狭义上来说，hadoop就是单独指代hadoop这个软件，HDFS：分布式文件系统MapReduce:分布式计算系统Yarn：分布式集群资源管理广义上来说，hadoop指代大数据的一个生态圈
keeper&·2023-02-02 14:29

Hadoop简介概述

谷歌发表的关于GFS和MapReduce相关的论文给了作者启发，最终让Nutch可以在多台计算机上稳定的运行;后来雅虎对这项技术产生了很大的兴趣，并组建了团队开发，从Nutch中剥离出分布式计算模块命
Trouble-Solver·2023-02-02 14:58

初识大数据（二. Hadoop是什么）

并且已经从HDFS、MapReduce、Hbase三大核心组件成长为一个具有60多个组件构成的庞大生态，可以满足大数据采集、存储、开发、分析、算法、建模等方方面面。
weixin_34205076·2023-02-02 14:58

hadoop介绍

目录大数据与HadoopHadoop模块：HadoopCommon：Hadoop分布式文件系统(HDFS)：HadoopYARN：HadoopMapReduce：Hadoop生态圈组件：Spark（分布式计算框架
昊昊该干饭了·2023-02-02 14:58

大数据基础之Hadoop（一）—— Hadoop概述

Hadoop系列大数据基础之Hadoop（一）——Hadoop概述大数据基础之Hadoop（二）——HDFS大数据基础之Hadoop（三）——MapReduce大数据基础之Hadoop（四）——YarnHadoop
Duktig丶·2023-02-02 14:57

大数据技术之Hadoop（入门）

框架讨论大数据生态1.1Hadoop是什么1.2Hadoop发展历史1.3Hadoop三大发行版本1.4Hadoop的优势1.5Hadoop组成1.5.1HDFS架构概述1.5.2YARN架构概述1.5.3MapReduce
我是超级小白·2023-02-02 14:25

大数据入门知识总结

大数据部门及流程二、数据仓库1、数据仓库的基本概念2、数据仓库的主要特征3、数据仓库与数据库区别5、数据仓库——ETL三、Hadoop——HDFS分布式存储系统1、Hadoop简介2、HDFS、Yarn、MapReduce3
长不大的大灰狼·2023-02-02 14:25

hadoop 4.0 知识整理

hadoop优势多副本机制保证系统可靠性，处理节点可以动态添加/删除保证系统的可扩展性，MapReduce并行工作保证系统的高效性，失败任务默认重新分配4次执行保证系统的容错性。
fenggfa·2023-02-02 14:24

大数据技术之Hadoop（入门）概述、运行环境搭建、运行模式

文章目录1Hadoop概述1.1Hadoop是什么1.2Hadoop优势1.3Hadoop组成（面试重点）1.3.1HDFS架构概述1.3.2YARN架构概述1.3.3MapReduce架构概述1.3.4HDFS
@从一到无穷大·2023-02-02 14:53

Neo4j 入门学习 1 基础知识模块

图数据库是依赖于关系构建的数据，相比传统的关系型数据库，表间的关系建立在外键或外处理上（MapReduce），图数据库是
Piteover·2023-02-02 13:17

Hyperledger Fabric byfn up 详解

HyperledgerFabric整理体系：Fabric整体架构和交易流程FabricSamples在Mac部署和运行FabricSamples运行日志记录FabricSamplesBYFN命令行详解FabricSamples
谷雨_时·2023-02-02 12:11

Hadoop集群搭建-01前期准备

3076991整个搭建hadoop集群的流程，包括前期准备安装zookeeper并配置环境编译安装hadoop并启动安装HDFS管理namenode和dataname管理集群硬盘资源安装启动yarn建立MapReduce
叫我懒猫·2023-02-02 01:56

从源码角度分析MapReduce运作_一.准备阶段

一.目录本系列文章对Hadoop知识进行复盘。分为两个阶段，建立连接阶段，提交job阶段。waitForCompletion()submit();//1建立连接connect();//1）创建提交Job的代理newCluster(getConfiguration());//（1）判断是本地yarn还是远程initialize(jobTrackAddr,conf);//2提交jobsubmitter
scott_alpha·2023-02-02 00:09

Hive基础总结

Hadoop是一个面向批处理的系统，而MapReduce任务的启动过程需要消耗较长的时间，所以Hive查询延时比较严重。Hive不支持事务，不支持OL
w未然·2023-02-01 21:37

DDIA Ch10

MapReduceMapReduce就是分布式的unixtools，如果他是在一台机器上跑，那就是unixpipeHadoopimplementationofMapReduce,thatfilesystemiscalledHDFS
Wilbur_·2023-02-01 14:57

hadoop集群搭建

那mapreduce是什么呢？它其实是一个分布式运
·2023-02-01 12:51

MapReduce架构原理、执行过程详解

MapReduce架构组成Hadoop1.x版本架构组成的JobTracker/TaskTracker机制需要大规模的调整来修复它在可扩展性，内存消耗严重，可靠性和性能上都有缺陷。
胖滚猪学编程·2023-02-01 12:47

Hadoop学习笔记

数据量大，计算量大，单个机器无法完成可将数据分布在多个机器上由多个机器共同完成计算大数据计算需要各个机器相互协调工作，大数据算法有共同点，可将其做成框架，Hadoop就是这样的框架MapReduce，Google
柴柴总·2023-02-01 06:03

Storm 入门

顶级项目，免费开源分布式实时流处理计算系统，能实现高频数据和大规模数据的实时处理storm官网stormgithubStormvsHadoop数据源/处理领域：实时vs离线处理过程：SpoutBoltvsMapReduce
cjxll·2023-01-31 22:46

HIVE 3 使用 MR 引擎多表关联 (JOIN) 导致丢数的问题复现、问题根源及解决方案 (附代码)

问题描述ApacheHive在2.3版本后宣布放弃维护MapReduce作为底层执行引擎，并转而使用Tez作为默认的查询引擎。
田同学·2023-01-31 22:19

整体认识Hadoop

1、Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem
云顶天宫写代码·2023-01-31 20:51

Mac brew update卡住，打印运行日志

在使用brew命令进行操作的时候由于网络的问题经常卡住，我们经常需要更换数据源来解决这个问题但是更换数据源之后，还是会等待很长时间，其实真在运行这个时候使用命令brewupdate--verbose这样就知道当前命令运行的情况
liust15·2023-01-31 18:01

jupyter AttributeError: ‘WebSocketProtocol13‘ object has no attribute ‘_extensions‘

版本，重启后端口号保持一致，出现如下Error：jupyter主目录正常打开、terminal正常运行；以前使用过的jupyternotebook能打开，但不能运行python代码；查看jupyter运行日志
巴基海贼王·2023-01-31 17:48

Pytest测试框架搭建需求及实现方案

目录框架需求及实现方案框架需求实现方案支持接口自动化、WebUI自动化及App自动化可以批量运行用例并生成测试报告测试完成发送邮件提供灵活的运行方式，如按功能模块运行、按脚本运行、按用例等级运行等等提供运行日志方便定位问题支持切换环境支持数据库断言减少维护成本增加运行的稳定性提高运行效率框架规划功能规划及方案选择总结框架需求及实现方案框架是为了解决某一特定问题而设计的
软件测试老莫·2023-01-31 16:08
上一页 56 57 58 59 60 61 62 63 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他