分布式系统mapreduce

Flink1.18.0集成Yarn-session模式部署

上次部署了Hadoop集群Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建这次集成下flinkYARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager
china-zhz·2024-02-04 21:34

Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建

目录一、节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、Hadoop部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件5、启动hadoop集群6、集群部署验证一、节点部署角色目录节点ipNNSNNDNRMNMHSnode1192.168.88.11√√node2192.168.88.12√√√√node3192
china-zhz·2024-02-04 21:33

软件系统架构黄金法则16：海量结构化数据的扩展架构法则

本文将介绍一种基于分布式系统和数据分片技术的海量结构化数据扩展架构法则，该法则可以帮助企业和组织高效地存储、处理和分析海量结构化数据，提高
禅与计算机程序设计艺术·2024-02-04 19:21

HDFS常用命令

将测试文件内容上传到文件系统上bin/hdfsdfs-putwc.input/user/anna/input查看上传的文件是否正确bin/hdfsdfs-cat/user/anna/input/wc.input运行mapreduce
须臾之北·2024-02-04 18:41

Redis核心技术与实战【学习笔记】 - 21.Redis实现分布式锁

但是，Redis属于分布式系统，当有多个客户端需要争抢锁时，我们必须保证，这把锁不能是某个客户端的本地锁。否则其他客户端是无法访问这把锁的。
陈建111·2024-02-04 16:11

alibabacloud学习笔记05（小滴课堂）

高并发下的微服务存在的问题高并发下的微服务容错方案介绍什么是分布式系统的流量防卫兵Sentinel微服务引入Sentinel和控制台搭建每个服务都加上这个依赖。
抹茶味的西瓜汁·2024-02-04 16:07

MapReduce执行过程

一：执行流程MapReduce存在以下4个独立的实体。
HenlyX·2024-02-04 15:12

redis分布式锁实现方法介绍

一、使用分布式锁要满足的几个条件：1、系统是一个分布式系统（关键是分布式，单机的可以使用ReentrantLock或者synchronized代码块来实现）2、共享资源（各个系统访问同一个资源，资源的载体可能是传统关系型数据库或者
爱喝马黛茶的安东尼·2024-02-04 14:00

大数据技术未来发展前景及趋势分析

Spark:Spark是一个兼容Hadoop数据源的内存数据处理平台，运行速度相比于HadoopMapReduce更快。
丨程序之道丨·2024-02-04 12:54

消息队列-RabbitMQ

比如在分布式系统中，将整个系统按业务进行拆分。分成不同的子系统，系统A负责往redis存数据，系统B从redis中取数据。两个系统借助redis进行协作。
小飞侠要上天·2024-02-04 09:39

Hadoop大数据实战系列文章之Hive

Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据可以将sql语句转换为MapReduce
测试帮日记·2024-02-04 05:45

分布式架构设计之CAP定理

「CAP定理」又被称为布鲁尔定理，它提出对于一个分布式系统而言，不能同时满足以下三点：Consisteny（一致性）Availability（可用性）Partitiontolerance（分区容错性）也就是说
JerryAi·2024-02-04 02:20

Fabric1.4.4 raft测试

如果一个分布式系统可以处理拜占庭故障，那么它就可以容忍任
蒋堪·2024-02-04 01:04

完整的 HTTP 请求所经历的步骤及分布式事务解决方案

1.对分布式事务的了解分布式事务是企业集成中的一个技术难点，也是每一个分布式系统架构中都会涉及到的一个东西，特别是在微服务架构中，几乎可以说是无法避免。首先要搞清楚：ACID、CAP、BASE理论。
YmovomY·2024-02-04 00:32

Kafka消息流转的挑战与对策：消息丢失与重复消费问题

消息丢失和重复消费时分布式系统重的常见问题，如果处理不好会对业务造成很大的影响。
超越不平凡·2024-02-04 00:26

Zabbix 介绍及部署：

zabbix是一个基于web界面的提供分布式系统监控以及网络监视功能的企业级的开源解决方案。zabbix由两部分构成，zabbixserver与可选组件zabbixagent。
努力转型的IT小王·2024-02-03 22:33

大数据环境搭建(一)-Hive

1hive介绍由Facebook开源的,用于解决海量结构化日志的数据统计的项目本质上是将HQL转化为MapReduce、Tez、Spark等程序Hive表的数据是HDFS上的目录和文件Hive元数据metastore
xfchn多多学习学习·2024-02-03 20:42

Hadoop框架下MapReduce中的map个数如何控制

一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为：一、将待处理的文件进行逻辑切片（根据处理数据文件的大小，划分多个split），然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下：1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
piziyang12138·2024-02-03 20:13

Hadoop MapReduce 各阶段理解

Hadoop的MapReduce是一个很经典的分布式并行计算框架，一直对各个阶段的具体含义有些模糊。花时间看了下stackoverflow上的理解，记录一下。
phusFuNs·2024-02-03 16:10

限流算法详解

但线上的业务出于各种原因考虑，多是分布式系统，单点的限流仅能保护自身节点，但无法保护应用依赖的各种服务，并且在进行节点
crazyK.·2024-02-03 14:42

常见的限流场景、限流算法、限流实现分析

前言限流是分布式系统中不可缺少的应对突发大流量的重要手段之一，能够让系统具有更好的弹性能力。
码拉松·2024-02-03 14:39

ZooKeeper应用-解决分布式系统单点故障

今天小编给大家分享一下：ZooKeeper应用--解决分布式系统单点故障1.单点故障问题什么是分布式系统中的单点故障：通常分布式系统采用主从模式，就是一个主控机连接多个处理节点。
架构师Javaspring·2024-02-03 13:25

浅谈Zookeeper及windows下详细安装步骤

1.Zookeeper介绍1.1分布式系统面临的问题分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统。
被Java暴击的星河·2024-02-03 12:04

浅谈分布式CAP定律、BASE理论

第一节分布式架构设计理论与Zookeeper环境搭建1.分布式架构设计理论学习Zookeeper之前,我们需要掌握一些分布式系统基础知识：了解分布式系统的概念、原理。
被Java暴击的星河·2024-02-03 12:33

【数据开发】pyspark入门与RDD编程

spark与pyspark的关系spark是一种计算引擎，类似于hadoop架构下mapreduce，与mapr
小哈里·2024-02-03 08:58

2024-02-01(Hive)

1.我们通过忘Hive中执行SQL语句，Hive会帮我们将SQL语句翻译成MapReduce在底层去做分布式的计算。2.Hive看似处理的是mysql的表，但实际上处理的是HDFS中的文本文件。
陈xr·2024-02-03 08:53

CAP原则、网络分区

升级版点这里CAP原则，也称为CAP定理，是在设计分布式系统时必须考虑的三个基本需求。1.一致性（Consistency）:在分布式系统中的所有数据备份，在同一时刻是否为同样的值。
LSYING1·2024-02-03 07:02

CAP原则、网络分区

简易版点这里：CAP原则，也称为CAP定理，是在设计分布式系统时必须考虑的三个基本需求。1.一致性（Consistency）:在分布式系统中的所有数据备份，在同一时刻是否为同样的值。
LSYING1·2024-02-03 07:02

【Springcloud篇】学习笔记四（九章）：Hystrix—服务降级、熔断、限流

第九章_Hystrix服务降级1.Hystrix简介1.1分布式系统面临的问题服务雪崩1.2Hystrix是什么1.3Hystrix能干嘛服务降级服务熔断接近实时的监控1.4官网资料官网资料：https
光久li·2024-02-03 06:31

分布式事务

分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不
冰河winner·2024-02-03 04:00

Hadoop生态圈-组件介绍

Hadoop的核心组件是HDFS、MapReduce。
苏尔伯特·2024-02-03 00:19

揭秘Sentinel背后的原理

在当今互联网时代，分布式系统的发展已经成为了不可逆转的趋势。然而，随着系统规模的不断扩大，面临的挑战也在不断增加。其中之一就是系统的稳定性和安全性。
m1chiru·2024-02-03 00:42

HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}

场景在Hadoop3.13的YARN上运行MapReduce报错信息终端界面提示FAILED:ExecutionError,returncode2fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask
小基基o_O·2024-02-02 23:10

Hadopp未授权访问导致RCE

它基于Google的MapReduce算法和GoogleFileSystem（GFS）的论文，旨在提供一个可靠、可扩展、分布式存储和处理大规模数据的解决方案。
安鸾彭于晏·2024-02-02 22:27

使用Java实现基于HTTP的分布式系统：让你的应用“四处开花”

在数字世界里，分布式系统就像是一个大家庭，每个成员（即节点）都有自己的任务和职责，共同维护整个家庭的运转。
华科℡云·2024-02-02 19:08

eureka 和zookeeper 区别 优势

作为服务注册中心，Eureka比Zookeeper好在哪里著名的CAP理论指出，一个分布式系统不可能同时满足C(一致性)、A(可用性)和P(分区容错性)。
音乐与咖啡Bean·2024-02-02 18:43

分布式系统（DS） -- 详解

本文不涉及…1.为什么会有分布式系统（distributedsystem，ds）参考链接–漫谈大数据1.1了解传统系统1.1.1了解计算分布式化刚开始面临一个词法分析的需求，把一个几十K的文件解析下，然后生成一个词频分析的报告
LtMamba·2024-02-02 18:23

Docker学习之搭建ActiveMQ消息服务

在生产项目中，很多时候需要消息中间件来进行分布式系统间的通信。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能。本篇主要介绍A
Java大生·2024-02-02 16:41

Hadoop原理

Hadoop框架分布式文件存储-HDFS即Hadoop内提供分布式数据存储的文件系统分布式计算框架-MapReduce即Hadoop内提供的进行分布式计算的组件分布式资源调度-YARN即Hadoop内提供的进行分布式资源调度的组件
我走之後·2024-02-02 14:25

大数据技术之Hive

3.大数据体系中充斥着非常多的统计分析场景，使用SQL去处理数据，在大数据中是有极大的需求的4.不过MapReduce支持程序开发（Java、Python等），但不支持SQL直接进行开发，所以，我们要用到
我走之後·2024-02-02 14:55

PySpark（一）Spark原理介绍、PySpark初体验及原理

SparkVSHadoop尽管Spark相对于Hadoop而言具有较大优势，但Spark并不能完全替代Hadoop在计算层面，Spark相比较MR（MapReduce）有巨大的性能优势，但至今仍有许多计算工具基于
独憩·2024-02-02 13:11

分布式服务架构精讲pdf文档：原理+设计+实战，（收藏再看）

前言如果你期待对分布式系统有一个更全面的认识，想要了解各个技术在分布式系统中如何应用、分别解决哪些问题、有怎样优秀的实现，推荐阅读、收藏本篇。
java高并发·2024-02-02 11:26

MongoDB聚合操作

常用的管道聚合阶段聚合表达式数据准备$project$match$count$groupaccumulator操作符$unwind$limit$skip$sort$lookup案例聚合操作案例1聚合操作案例2MapReduce
野心与梦·2024-02-02 08:01

记录一下我们最近在压测过程中调优的过程

一、项目背景先说下项目背景，我们要为某个项目组开发一个联机交易平台，联机交易在金融业是比较常见的概念，实际上就是分布式系统调度，只是对每一个微服务是有规范的。
hbnn111·2024-02-02 08:12

Hadoop3.x基础（3）- MapReduce

来源:B站尚硅谷目录MapReduce概述MapReduce定义MapReduce优缺点优点缺点MapReduce核心思想MapReduce进程常用数据序列化类型MapReduce编程规范WordCount
魅美·2024-02-02 07:45

消息队列的应用场景

消息队列的应用场景消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题实现高性能，高可用，可伸缩和最终一致性架构使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ
hjc_042043·2024-02-02 06:10

消息模型与生成pdf

今日内容消息中间件RabbitMQ五种消息模型SpringAMQP生产pdfJaspersoftStudio第一章消息中间件(面试)消息队列中间件是分布式系统中重要的组件，主要解决异步消息，应用解耦，流量削峰等问题
Mr.YHL·2024-02-02 06:20

Spring Cloud 整体架构概览

什么是SpringCloud目标协调任何服务，简化分布式系统开发。
春风野马wuhu·2024-02-02 02:17

SpringCloud整体架构概览

SpringCloud整体架构概览MacroZheng什么是SpringCloud目标协调任何服务，简化分布式系统开发。
Dashesand·2024-02-02 02:47

大数据处理技术作业——使用HBase&MongoDB&MapReduce进行数据存储和管理

前言写这篇文章的目的，主要是为了记录一下这次作业历程，并且笔者了解到很多同志饱受作业折磨，遂简单分享一下个人完成作业的历程，以下内容仅为本人的一些乱七八糟的想法，仅作参考O(∩_∩)O作业要求1、本作业的链接【完成本次作业用到的代码文件，列出网盘链接，https://pan.baidu.com/xxx】2、数据来源及概述【1．列出数据的下载链接，或者说明数据的采集方法。2．概述数据的背景与内容。3
Daniel Muei·2024-02-02 02:31
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他