Hadoop分布式第17页

Java架构师之路四、分布式系统：分布式架构、分布式数据存储、分布式事务、分布式锁、分布式缓存、分布式消息中间件、分布式存储等。

目录分布式架构：分布式数据存储：分布式事务：分布式锁：分布式缓存：分布式消息中间件：分布式存储：Java架构师之路三、网络通信：TCP/IP协议、HTTP协议、RESTfulAPI、WebSocket、

述清-架构师之路·2024-02-27 01:09

分布式场景怎么Join，一文讲解

考虑到我的领域是在处理分库分表或者其他的分区模式，这让我开始不由得联想我们怎么在分布式场景应用这个Join逻辑，对于两个不同库里面的不同表我们是没有办法直接进行Join操作的。

吃胖点儿·2024-02-26 23:07

Jmeter分布式测试必踩坑，全部帮你排雷

在jmeter分布式环境部署上，有很同学都遇到了不少问题，就算是看过安装教程，也会在实际操作的时候一脸懵，经常的状态是就是：眼睛会了手不会。所以我们把大家容易出问题的地方总结出来，一起来看看吧！

测试界媛姐·2024-02-26 23:36

Raft 算法、分布式 KV 面试汇总

本文选自《从零实现分布式KV》课程的加餐文章。

·2024-02-26 14:59

Xline v0.6.1: 一个用于元数据管理的分布式KV存储

Xline是一个基于Curp协议的，用于管理元数据的分布式KV存储。现有的分布式KV存储大多采用Raft共识协议，需要两次RTT才能完成一次请求。

·2024-02-26 14:57

git的下载、安装和配置

git是分布式管理工具，详细使用可查询相关资料，本文主要描述git的安装以及配置。

南木是南木·2024-02-26 13:01

Kafka入门介绍一

介绍Kafka是一个分布式系统，由服务器和客户端组成，通过高性能TCP网络协议进行通信。它可以部署在本地和云中的裸机硬件、虚拟机和容器上环境。

吴代庄·2024-02-26 07:49

Java面试八股文

OSIvsTCPIP模型2.Java面渣逆袭必看，面试题八股文Java基础、Java集合框架、Java并发编程、JVM、Spring、Redis、MyBatis、MySQL、操作系统、计算机网络、RocketMQ、分布式

翁正存·2024-02-26 05:16

Zookeeper实现分布式锁

Zookeeper实现分布式锁案例在分布式场景下，单机的锁已经无法实现对并发的控制，我们需要专门用分布式锁来在分布式环境下实现对多个进程能够有序的访问资源。

正在绘制中·2024-02-25 23:35

分布式理论

p指分区容忍性具体是指“当部分节点出现消息丢失或者分区故障的时候，分布式系统仍然能够继续运行”，即系统容忍网络出现分区，并且在遇到某节点或网络分区之间网络不可达

背帆·2024-02-25 12:52

【Git-Exception】Git报错：fatal: unable to auto-detect email address

Git是一种分布式版本控制系统，它被广泛使用于软件开发和其他版本控制任务。

·2024-02-25 03:06

Jmeter性能实战之分布式压测

分布式执行原理1、JMeter分布式测试时，选择其中一台作为调度机(master)，其它机器作为执行机(slave)。

咖啡加剁椒。·2024-02-24 16:57

SpringCloud 面试题

2、分布式：专业的事情交给专业的人去做，尽量降低耦合度（就是说每个模块是不受影响的），一个模块你只做一件小事情。3、微服务：微服务化的核心就是将传统的一站式应用,根据业务拆

予她清酒°·2024-02-24 08:24

Eureka/Zookeeper/Nacos实现注册中心区别

Availability（可用性）Partitiontolerance（分区容错性）必然存在在我们集群中，如果某个服务器宕机（故障）：保证数据一致性：一致性(CP)保证服务可用性：可用性AP这个定理的内容是指的是在一个分布式系统中

超级码里喵·2024-02-24 08:24

读TiDB源码聊设计：浅析HTAP的SQL优化器

1.引子如果让你做一个分布式数据库的优化器，面对以下的SQL，你会想到什么好的方法去执行他们呢？

·2024-02-24 03:52

Redis缓存一致性问题(自用记录)

由于现在的系统大多是分布式的，高并发的，redis和传统的数据库，存在数据不一致的问题。

小羊咩恩·2024-02-24 01:16

面试前端性能优化八股文十问十答第一期

⭐1）CDN的概念CDN（ContentDeliveryNetwork，内容分发网络）是一种分布式的网络架构，旨在提高网站内容传输的效率和性能。

程序员小白条·2024-02-23 20:10

JavaWeb之分布式事务规范

J2EE包括了两套规范用来支持分布式事务：一种是JavaTranscationAPI(JTA)，一种是JavaTranscationService(JTS)JTA是一种高层的、与实现无关的、与协议无关的标准

·2024-02-23 15:45

[AIGC] Kafka 消费者的实现原理

每个消费者都属于一个消费者组，消费者组中的多个消费者可以共同消费一个主题，实现分布式消费。每个消费者都会维护自己的偏移量，用于记录已经读取到的消息位置。

程序员三木·2024-02-23 07:24

大数据计算技术秘史（上篇）

单机系统无法存储如此之多的数据，先是过渡到了分库分表这类伪分布式技

·2024-02-22 20:33

flink如何利用checkpoint保证数据状态一致性

flink数据状态一致性1状态一致性级别1.1AT-MOST-ONCE(最多一次)：1.2AT-LEAST-ONCE(至少一次)：1.3EXACTLY-ONCE(精确一次)：1.4分布式快照与至少一次事件传递和重复数据删除的比较

Direction_Wind·2024-02-22 17:37

spring-cloud 使用初谈（一）--服务注册、负载均衡以及断路器

spring-cloud基于spring-boot，spring-boot跟传统的spring项目的区别的就是精简配置‘搭建的框架’更轻便，上手更快2.spring-cloud跟传统项目的区别是前者是分布式后者是单体架构

程序员ken·2024-02-20 23:58

Spring Cloud Neflix Hystrix应用实战详解

Hystrix实战OpenFeign整合Hystrix通常在复杂的分布式系统都存在不同服务之间的调用，OpenFeign作为SpringCloud的远程调用工具默认是已经集成了Hystrix。

NullzzZ·2024-02-20 22:35

基于Docker搭建hdfs分布式实验环境

理论知识DockerDocker是一个开源的应用容器引擎，基于Go语言并遵从Apache2.0协议开源。Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口，容器性能开销极低。Docker能够将应用程序与基础架构分开，从而可以快速交付软件。借助Docker，开发者可以与管

dejiedoor·2024-02-20 22:38

docker搭建hadoop hdfs完全分布式集群

1制作hadoop镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。

shangcunshanfu·2024-02-20 22:08

基于docker安装HDFS

1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/hadoop:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau

core512·2024-02-20 22:02

分布式调出单/分布式调入单打开列表没有数据

文章目录分布式调出单/分布式调入单打开列表没有数据分布式调出单/分布式调入单打开列表没有数据分布式调出单/分布式调入单打开列表没有数据，多组织已勾选，销售出库单下查可以查到分布式调出单/分布式调入单是有数据的原因

懒人咖·2024-02-20 22:22

金蝶云星空分步式调出单无法反审核

文章目录金蝶云星空分步式调出单无法反审核金蝶云星空分步式调出单无法反审核解决方案：分布式调出单/分布式调入单不需要人工操作反审核，反审核销售出库单，自动就会撤销了。

懒人咖·2024-02-20 22:22

Doris ——SQL原理解析

2.3逻辑计划2.4物理计划三、DorisSQL解析的总体架构四、Parse阶段五、Analyze阶段六、SinglePlan阶段（生成单机逻辑Plan阶段）七、DistributedPlan计划（生成分布式逻辑阶段

爱吃辣条byte·2024-02-20 22:14

带入gRPC：分布式链路追踪 gRPC-Opentracing-Zipkin

带入gRPC：分布式链路追踪gRPC+Opentracing+Zipkin原文地址：带入gRPC：分布式链路追踪gRPC+Opentracing+Zipkin项目地址：https://github.com

weixin_34007020·2024-02-20 21:15

grpc了解

grpc是由google开发的一款语言中立、平台中立、开源的RPC系统在grpc中客户端应用可以像调用本地对象一样直接调用另一台不同机器上服务端应用的方法，使得很容易创建分布式应用和服务。

动态一时爽，重构火葬场·2024-02-20 21:43

Redis --- 高级篇

前言：本文问Redis分布式缓存介绍，想要了解其他资源，可以点击昂焱数据（www.ayshuju.com）一、Redis持久化1.1RDB持久化RDB全称RedisDatabaseBackupfile（

大迂居士·2024-02-20 21:08

Redis-面试题

一、基础1、什么是RedisC语言编写，基于key-value存储的nosql开源内存数据库内存存储、数据结构优化，高性能一般用于应用和数据库之间的分布式缓存中间件提供主从复制+哨兵、集群的方式实现高可用

HBryce24·2024-02-20 21:06

数据检索：倒排索引加速、top-k和k最邻近

singleDoc#《Elasticsearch:非结构化的数据搜索》我们看了ES的设计，主要侧重于它分布式的设计以及LSM-Tree，今天我们来关注算法部分：如何进行检索算法的设计以及如何加速倒排索引

SakamataZ·2024-02-20 20:21

2PC/3PC到底是啥

讨论2PC/3PC并不是严格意义上的一致性协议，很少被用在处理一致性上；但另一方面又经常看到2PC/3PC和分布式事务放在一起讨论，并且大部分的关系型数据库通过两阶段提交（2PhaseCommit2PC

woshishui1243·2024-02-20 20:50

hive 的map数和reduce如何确定

的文件大小，集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)；2.举例：a)假设input目录下有1个文件a,大小为780M,那么hadoop

Super乐·2024-02-20 20:38

Spring Cloud Alibaba

此项目包含开发分布式应用服务的必需组件，方便开发者通过SpringCloud编程模型轻松使用这些组件来开发分布式应用服务。

杨健kimyeung·2024-02-20 20:53

(17)Hive ——MR任务的map与reduce个数由什么决定？

MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言，对于每一个输入的文件会有一个mapsplit，每一个分片会开启一个map任务，很容易导致小文件问题（如果不进行小文件合并，极可能导致Hadoop

爱吃辣条byte·2024-02-20 20:27

清华架构师整理分布式系统文档：从实现原理到系统实现，收藏吧

微服务、云原生、Kubernetes、ServiceMesh是分布式领域的热点技术，它们并不是凭空出现的，一定继承了某些“前辈”的优点。

java架构师联盟·2024-02-20 20:40

【LeetCode+JavaGuide打卡】Day03| 203.移除链表元素、707.设计链表、206.反转链表

学习目标：203.移除链表元素707.设计链表206.反转链表分布式常见面试题(下)学习内容：203.移除链表元素题目链接&&文章讲解给你一个链表的头节点head和一个整数val，请你删除链表中所有满足

WhoAmI\·2024-02-20 20:48

【LeetCode+JavaGuide打卡】Day02| 977.有序数组的平方、209.长度最小的子数组、59.螺旋矩阵II

学习目标：977.有序数组的平方209.长度最小的子数组59.螺旋矩阵II分布式常见面试题(上)学习内容：977.有序数组的平方题目链接&&文章讲解给你一个按非递减顺序排序的整数数组nums，返回每个数字的平方组成的新数组

WhoAmI\·2024-02-20 20:47

美团面试：Kafka如何处理百万级消息队列？

特别是在消息队列领域，ApacheKafka作为一个分布式流处理平台，因其高吞吐量、可扩展性、容错性以及低延迟的特性而广受欢迎。

·2024-02-20 20:07

Java使用Documents4j实现Word转PDF(知识点+案例)

涵盖技术内容：Java后端、算法、分布式微服务、中间件、前端、运维、

长路 ㅤ ·2024-02-20 19:00

Hadoop生态圈

是数据分析数据引擎，也是MapReduce模型，支持SQL4.Pig也是一个数据分析引擎，不支持SQL，有自己的PigLatin数据5.Sqoop是数据采集工具，针对关系数据库6.Flume是针对文件等数据的采集7.Hadoop

陈超Terry的技术屋·2024-02-20 19:47

16.用Hadoop命令向CDH集群提交MR作业

Redhat7.2非Kerberos集群CDH5.13，OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的，因为使用hadoop

大勇任卷舒·2024-02-20 19:27

程序员们的三高：高并发、高性能、高可用！

01高并发1.1简介高并发（HighConcurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。

技术灭霸·2024-02-20 19:18

极狐GitLab Geo 主从多活架构

基本原理极狐GitLabGeo是极狐GitLab的一项功能，允许您通过创建地理分布式只读镜像实例（称为“Geo节点/从节点”）来提高性能和可用性，或用做数据热备份，且支持一主多从。

极小狐·2024-02-20 19:28

[4G+5G专题-133]: 部署 - 4G/5G常见的室内部署方案

/HiWangWenBing/article/details/121554032目录第1章概述第2章用室外宏基站进行覆盖室内2.1什么是宏基站2.2宏基站的室内覆盖场景2.3宏基站室内覆盖的不足第3章分布式天线系统

文火冰糖的硅基工坊·2024-02-20 19:54

【YARN】【Apache Hadoop YARN】【架构】

ThefundamentalideaofYARNistosplitupthefunctionalitiesofresourcemanagementandjobscheduling/monitoringintoseparatedaemons.TheideaistohaveaglobalResourceManager(RM)andper-applicationApplicationMaster(AM)

资源存储库·2024-02-20 18:48

Elasticsearch基础知识与架构概述

1.背景介绍Elasticsearch是一个基于分布式搜索和分析引擎，它可以处理大量数据并提供实时搜索功能。

禅与计算机程序设计艺术·2024-02-20 18:17

推荐频道

Hadoop分布式