hadoop分布式系统

分布式系统架构4：容错设计模式

这是小卷对分布式系统架构学习的第4篇文章，虽然知道大家都不喜欢看纯技术文章，写了也没多少阅读量，但是为了个人要成长，小卷最近每天都会更新分布式的文章1.概念容错策略，指的是“面对故障，我们该做些什么”；
卷福同学·2025-01-17 22:50

Java 内存锁的实现方式、性能比较及使用场景分析

为了更好地解决分布式系统中的并发问题，我们可以将这些锁实现方式封装成一个基础的服务，并根据需要在不同的场景下使用它们。本文将讨论Java内存锁的实现方式、性能比较及其适用场景，同时介绍如
nbsaas-boot·2025-01-17 21:13

案例分享｜快速了解实时湖仓集一体技术如何助力企业降本增效

1.替代TD仓、Hadoop湖，助力农商行构建一体化数据平台某农商行最初构建了Teradata数据仓库、Oracle小数据平台以及Hadoop数据湖。
·2025-01-17 20:42

云计算技术深度解析与代码实践

它通过网络将软硬件资源整合成一个高效的分布式系统，实现了数据的可靠存储和高效处理。本文将深入探讨云计算的技术特点、应用场景，并通过具体的代码使用案例展示如何在云平台上实现一个基本的应用程序。
我的运维人生·2025-01-17 19:27

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

把复杂问题简单化5、屏蔽原始数据的(影响)，屏蔽业务的影响ETL操作1、数据抽取2、数据清洗3、数据转换4、数据加载数据中台包含的内容很多，对应到具体工作中的话，它可以包含下面的这些内容：系统架构：以Hadoop
_Jordan·2025-01-17 16:56

分布式系统架构5：限流设计模式

分布式系统架构5：限流设计模式这是小卷对分布式系统架构学习的第5篇文章，今天来学习限流器和限流设计模式1.为什么要限流？
·2025-01-17 14:40

分布式系统架构4：容错设计模式

这是小卷对分布式系统架构学习的第4篇文章，虽然知道大家都不喜欢看纯技术文章，写了也没多少阅读量，但是为了个人要成长，小卷最近每天都会更新分布式的文章1.概念容错策略，指的是“面对故障，我们该做些什么”；
·2025-01-17 14:39

分布式系统架构3：服务容错

这是小卷对分布式系统架构学习的第3篇文章，虽然知道大家都不喜欢看纯技术文章，写了也没多少阅读量，但是个人要成长的话，还是需要往深一点的技术上去探索的1.为什么需要容错分布式系统的本质是不可靠的，一个大的服务集群中
·2025-01-17 14:38

深入HDFS——DataNode启动源码

首先，自然还是从元数据管理篇提到的DataNode类（org.apache.hadoop.hdfs.server.datanode.DataNode）开始。
黄雪超·2025-01-17 12:26

深入HDFS——NameNode启动源码

首先还是得从我们的前一篇提到过的NameNode类（org.apache.hadoop.hdfs.server.namenode.NameNode）开始，既然是看启动流程，那自然是先找类里面的main方法啦
黄雪超·2025-01-17 12:25

【YashanDB知识库】原生mysql驱动配置连接崖山数据库

【问题分类】功能兼容【关键字】YAS-07202、YAS\_MYERROR，不兼容【问题描述】本项目的架构是hadoop+hive+yashandb使用崖山数据库，将mysql相关的创建表语句进行初始化同步使用崖山
·2025-01-17 10:58

Spring Boot 和微服务：快速入门指南

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-17 09:56

Mysql，Redis数据一致性问题

引发数据不一致的原因在分布式系统中，数据不一致性通常是由于操作时序问题、系统故障、网络延迟或设计缺陷引起的。MySQL和Redis是两个独立的系统，在同时使用它们时，可能会出现数据不一致的情况。
MoLick_zxy·2025-01-17 09:55

chubby 是什么，和 zookeeper 比你怎么看？思维导图 代码示例（java 架构)

Chubby的设计初衷是为了满足Google内部对分布式系统中一致性和高可用性的需求。它不仅用于提供分布式锁，还被用来做命名服务、配置管理、健康检查等。
用心去追梦·2025-01-17 05:51

ZAB 和 Paxos 算法的联系与区别？思维导图 代码示例（java 架构)

ZAB和Paxos算法的联系与区别ZAB(ZooKeeperAtomicBroadcast)和Paxos都是用于分布式系统中达成共识的算法，但它们在设计目标、应用场景以及实现细节上存在显著差异。
用心去追梦·2025-01-17 05:51

Zookeeper 的典型应用场景？思维导图 代码示例（java 架构)

2.命名服务描述：为分布式系统中的组件提供统一的名称注册和查找机制。优点：
用心去追梦·2025-01-17 05:51

分布式集群中为什么会有 Master？思维导图 代码示例（java 架构)

以下是为什么需要Master节点的原因：为什么需要Master节点一致性：在分布式系统中，多个节点可能同时尝试更新相同的数据，这会导致数据不一致。Master节点可以
用心去追梦·2025-01-17 05:20

Redis的缓存雪崩、缓存穿透、缓存击穿

缓存雪崩、缓存穿透与缓存击穿详解及解决方案️在现代分布式系统中，缓存（如Redis）作为提升系统性能和减轻数据库压力的重要组件，被广泛应用。
·2025-01-17 04:56

中间件以及主流中间件产品:IBM MQSeries和BEA Tuxedo介绍

中间件简介中间件（Middleware）是一类位于操作系统和应用程序之间的软件层，负责提供通用服务，简化分布式系统开发和集成。
CoderIsArt·2025-01-17 03:05

RabbitMQ，RocketMQ，Kafka 事务性，消息丢失，消息顺序性和消息重复发送的处理策略

消息队列常见问题处理分布式事务什么是分布式事务我们的服务器从单机发展到拥有多台机器的分布式系统，各个系统之前需要借助于网络进行通信，原有单机中相对可靠的方法调用以及进程间通信方式已经没有办法使用，同时网络环境也是不稳定的
90后小伙追梦之路·2025-01-17 01:48

【YashanDB知识库】Hive 命令工具insert崖山数据库报错

【问题分类】功能兼容【关键字】spark30041、不兼容【问题描述】本项目的架构是hadoop+hive+yashandb使用崖山数据库，初始化所有的原数据表和数据新建表之后，插入数据时候报错，hadoopcode30041
·2025-01-17 00:46

初学者如何用 Python 写第一个爬虫？

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-16 23:27

JAVA：Spring Boot 集成 JWT 实现身份验证的技术指南

为了确保用户的身份，JSONWebToken（JWT）作为一种轻量级且无状态的身份验证方案，广泛应用于微服务和分布式系统中。
拾荒的小海螺·2025-01-16 21:43

如何解决缓存击穿、缓存穿透、缓存雪崩？

缓存击穿、缓存穿透和缓存雪崩是分布式系统中常见的缓存问题，每个问题的原因和解决方法有所不同。
·2025-01-16 18:04

大数据学习笔记——zookeeper在hadoop集群中的作用

zookeeper主要是用来搭建高可用的Hadoop集群，即HighAvailability，简称(HA)测试中集群是可以不需要高可用的，即使用一个namenode即可。
鹅鹅鹅呢·2025-01-16 17:08

应急救援路径规划中的蚁群算法与路径评价研究【附代码】

数据分析与模型构建|数据驱动决策✨专业领域：数据挖掘与清洗大数据处理与存储技术机器学习与深度学习模型数据可视化与报告生成分布式计算与云计算数据安全与隐私保护擅长工具：Python/R/Matlab数据分析与建模Hadoop
拉勾科研工作室·2025-01-16 17:36

解决MySQL与Redis缓存一致性的问题

解决MySQL与Redis缓存一致性问题的策略在分布式系统中，MySQL数据库与Redis缓存的配合是常见的设计模式，尤其在高并发场景下，通过缓存来减轻数据库压力。
·2025-01-16 16:03

事物的传播行为

在分布式系统中，事务的传播行为（TransactionPropagation）指的是在不同的事务上下文中如何处理事务的传播方式。
·2025-01-16 16:54

浅谈MapReduce

从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。
Android路上的人·2024-09-16 04:40

Hadoop

ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。
傲雪凌霜，松柏长青·2024-09-16 00:16

Hadoop架构

一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
henan程序媛·2024-09-16 00:14

分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT)

作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
计算机源码社·2024-09-15 20:02

Dubbo架构概览：服务注册与发现、远程调用、监控与管理

Dubbo是一个成熟的、高性能的、基于Java的微服务开发框架，它主要用于解决分布式系统中的服务治理问题，包括服务的注册与发现、远程过程调用（RPC）、服务监控与管理等多个关键环节。
木南曌·2024-09-15 16:39

hbase介绍

hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用
CrazyL-·2024-09-15 13:06

大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能

做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
2401_84572577·2024-09-15 10:20

等保测评中的关键技术挑战与应对策略

一、等保测评中的关键技术挑战1.复杂系统架构的评估难度随着信息技术的快速发展，企业信息系统的架构日益复杂，包括分布式系统、微服务架构、云计算环境等。
亿林数据·2024-09-15 06:55

系统架构师软考历年论文题目（2009-2024年）及分析

的软件架构设计与应用；2.论信息系统建模方法；3.论基于REST服务的Web应用系统设计；4.论软件可靠性设计与应用20101.论软件的静态演化和动态演化及其应用；2.论数据挖掘技术的应用；3.论大规模分布式系统缓存设计策略
pccai-vip·2024-09-15 05:49

深入解析 Dubbo 的 attachments 机制及其应用场景

背景在分布式系统中，服务之间的调用（RPC调用）是非常常见的。而在这种服务调用过程中，常常需要在不同服务之间传递一些上下文信息，比如用户身份信息、请求追踪ID、客户端IP等。
molashaonian·2024-09-15 05:18

Spark集群的三种模式

文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式
MelodyYN·2024-09-15 01:16

Nacos 与 Eureka 的区别

随着微服务架构的流行，服务发现成为了构建分布式系统的关键技术之一。在众多服务发现工具中，Nacos和Eureka是两个非常受欢迎的选择。
litGrey·2024-09-15 00:10

月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线

申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop
「已注销」·2024-09-14 23:30

HBase介绍

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
mingyu1016·2024-09-14 21:47

Java中的大数据处理框架对比分析

本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
省赚客app开发者·2024-09-14 20:41

项目内部调用的远程接口开发

编写一个项目内部调用的远程接口通常是为了在分布式系统或者微服务架构中，实现各个服务之间的通信和数据交换。这样的远程接口专门用于服务之间的调用，而不是直接暴露给外部用户或前端。
cyt涛·2024-09-14 18:55

Hadoop windows intelij 跑 MR WordCount

一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9Hadoop分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven
piziyang12138·2024-09-14 12:33

导购返利系统的分布式事务管理

1.分布式事务的挑战在分布式系统中，事务通常涉及多个服务或数据库，这给事务的一致性和可靠性带
wx_tangjinjinwx·2024-09-14 10:34

Arch - 演进中的架构

文章目录Pre原始分布式时代1.背景与起源2.分布式系统的初步探索3.分布式计算环境（DCE）4.技术挑战与困境5.原始分布式时代的失败与教训6.未来展望单体时代优势缺陷单体架构与微服务架构的关系总结SOA
小小工匠·2024-09-14 08:26

区块链如何大规模落地？

区块链作为一个去中心化技术，自然也受到类似于分布式系统的CAP定律的制约。CAP
西门锤靴·2024-09-14 05:18

Hadoop学习第三课（HDFS架构--读、写流程）

1010ml，瓶子的规格200ml=>需要6个瓶子装完块的大小规格，只要是需要存储，哪怕一点点，也是要占用一个块的块大小的参数：dfs.blocksize官方默认的大小为128M官网：https://hadoop.apache.org
小小程序员呀~·2024-09-14 03:53

hadoop启动HDFS命令

启动命令：/hadoop/sbin/start-dfs.sh停止命令：/hadoop/sbin/stop-dfs.sh
m0_67401228·2024-09-14 03:49
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他