分布式系统_spark

zookeeper 分布式锁的实现

为什么要用分布式锁MartinKleppmann是英国剑桥大学的分布式系统的研究员，之前和Redis之父Antirez进行过关于RedLock(红锁，后续有讲到)是否安全的激烈讨论。
Java架构师成长之路·2024-02-14 03:31

一文彻底搞懂Redis的三种集群模式

所谓的高可用，也叫HA（HighAvailability），是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。如果在实际生产中，如
澡澡洗澡澡·2024-02-13 22:24

为什么要用Dubbo

就这样为分布式系统的服务治理框架就出现了，Dubbo也就这样产生了。2、Dubbo的整体架构设计有哪些分层?接口服务层（
资深程序员·2024-02-13 20:01

Spark Authorizer支持最新版本Spark 2.3.0

今天Spark社区为大家带来了最新的Spark2.3.0SparkRelease2.3.0ApacheSpark2.3.0isthefourthreleaseinthe2.xline.ThisreleaseaddssupportforContinuousProcessinginStructuredStreamingalongwithabrandnewKubernetesSchedulerbacke
Kent_Yao·2024-02-13 20:52

解密 ARMS 持续剖析：如何用一个全新视角洞察应用的性能瓶颈？

尽管经过过去十几年的发展，分布式系统与之对应的可观测技术快速演进，在一定程度上解决了很多问题，但有一些问题定位起来仍
·2024-02-13 15:18

来吧，展示！Redis的分布式锁及其实现Redisson的全过程

前言分布式锁是控制分布式系统之间同步访问共享资源的一种方式。在分布式系统中，常常需要协调他们的动作。
前程有光·2024-02-13 14:14

大数据处理为何选择Spark，而不是Hadoop

一.基础知识1.SparkSpark是一个用来实现快速而通用的集群计算的平台。在速度方面，Spark扩展了广泛使用的MapReduce计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。
嘿嘿海海·2024-02-13 14:00

Redis分布式锁

Redis分布式锁是一种在分布式系统中协调多个进程对共享资源访问的机制。在Redis中实现分布式锁主要依赖于几个关键的操作原子性。
辞暮尔尔-烟火年年·2024-02-13 07:26

Spark编程实验五：Spark Structured Streaming编程

目录一、目的与要求二、实验内容三、实验步骤1、Syslog介绍2、通过Socket传送Syslog到Spark3、Syslog日志拆分为DateFrame4、对Syslog进行查询四、结果分析与实验体会一
Francek Chen·2024-02-13 05:49

AWS入门指南之一：怎样创建免费的AWS账号

这其中会穿插于介绍一些云和分布式系统的知识，但是以AWS的实现为主。可能会带有少量的代码，但是主体操作应该会使用AWSConsole和AWSCLI来完成。
书香门第·2024-02-13 03:52

通过写代码学习AWS DynamoDB（1）

DDB的实现应用了非常多的分布式系统的技术，例如SHARD，eventualconsistency，consistencyHash等。
书香门第·2024-02-13 03:22

Apache Ignite 使用SQL模式

作为SQL数据库，Ignite支持所有DML命令，包括SELECT、UPDATE、INSERT和DELETE查询，并且还实现了与分布式系统相关的DDL命令子集。
wank1259162·2024-02-13 03:21

Spark(三十五)troubleshooting之错误的持久化方式以及checkpoint的使用

一、背景错误的持久化使用方式：usersRDD，想要对这个RDD做一个cache，希望能够在后面多次使用这个RDD的时候，不用反复重新计算RDD；可以直接使用通过各个节点上的executor的BlockManager管理的内存/磁盘上的数据，避免重新反复计算RDD。usersRDD.cache()usersRDD.count()usersRDD.take()上面这种方式，不要说会不会生效了，实际上
文子轩·2024-02-13 02:26

Java从入门到精通

掌握Java语言本身、Java核心开发技术以及Java标准库的使用；2、如果继续学习JavaEE，那么Spring框架、数据库开发、分布式架构就是需要学习的；3、如果要学习大数据开发，那么Hadoop、Spark
nightluo·2024-02-13 01:52

数据清洗

importorg.apache.spark.sql.SparkSessionobjectDataCleaning{defmain(args:Array[String]):Unit={valspark=
扣篮的左手·2024-02-12 23:46

分布式环境下，互斥性与幂等性问题，分析与解决思路

传统的集中式系统已经逐渐无法满足要求，分布式系统被使用在更多的场景中。分布式系统由独立的服务器通过网络松散耦合组成。在这个系统中每个服务器都是一台独立的主机，服务器之间通过
life_niu·2024-02-12 20:23

C#系列-C#EF框架实现雪花主键（20）

雪花主键（SnowflakeID）是一种在分布式系统中生成唯一ID的算法，它通常是由Twitter的雪花算法演变而来。
管理大亨·2024-02-12 19:04

【解决方案】pyspark 初次连接mongo 时报错Class not found exception:com.mongodb.spark.sql.DefaultSource

部分报错如下：Traceback(mostrecentcalllast):   File"/home/cisco/spark-mongo-test.py",line7,in    df=spark.read.format
能白话的程序员♫·2024-02-12 19:33

Spark - 动态注册UDF

>昨天有位大哥问小弟一个Spark问题，他们想在不停Spark程序的情况下动态更新UDF的逻辑，他一问我这个问题的时候，本猪心里一惊，Spark**还能这么玩?
kikiki5·2024-02-12 19:01

性价比满满的大显存甜点卡，Sparkle（撼与科技）Intel Arc A770 TIT

●前言一直以来，2000元左右价位的独立显卡总是被玩家们称为“甜点级”显卡，因为这个价位段的显卡有着不俗的性能，游戏和生产力都能兼顾，而且不算太贵的定价也是能够让大众所接受，整体算下来还是很有性价比的。然而，在众多的甜点级显卡当中，除了N、A两家的甜点级显卡之外，前些年入局独显的英特尔也是有对应的产品可选，比如A770以及A750就有着优于同价位竞品的性能以及更低的售价，性价比尤为突出。作为英特尔
焦点易讯·2024-02-12 18:08

28、Spark核心编程之高级编程之二次排序

需求按照文件中的第一列排序。如果第一列相同，则按照第二列排序。文件内容2536241315Java实现自定义的二次排序key/***自定义的二次排序key*/publicclassSecondarySortKeyimplementsOrdered,Serializable{//首先在自定义key里面，定义需要进行排序的列privateintfirst;privateintsecond;public
ZFH__ZJ·2024-02-12 17:33

Hadoop分布式系统架构-MapReduce-02

1、MapReduce介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce负责“合”，即对map阶段的结果进行全局汇总。MapRedu
一直上上签X·2024-02-12 16:41

大数据视频教程百度网盘下载

同时，人们又试图用深度学习这样新的思路去解决过去MapReduce和Spark已经解决的问题，这也意味着大数据技术开始进入3.0时代。在这个全新阶段，可以看到整个市场上已经可以提
QFdongdong·2024-02-12 16:42

Hbase - 自定义Rowkey规则

中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark
大猪大猪·2024-02-12 15:45

分布式计算入门

分布式计算是一门计算机科学，主要研究分布式系统。一个分布式系统包括若干通过网络互联的计算机。这些计算机互相配合以完成一个共同的目标（我们
xmvip01·2024-02-12 15:15

一文详解 Java 限流接口实现

在分布式系统中，高并发场景下，为了防止系统因突
阿里技术·2024-02-12 15:01

Spark MLlib

目录一、SparkMLlib简介（一）什么是机器学习（二）基于大数据的机器学习（三）Spark机器学习库MLlib二、机器学习流水线（一）机器学习流水线概念（二）流水线工作过程（三）构建一个机器学习流水线三
Francek Chen·2024-02-12 11:15

Structured Streaming

目录一、概述（一）基本概念（二）两种处理模型（三）StructuredStreaming和SparkSQL、SparkStreaming关系二、编写StructuredStreaming程序的基本步骤（
Francek Chen·2024-02-12 11:44

入门篇 - Spark简介

Spark核心模块image.pngSparkCore:提供了Spark最基础与最核心的功能，Spark其他的功能如:SparkSQL，SparkStreaming，GraphX,MLlib都是在SparkCore
君子何为·2024-02-12 10:22

UUID算法：独一无二的标识符解决方案

引言在分布式系统和大数据环境下，唯一标识符的生成和管理是一项关键任务。UUID（UniversallyUniqueIdentifier）算法应运而生，成为了解决重复数据和标识符冲突的有效工具。
qcidyu·2024-02-12 08:08

UUID算法：独一无二的标识符解决方案

引言在分布式系统和大数据环境下，唯一标识符的生成和管理是一项关键任务。UUID（UniversallyUniqueIdentifier）算法应运而生，成为了解决重复数据和标识符冲突的有效工具。
qcidyu·2024-02-12 08:08

分布式系统关注点—“无状态”详解

一、初识“状态”我们首先举个例子。开发Z哥对运维Y弟喊：“Y弟，现在系统好卡，刚上了一波活动，赶紧帮我加几台机器上去顶一下。”Y弟回复说：“没问题，分分钟搞定”。然后就发现数据库的压力迅速上升，DBA就吼了：“Z哥，你丫的搞什么呢？数据库要被你弄垮了”。然后客服那边接框也爆炸了，越来越多的用户说刚登陆后没多久，操作着就退出了，接着登陆，又退出了，到底还做不做生意了。这个案例中的问题，产生的根本原因
Java大生·2024-02-12 07:09

缓存雪崩问题与应对策略

引言缓存雪崩是一个在分布式系统中经常遇到的问题，特别是在缓存大规模失效的情况下。这种现象通常会导致大量请求同时涌入数据库或其他后端系统，使其压力剧增，最终可能导致系统崩溃。
张万森的救赎·2024-02-12 07:13

缓存穿透问题与解决方案

引言在分布式系统中，缓存技术被广泛应用以提高系统性能和响应速度。然而，缓存穿透是一个常见而严重的问题，特别是在面对大规模请求时。
张万森的救赎·2024-02-12 07:11

java中间件之rabbitmq

用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。1.2RabbitMQ特点（1）可靠性（Reliab
这一刻_776b·2024-02-12 05:42

Spark 作业执行

Spark基本组件，Master和Worker，负责运行Client和Driver作业执行框架每个SparkApplication由主控节点Master、集群资源管理节点ClusterManager、执行任务节点
Alex90·2024-02-12 05:04

读书笔记之《运动改造大脑》：运动是最佳的健脑丸

《运动改造大脑》的作者是约翰•瑞迪（JohnRatey）/埃里克•哈格曼（EricHagerman），原著名称为：Spark：therevolutionarynewscienceofexerciseandthebrain
AIGCTribe·2024-02-12 04:15

【JMX】JAVA监控的基石

MXBean2.6.OpenBean3.控制台1.概述什么是JMX，首先来看一段对话：JavaManagementExtensions（JMX）是一种Java标准，用于管理和监控Java应用程序，特别是分布式系统
_BugMan·2024-02-12 04:09

聊聊如何设计一个容错的微服务架构

但是像在每个分布式系统中一样，发生网络、硬件、应用级别的错误都是很常见的。由于服务依赖关系，任何组件可能暂时无法提供服务。
Java码农·2024-02-12 03:55

Spark 共享变量

翻译Spark共享变量部分的官方文档（Spark2.4.3）。通常，当传递给Spark操作(如map或reduce)的函数在远程集群节点上执行时，在函数中使用的所有外部变量都是单独拷贝的变量副本。
stone_zhu·2024-02-12 03:02

Spring Cloud Sleuth原理解析

SpringCloudSleuth主要功能就是在分布式系统中提供追踪解决方案。
我从不砍柴·2024-02-12 02:01

分布式事务解决方案之本地消息表

简单来说，分布式事务就是分布式系统中的事务。2.常见的分布式事务解决方案分布式事务的解决方案，常见的有两阶段提交和三阶段提交协议、TCC分段提交和基于消息补偿的最终一致性方案。3.本地消息表基于
花生无翼·2024-02-11 22:53

hive 和spark 环境同时部署linux环境变量后beeline命令冲突

由于两个应用都有相同的beelineshell文件所以在同时配置/etc/profile文件中环境变量时会导致先执行前面的环境变量指向的beeline，导致beeline命令报版本不一致错误。hivebeeline客户端报错，hive-jdbc版本不一致。
朱晔_74d3·2024-02-11 21:21

SpringBoot 接入讯飞星火大模型实现对话

申请地址https://xinghuo.xfyun.cn/sparkapi?
生产队的驴.·2024-02-11 20:17

SpringCloud-Nacos服务分级存储模型

一、服务分级模型1、服务分级模型介绍服务分级模型是一种将服务层次化组织的架构设计，通常用于大型分布式系统或微服务架构中。这种模型的目标是通
Damon小智·2024-02-11 18:22

SpringCloud架构基础（上）

有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准https://blog.zysicyj.topSpringCloud技术栈开发分布式系统可能具有挑战性，复杂性已从应用程序层转移到网络层
·2024-02-11 18:38

实现分布式锁

背景分布式锁是一种用于协调分布式系统中多个节点之间并发访问共享资源的机制。在分布式系统中，由于存在多个节点同时访问共享资源的可能性，需要使用分布式锁来保证数据的一致性和正确性。
毛毛不怕困难·2024-02-11 16:20

学成网html+css案例

商业预测>云计算&大数据>运维&测试>UI设计>产品>我的课程表继续学习程序语言设计正在学习-使用对象继续学习程序语言设计正在学习-使用对象继续学习程序语言设计正在学习-使用对象全部课程精品推荐JQuerySparkMySQLJavaWebMyS
倒霉娃不要倒霉·2024-02-11 15:33

Spark 使用之操作Hudi表

HudiSpark使用本篇为大家带来通过Sparkshell和SparkSQL操作Hudi表的方式。
AlienPaul·2024-02-11 14:52

我的创作纪念日

当时，作为一名来自南京的大二大数据专业学生，我被分配到了一个大型分布式系统测试团队中，亲身经历了从零构建测试框架、设计复杂测试场景到验证大数据组件性能的过程。这份实践让我意识到，软件测试不仅是
yueqingll·2024-02-11 14:14
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他