分布式系统_spark

Spark开发_简单DataFrame判空赋值逻辑

valtable1="实时转存数据"valtable2="历史存hdf数据"valdfin1=inputRDD(table1).asInstanceOf[org.apache.spark.sql.DataFrame
Matrix70·2024-02-26 22:06

Kafka入门介绍一

介绍Kafka是一个分布式系统，由服务器和客户端组成，通过高性能TCP网络协议进行通信。它可以部署在本地和云中的裸机硬件、虚拟机和容器上环境。
吴代庄·2024-02-26 07:49

Spark SQL编程指南

SparkSQL编程指南SparkSQL是用于结构化数据处理的一个模块。同SparkRDD不同地方在于SparkSQL的API可以给Spark计算引擎提供更多地信息，例如:数据结构、计算算子等。
<>=·2024-02-26 05:46

分布式理论

p指分区容忍性具体是指“当部分节点出现消息丢失或者分区故障的时候，分布式系统仍然能够继续运行”，即系统容忍网络出现分区，并且在遇到某节点或网络分区之间网络不可达
背帆·2024-02-25 12:52

Eureka/Zookeeper/Nacos实现注册中心区别

Availability（可用性）Partitiontolerance（分区容错性）必然存在在我们集群中，如果某个服务器宕机（故障）：保证数据一致性：一致性(CP)保证服务可用性：可用性AP这个定理的内容是指的是在一个分布式系统中
超级码里喵·2024-02-24 08:24

Spring Cloud Neflix Hystrix应用实战详解

Hystrix实战OpenFeign整合Hystrix通常在复杂的分布式系统都存在不同服务之间的调用，OpenFeign作为SpringCloud的远程调用工具默认是已经集成了Hystrix。
NullzzZ·2024-02-20 22:35

2PC/3PC到底是啥

目的是为了保证分布式系统中的数据一
woshishui1243·2024-02-20 20:50

清华架构师整理分布式系统文档：从实现原理到系统实现，收藏吧

微服务、云原生、Kubernetes、ServiceMesh是分布式领域的热点技术，它们并不是凭空出现的，一定继承了某些“前辈”的优点。我们不仅要了解这些技术，还要深入理解其发展脉络、原理等，才能游刃有余地将其用于现有的项目开发或老系统改造中。而这些技术有一个共同的特点，就是全网都在大谈分布式，其实主要就是因为数据量的爆发增长，我们的网站等应用承担了他本不应该承受的压力，这个时候，中国古人的训诫就
java架构师联盟·2024-02-20 20:40

程序员们的三高：高并发、高性能、高可用！

01高并发1.1简介高并发（HighConcurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。
技术灭霸·2024-02-20 19:18

Pandas将单列XML格式数据转化为字典再拆分成多列 列表拆分成多列

单列XML扩展成多列遇到了个需求是需要把XML格式的数据拆分成多列的一个需求，本来需要使用spark进行处理的，但是没想到什么优雅的解决方案，所以打算先使用pandas找找感觉。样例数据如下所示。
aoyi1337·2024-02-20 18:22

redis分布式锁实战

分布式锁是什么分布式锁是控制分布式系统或不同系统之间共同访问共享资源的一种锁实现;如果不同的系统或同一个系统的不同主机之间共享了某个资源时，往往通过互斥来防止彼此干扰;Redis分布式锁的底层实现是利用
bijian-bijian·2024-02-20 17:47

航班数据预测与分析

数据清洗：数据存储到HDFS：使用pyspark对数据进行分析：//数据导入frompysparkimportSparkContextfrompyspark.sqlimportSQLContextsc=
林坰·2024-02-20 16:15

再聊阴影裁剪与高性能视锥剔除

【USparkle专栏】如果你深怀绝技，爱“搞点研究”，乐于分享也博采众长，我们期待你的加入，让智慧的火花碰撞交织，让知识的传递生生不息！
·2024-02-20 16:50

spark为什么比mapreduce快？

spark为什么比mapreduce快？
·2024-02-20 16:30

OSDI 2023: ExoFlow A Universal Workflow System for Exactly-Once DAGs

系统范围：总体分布式系统使用通用机制处理所有在其上运行的应用程序的恢复。这简化了开发，但牺牲了更细粒度、应用程序优化的恢复的可能性。2.性能/恢复权衡优先级以性能为中心：使用这种方法
结构化文摘·2024-02-20 16:48

tcp 中使用的定时器

周期性任务这是定时器最常用的一种场景，比如tcp中的keepalive定时器，起到tcp连接的两端保活的作用，周期性发送数据包，如果对端回复报文，说明对端还活着；如果对端不回复数据包，就会判定对端已经不存在了；再比如分布式系统中
王燕龙(大卫)·2024-02-20 15:33

[CDH] Spark 属性、内存、CPU相关知识梳理

version：2.4.0-cdh6.3.0文章目录sparkproperties常用配置sparktasksparktask使用的cpu核数sparkarchitecturesparkmemorysparkonyarn
枪枪枪·2024-02-20 15:24

Hadoop 大数据的入门学习

由于所做的银行项目与大数据有关，所以个人学习下hadoop的知识，希望能对大数据有所了解，不喜勿喷，哪里有不对的希望大神指点Hadoop百度百科：Hadoop是一个由Apache基金会所开发的分布式系统基础架构
heybo_zhang·2024-02-20 14:36

spark CTAS nuion all （union all的个数很多）导致超过spark.driver.maxResultSize配置（2G）

背景该sql运行在spark版本3.1.2下的thriftserver下现象在运行包含多个union的sparksql的时候报错（该sql包含了50多个uinon，且每个union字查询中会包含join
鸿乃江边鸟·2024-02-20 13:29

使用Spring Boot整合Redis实现分布式锁

在分布式系统中，控制并发访问是一项关键任务。分布式锁是一种常见的解决方案，用于在多个节点之间协调对共享资源的访问。Redis作为一款高性能的内存数据库，提供了一种简单而有效的方式来实现分布式锁。
#看心情·2024-02-20 12:10

Flink理论—Flink架构设计

Flink架构设计Flink是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。
不二人生·2024-02-20 12:59

RabbitMQ与Spring Boot如何集成？

一、RabbitMQRabbitMQ是一个开源的消息队列中间件，它实现了高效可靠的消息传递机制，可以在分布式系统中进行异步通信。
张燕沨·2024-02-20 11:54

大数据 - Spark系列《六》- RDD详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-20 10:55

大数据 - Spark系列《七》- 分区器详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-20 10:55

Hive切换引擎(MR、Tez、Spark)

Hive切换引擎(MR、Tez、Spark)1.MapReduce计算引擎(默认)sethive.execution.engine=mr;2.Tez引擎sethive.execution.engine=
落空空。·2024-02-20 10:54

微服务设计：Spring Cloud 链路追踪概述

SpringCloud链路追踪是指在分布式系统中追踪请求路径的技术。它可以帮助开发者了解请求在各个微服务之间是如何流转的，以及每个微服务处理请求所花费的时间。
surfirst·2024-02-20 09:04

SpringCloud-基于Feign远程调用

SpringCloud是一个用于构建分布式系统的开发工具包，它提供了一系列的微服务组件，其中之一就是Feign。
Damon小智·2024-02-20 09:56

淘宝的十年「架构变迁」

特别说明：本文以淘宝为例仅仅是为了便于说明演进过程可能遇到的问题，并非是淘宝真正的技术演进路径基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍：分布式系统中的多
程序员xysam·2024-02-20 08:18

分布式事务

本地事务本地事务是指单个数据库上的事务操作，一个本地事务允许一个数据库连接满足ACID（原子、一致、隔离、持久）刚性事务规范分布式事务分布式事务属于柔性事务，满足CAP和BASE理论CAP：指的是在一个分布式系统中
与遨游于天地·2024-02-20 07:15

springcloud面试题

使用SpringBoot开发分布式微服务时，我们面临以下问题（1）与分布式系统相关的复杂性-这种开销包括网络问
陈二狗想吃肉·2024-02-20 07:43

SpringCloud-Config：分布式配置

10.SpringCloudConfig分布式配置Dalston.RELEASESpringCloudConfig为分布式系统中的外部配置提供服务器和客户端支持。
666-LBJ-666·2024-02-20 07:48

Hbase - 自定义Rowkey规则

中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制`TableInputFormat`来实现我们的需求了，我们还可以采用Flink的`DataSet`的方式读取,另外下面还有`Spark
kikiki5·2024-02-20 07:17

php实现讯飞星火大模型3.5

星火大模型-科大讯飞2.修改对应php文件中的key等可以参考文档说明，以及下载demo星火认知大模型WebAPI文档|讯飞开放平台文档中心其中appid等都需要修改还有uid，3.5模型wss://spark-ap
随风万里无云·2024-02-20 07:38

2024.2.19 阿里云Flink

一、Flink基本介绍Spark底层是微批处理,Flink底层则是实时流计算流式计算特点:数据是源源不断产生,两大问题,乱序和延迟Stateful:有状态Flink的三个部分Source:Transactions
白白的wj·2024-02-20 07:05

Flink Catalog 解读与同步 Hudi 表元数据的最佳实践

在当前的大数据格局中，Spark/Hive/Flink是最为主流的ETL或Strea
　Laurence·2024-02-20 06:28

分布式事务理论基础

cap理论：一致性(C)：指在分布式系统中，所有节点在同一时刻存储的数值是一样的。举例：访问a节点和访问b节点都能得到一致的响应结果。可用性(A)：指在访问服务器时能很快得到响应，但不保证数据正确性。
自律给你自由·2024-02-20 06:56

远程过程调用解密：探索RPC协议的深度、挑战与未来方向

RPC抽象了网络通信的细节，使得开发分布式系统更为简便。2.RPC的工作原理RPC的工作原理包括几个关键步骤：接口定义、客户端代理生成、服务端桩（stub）生成、通信、服务执行和返回结果。
程序员Chino的日记·2024-02-20 06:15

主动对象模式(Active Object pattern)

该模式通常用于需要多线程服务器的分布式系统中。此外，客户应用，比如窗口系统和网络浏览器，采用主动对象来简化并发和异步的网络操
weixin_30416497·2024-02-20 06:06

面试系列之《Spark》（持续更新...）

stage：一个job任务中从后往前划分，分区间每产生了shuffle也就是宽依赖则划分为一个stage，stage这体现了spark的pipeline思想，即数据在内存中尽可能的往后多计算，最后落盘，
atwdy·2024-02-20 06:07

服务端和客户端以及前后端相关概念区分

一、服务端（Server-side）和客户端（Client-side）服务端和客户端是指在分布式系统或网络应用中相对的两个部分。是指在计算机网络中不同角色的两个主要实体。
林隐w·2024-02-20 05:13

以内存为核心的开源分布式存储系统

Tachyon为不同的大数据计算框架（如ApacheSpark，HadoopMapReduce,ApacheFlink等）提供可靠的内存级的数据共享服务。
这次靠你了·2024-02-20 05:26

从0到1搭建企业分布式系统-07-jenkins搭建

开头jenkins主要用来做持续集成，原理是开发人员将代码提交到git后，点击jenkins构建会通过mvn将代码打包成war包，然后自己写一些脚本，发布到具体的应用，实现开发环境自动化部署搭建1.前提条件：已安装jdk已安装maven2.官方下载war将war部署到tomcat中，启动tomcat3.修改配置文件/var/lib/jenkins/config.xml1、这个权限对应“任何用户可以
Coding626·2024-02-20 04:03

Spring Cloud Hystrix：服务容错与熔断

1.理解服务容错与熔断1.1服务容错的概念和重要性在分布式系统中，由于各种原因（例如网络延迟、服务故障等），服务之间的通信可能会出现故障或者延迟。
星光闪闪k·2024-02-20 02:00

手机远程控制树莓派-BLINKER应用（物联网基础）

由于我买了坚果云这个软件服务，所以我对云储存并无太大的兴趣，只是有时候要远程回家翻翻服务器上的东西，或者挂着下载个东西，跑个pyspark之类的。
crossni·2024-02-20 00:15

无依赖单机尝鲜 Nebula Exchange 的 SST 导入

无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式（单机、容器化Spark、Hadoop、NebulaGraph），快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph·2024-02-19 23:51

Linux下Spark offline安装graphframes包

文章目录背景安装步骤背景GraphX是Spark中用于图计算的模块.Spark安装包中内置Scala语言的GraphX库,但是对于Python语言的安装包,需要额外进行安装.对于内网服务器,不能访问外网
ithiker·2024-02-19 22:45

分布式事务详解

分布式系统把一个单体应用拆分为可独立部署的多个服务，因此需要服务与服务之间远程协作才能完成事务操作。
xdpcxq1029·2024-02-19 22:11

一篇文章带你了解分布式系统理论基础 - CAP、BASE

1.CAP理论任何分布式架构设计的系统，只能同时满足CAP中的任意两种，无法同时三种并存。CAP（Consistency、Availability、Partitiontolerance）是三个单词的缩写，分别代表一致性，可用性，分区容错性。这个理论到目前为止都适用于分布式架构系统。1.1Consistency一致性我们知道ACID中事务的一致性是指事务的执行不能破坏数据库数据的完整性和一致性，一个
程序领域·2024-02-19 22:59

浅谈分布式系统中的补偿机制设计问题

我们知道，应用系统在分布式的情况下，在通信时会有着一个显著的问题，即一个业务流程往往需要组合一组服务，且单单一次通信可能会经过DNS服务，网卡、交换机、路由器、负载均衡等设备，而这些服务于设备都不一定是一直稳定的，在数据传输的整个过程中，只要任意一个环节出错，都会导致问题的产生。这样的事情在微服务下就更为明显了，因为业务需要在一致性上的保证。也就是说，如果一个步骤失败了，要么不断重试保证所有的步骤
架构文摘·2024-02-19 22:59

我理解的分布式系统，你需要了解的我都有

前言说到分布式系统，不得不说集中式系统。传统集中式系统中整个项目所有的东西都在一个应用里面。
ZYQZXF·2024-02-19 22:57
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他