分布式系统_spark

计算机毕业设计Hadoop+Spark知识图谱体育赛事推荐系统 体育赛事热度预测系统 体育赛事数据分析 体育赛事可视化 体育赛事大数据 机器学习 大数据毕业设计 大数据毕设 机器学习 人工智能

开发技术前端：vue.js、element-ui、echarts后端：springboot、mybatis大数据：spark、hadoop数据库：mysql关系型数据库、neo4j图数据库算法：协同过滤推荐算法
计算机毕业设计大全·2024-08-26 13:43

Kylin系列-入门

Kylin系列-入门ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力，以支持超大规模数据。
Dingdangr·2024-08-26 13:34

【赵渝强老师】Spark中的RDD

  RDD（ResilientDistributedDataset）叫做弹性分布式数据集，它是Spark中最基本、也是最重要的的数据模型。
赵渝强老师·2024-08-26 11:52

TranceId和SpanId介绍

在分布式链路追踪系统中，TraceID和SpanID是两个核心概念，它们用于标识和追踪请求在分布式系统中的流转路径。
猿脑2.0·2024-08-26 09:41

基于spark+hadoop+hive大数据分析的电影推荐系统的设计与实现

开发介绍1.1开发环境二、系统介绍2.1图片展示三、部分代码设计3.1.部分代码如下：**总结****大家可以帮忙点赞、收藏、关注、评论啦****有问题评论区交流**一、开发介绍1.1开发环境技术栈：spark
毕设木哥·2024-08-26 06:26

每天一个数据分析题（五百）- 关联规则

.预测（Prediction）数据分析认证考试介绍：点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark
跟着紫枫学姐学CDA·2024-08-26 04:40

每天一个数据分析题（四百九十）- 主成分分析与因子分析

C.协方差矩阵D.相关系数矩阵数据分析认证考试介绍：点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark
跟着紫枫学姐学CDA·2024-08-26 04:07

12.Spark Core-Spark-RDD持久化

(1)persist算子使用方法：varrdd=sc.textFile("test")rdd=rdd.persist(StorageLevel.MEMORY_ONLY)valcount=rdd.count()//或者其他操作StorageLevel说明：StorageLevel的构造函数：classStorageLevelprivate(privatevar_useDisk:Boolean,#是否
__元昊__·2024-08-25 23:43

Java如何使用 Redis 实现分布式锁

在构建分布式系统时，分布式锁是一个非常关键的组件。今天，我们来聊聊如何在Redis中实现分布式锁，尤其是通过setnx命令和一些额外措施来确保锁的可靠性。
Takumilovexu·2024-08-25 21:28

vue2上传大文件到minio分片上传

项目中使用到的类库：spark-md5、axios、element-ui；npminstallspark-md5--Snpminstallaxios--S页面上传示例文件上传任务数：{{taskQueueRunningNum
zhou周大哥·2024-08-25 17:35

分布式事务处理模型:一致性 TCC VS 2PC

TCC（Try-Confirm/Cancel）和2PC（Two-PhaseCommit，两阶段提交）是两种常用的分布式事务处理模型，它们在解决分布式系统中的事务一致性问题上各有特点。
学博成·2024-08-25 11:00

Basic Paxos Vs Multi Paxos

BasicPaxos与MultiPaxos是Paxos算法的两个主要变体，它们在分布式系统中用于实现数据一致性和共识。
学博成·2024-08-25 11:00

分布式系统架构手册

ArchManual分布式系统架构手册项目介绍ArchManual不是：某个技术架构的深度剖析某个技术框架的源码分析某个技术工具的安装运维某个技术类库的代码示例而是：常用分布式技术的总体概览常用技术主题的归纳总结常用技术框架的归类罗列常用技术架构的简单分享希望成为
ArchManual·2024-08-25 08:36

ZooKeeper架构原理

ZooKeeper是一个开源的分布式协调服务，它在分布式系统中扮演着关键角色，用于管理配置信息、命名服务、状态同步等。
大连赵哥·2024-08-25 07:58

大数据技术——RDD编程初级实践

RDD编程初级实践1、需求描述2、环境介绍3、数据来源描述4、数据上传及上传结果查看5、数据处理过程描述1.pyspark交互式编程2.编写独立应用程序实现数据去重3.编写独立应用程序实现求平均值问题6
@璿·2024-08-25 03:04

微服务中不同的容错模式

这些不同的容错模式在分布式系统和服务调用中具有各自的应用场景和特点。
Wade_Crab·2024-08-25 00:20

Java 中的事务管理

事务管理方式高级话题事务传播行为事务隔离级别微服务环境下的事务问题示例：解决微服务间的事务问题总结Java中的事务管理：基础知识与高级话题在分布式系统和微服务架构中，事务管理是一项至关重要的技术。
DebugDiver代码深处潜水员·2024-08-25 00:19

手动修改zk类型的kafka offset

.*.87.125:2181查找并修改ae_spark这个topic的消费者组的offset值对于每个分区（0、1、2），需要分别查看和修改offset值查看和修改分区0的offset值查看当前offset
Keep hunger·2024-08-24 23:45

每天一个数据分析题（四百八十七）- 非监督学习

C.Minkowski距离D.笛卡尔距离数据分析认证考试介绍：点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark
跟着紫枫学姐学CDA·2024-08-24 23:13

每天一个数据分析题（四百八十八）- 非监督学习

C.Minkowski距离D.笛卡尔距离数据分析认证考试介绍：点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark
跟着紫枫学姐学CDA·2024-08-24 23:13

黑猴子的家：Spark RDD 行动算子 Action

1、reduce（1）原理通过f函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的（2）源码defreduce(f:(T,T)=>T):T=withScope{valcleanF=sc.clean(f)valreducePartition:Iterator[T]=>Option[T]=iter=>{if(iter.hasNext){Some(iter.reduceLeft(cleanF))
黑猴子的家·2024-08-24 22:03

幂等性是什么意思？

在计算机科学中，幂等性是一种非常重要的概念，特别是在设计和实现分布式系统、网络协议和Web服务等领域。
niceLiuSir·2024-08-24 19:19

【Pyspark-驯化】一文搞懂Pyspark修改hive表描述以及增加列使用技巧

【Pyspark-驯化】一文搞懂Pyspark修改hive表描述以及增加列使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合，智慧小天地！
算法驯化师·2024-08-24 13:43

【Pyspark-驯化】一文搞懂Pyspark写入hive表的使用技巧

【Pyspark-驯化】一文搞懂Pyspark写入hive表的使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合，智慧小天地！
算法驯化师·2024-08-24 13:43

【Pyspark-驯化】一文搞懂Pyspark中对json数据处理使用技巧：get_json_object

【Pyspark-驯化】一文搞懂Pyspark中对json数据处理使用技巧：get_json_object本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合，智慧小天地
算法驯化师·2024-08-24 13:43

【Pyspark-驯化】一文搞懂Pyspark中dropDuplicates和sort的使用技巧

【Pyspark-驯化】一文搞懂Pyspark中dropDuplicates和sort的使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合，智慧小天地！
算法驯化师·2024-08-24 13:13

【Pyspark-驯化】一文搞懂Pyspark中的withColumnRenamed函数的使用技巧

【Pyspark-驯化】一文搞懂Pyspark中的withColumnRenamed函数的使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合，智慧小天地
算法驯化师·2024-08-24 13:13

从零到一建设数据中台 - 关键技术汇总

一、数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark
我码玄黄·2024-08-24 12:09

Hbase BulkLoad用法

要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。
kikiki2·2024-08-24 09:57

Linux下ETCD安装、配置、命令

1.简介1.1.概述ETCD是一个开源的分布式系统工具，它提供了一个分布式键值存储系统，数据被分布式地存储在多个节点上。
丁爸·2024-08-24 07:01

阿里云服务器内存型r7、r8a、r8y实例区别及最新活动价格参考

，属于内存型实例规格的云服务器有内存型r7、内存型r8a、内存型r8y这几个实例规格，相比于活动内的经济型e和通用算力型u1等实例规格来说，这些实例规格等性能更强，适用于数据分析与挖掘，Hadoop、Spark
阿里云最新优惠和活动汇总·2024-08-23 22:23

2018年3月15日

上午摸鱼为主，顺便把同事拉进群里让他去沟通spark权限的事。截至中午似乎大概是解决了？
真昼之月·2024-08-23 18:58

设计一个登录系统时，分布式如何保证

分布式系统的登录功能需要处理用户认证、授权、会话管理等方面，并且要在多个服务器或服务实例之间保持一致。
喝醉的小鲁班·2024-08-23 14:43

计算机毕业设计hadoop+spark知识图谱美食推荐系统 美食价格预测 美团推荐系统 美团爬虫 大众点评爬虫 美食数据分析 美食可视化大屏 大数据毕设

四种推荐算法(协同过滤基于用户、物品、SVD混合神经网络、MLP深度学习模型)6.线性回归算法预测房价7.Python爬虫采集大众点评美食数据8.AI短信识别9.百度地图API10.lstm情感分析11.spark
计算机毕业设计大全·2024-08-23 13:22

Spring Cloud Consul中文文档(Consul和springCloud整合快速上手)

通过几个简单的注释，您可以快速启用和配置应用程序中的常见模式，并使用基于Consul的组件构建大型分布式系统。提供的模式包括服务发现，控制总线和配置。
子酷兒233·2024-08-23 13:06

【Spring Cloud】Consul

通过几个简单的注解，您可以在应用程序内部快速启用和配置常见模式，并使用基于Consul的组件构建大型分布式系统。提供的模式包括服务发现、控制总线和配置。
程序者王大川·2024-08-23 12:00

计算机毕业设计hadoop+spark知识图谱高考分数预测系统 高考志愿推荐系统 高考可视化大屏 高考大数据 高考数据分析 高考爬虫 大数据毕业设计

开发技术hadoopsparkspringbootvue.jsPython爬虫、机器学习、深度学习mybatis-plusneo4j知识图谱图数据库mysql协同过滤算法(基于物品、基于用户模式)MLP
计算机毕业设计大全·2024-08-23 11:05

Eureka 服务发现原理及实践

引言随着微服务架构的普及，服务发现成为了分布式系统中的一个重要组成部分。Eureka是Netflix开源的一款基于REST服务的服务发现组件，主要用于定位服务，以实现云端中间层服务发现和故障转移。
不知名靓仔·2024-08-23 08:38

缓存雪崩解决方案：从基础到高级优化

1.概述在分布式系统中，缓存是一种有效提高系统性能和响应速度的手段。
heromps·2024-08-23 07:05

Java中的数据一致性设计与实现

在分布式系统中，数据一致性是至关重要的，因为它确保在系统的不同部分之间数据的准确性和一致性。为了实现数据一致性，我们需要理解和应用不同的一致性模型和技术。
省赚客app开发者·2024-08-23 05:19

Go RPC 和 gRPC 技术详解

引言在分布式系统中，服务之间的通信是非常重要的组成部分。远程过程调用(RPC)是一种广泛使用的通信方式，它允许程序在不同的计算机上执行函数或过程，就像调用本地函数一样。
蒋厚施·2024-08-23 04:13

链路追踪及其常用工具

简介链路追踪（distributedtracing）是指通过记录分布式系统中各个组件之间的调用和传输信息的过程，来跟踪和分析请求在系统中的运行情况和性能问题的技术。
沉墨的夜·2024-08-23 02:31

第30篇 RPC概述

这种技术隐藏了底层网络通信细节，使得分布式系统中的组件能够无缝协作，极大地简化了分布式应用的开发和维护。以下是RPC的详细解释：**基本概念与原理**1.
hummhumm·2024-08-23 02:30

2024.08.07校招 实习 内推 面经

2025秋季校园招聘正式启动（内推）校招|旷视科技2025秋季校园招聘正式启动（内推）2、校招|华为智能座舱产品部2025校园招聘校招|华为智能座舱产品部2025校园招聘3、校招|蔚来2025届SuperSparks
内推君SIR·2024-08-23 01:26

智能微服务调度：Eureka中的区域感知性配置指南

智能微服务调度：Eureka中的区域感知性配置指南引言在构建全球分布式系统时，服务的可用性区域感知性是确保用户体验和系统弹性的关键因素。
2401_85439108·2024-08-22 23:43

事件驱动架构的定义、好处与实现

**适应分布式系统**8.**提高系统的可观测性**四、事件驱动架构适用的场景五、使用spring来实现1.创建事件类2.创建事件发布者3.创建事件监听器4.使用事件发布5.启动S
做个天秤座的程序猿·2024-08-22 23:10

Zabbix架构概述

Zabbix概述zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。
weixin_34414196·2024-08-22 20:25

Nacos是如何实现数据同步的？

Nacos是一个分布式系统，为了确保集群间数据一致，不仅仅依赖于数据发生改变时的实时同步，后台有定时任务做
如沐暖阳~·2024-08-22 19:23

RabbitMQ

RabbitMQ在分布式系统中扮演着重要的角色，主要用于存储和转发消息，支持高并发、高可用性和高可靠性的消息传递。
Qzer_407·2024-08-22 19:50

分布式任务调度：架构、原理与实践

从单机环境到分布式系统，任务调度的演进不仅跟随着计算机技术的进步，更是为了应对日益复杂的应用场景和需求。本博客将深入探讨分布式任务调度，从基础概念到实践应用，带领读者全面了解其架构、原理与实践。
一休哥助手·2024-08-22 16:05
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他