搭建Spark分布式集群环境

mysql gtid 主从_基于GTID搭建主从MySQL

基于gtid搭建主从MySQL一、GTID的使用想让主从之间使用gtid的方式同步数据，需要我们在配置文件中开启mysql对gtid相关的配置信息找到my.cnf，在mysqld模块中加入如下的配置。
呓人61·2025-01-20 19:46

厦门租房信息分析展示（pycharm+python爬虫+pyspark+pyecharts）（踩坑记录）

厦门租房信息分析展示（pycharm+python爬虫+pyspark+pyecharts）（踩坑记录）项目地址http://dblab.xmu.edu.cn/blog/2307/踩坑:Spark分析文件
吃西红柿的鸡蛋·2025-01-20 18:03

【Git】Git 完全指南：从入门到精通

Git完全指南：从入门到精通Git是现代软件开发中最重要的版本控制工具之一，它帮助开发者高效地管理项目，支持分布式协作和版本控制。
LuckiBit·2025-01-20 18:32

Web三维CAD绘制一个窗户模型

前言本文使用mxcad3d在网页中创建一个简单的三维窗户模型，mxcad3d提供了丰富的三维建模功能和便捷的API，使得创建各种三维模型变得简单方便，最终效果如下图：环境搭建和入门首先学习mxcad的基本使用方法
·2025-01-20 17:18

怎么使用langchain和ollama自己简单开发搭建一个本地有记忆的大模型?

环境：langchainollama问题描述：怎么使用langchain和ollama开发搭建一个本地有记忆的大模型?
玩人工智能的辣条哥·2025-01-20 17:24

对等能源交易（Peer-to-Peer Energy Trading）

在P2P能源交易中，个体用户可以既是能源的消费者也是生产者（即“产消者”），他们能够通过分布式能源资源（Dis
能源革命·2025-01-20 17:21

【黑马-SpringCloudAlibaba】学习笔记10-Seata：实现分布式事务控制

Seata介绍2019年1月，阿里巴巴中间件团队发起了开源项目Fescar（Fast&EaSyCommitAndRollback），其愿景是让分布式事务的使用像本地事务的使用一样，简单和高效，并逐步解决开发者们遇到的分布式事务方面的所有难题
言谶·2025-01-20 17:20

黑马商城 Spring Cloud 微服务课程笔记：分布式事务 - Seata 的架构和原理

目录黑马商城SpringCloud微服务课程笔记：分布式事务-Seata的架构和原理一、Seata解决的问题场景二、Seata的架构三、Seata的原理在黑马商城的微服务架构中，当涉及到多个微服务协同完成一个业务操作时
阿贾克斯的黎明·2025-01-20 16:47

黑马商城 Spring Cloud 微服务课程笔记 - 分布式事务 Seata（DAY2 - 10）

目录黑马商城SpringCloud微服务课程笔记-分布式事务Seata（DAY2-10）一、课程内容概述二、原理三、知识点和步骤（一）知识点（二）步骤一、课程内容概述在黑马商城的SpringCloud微服务架构中
阿贾克斯的黎明·2025-01-20 16:46

afsim银河麒麟ARM版搭建----第一篇

本篇主要介绍afsim在国产硬件+国产麒麟操作系统ARM版的开发环境需要准备前期准备工作，后续章节将逐步介绍，第三方依赖库的编译，qt的编译以及afsim编译以及arm64上的代码适配，有兴趣的小伙伴欢迎一起交流，群：824154267~~afsim版本：1.afsim版本：2.92.插件版本：11软件环境：1.操作系统：KylinV10SP12.构建工具：cmake-3.26.0-linux-a
梦星光·2025-01-20 16:45

2025java面试常见八股文整理

如果线程存在竞争临界资源，多线程访问下添加同步代码块synchronized解决，或者分布式排他锁进行临界资源控制。
Java八股文面试·2025-01-20 15:40

微软开源AI Agent AutoGen 详解

AutoGen是微软发布的一个用于构建AIAgent系统的开源框架，旨在简化事件驱动、分布式、可扩展和弹性Agent应用程序的创建过程。
培根芝士·2025-01-20 15:34

【一点分享】Python数据分析（1）：Jupyterlab搭建，练习Python和Sql的神器。

在之前Mysql专栏分享过程中，一直用的Sequel客户端进行sql编写和说明注解，及时执行的结果不能保存，得写一条sql截图一次，麻烦。而Jupyterlab就可以很好解决这个问题，代码过程与执行结果都会相邻挨着保留，随时可以查看，导出或截图都非常方便。而且，Jupyterlab还天然支持Python环境，学Python甚是方便，单步执行和结果就是亮点。其他的shell等各种语言环境也可以安装插
或许能用上·2025-01-20 14:30

【论文投稿】Spring Boot 开发全攻略：从入门到精通

目录一、SpringBoot简介与优势二、开发环境搭建三、创建SpringBoot项目四、项目结构剖析五、控制器开发六、服务层设计七、数据访问层构建一、SpringBoot简介与优势SpringBoot
小周不想卷·2025-01-20 13:11

Oracle11g ADG部署 duplicate方式（超级详细）

前言在我们的工作中经常会遇到给现有的生产环境搭建ADG容灾系统的需求，此篇文章详细的教大家Oracle11g版本的ADG部署（duplicate方式）。内容都是工作中总结出来的，还算比较详细。
学无止境的小一·2025-01-20 13:10

Flume 简介01 作用 核心概念 事务机制 安装 配置入门实战

每一次访问的行为（访问、搜索）产生的日志记录用户行为日志的目的：1.商家会精准的给你呈现符合你的个人界面2.商家会给你个人添加用户标签，更加精准的分析埋点等2.flume用来做什么的（采集传输数据的，分布式的
湖中屋·2025-01-20 13:09

低延迟更灵活，开发者怎能不爱分布式云

根据重点关注开发者想法的研究公司SlashData的一项新研究，全球开发者正越来越多地将分布式云计算视为保障最佳客户体验的方法。根据Akamai的委托，这项名为“开
·2025-01-20 13:31

从中心化到分布式，分布式架构对游戏业带来的优势与收益

游戏行业在全球范围内的蓬勃增长引发了从技术到架构的飞速革新与演变。推动技术发展的重要因素是玩家的体验，任何一个游戏行业的参与者都将玩家的体验是为业务的核心服务目标，而在优化玩家体验的道路上，游戏业者仍有很长的旅程。尤其是对于在线游戏商来说，全球复杂的网络环境让延迟变得更加难以控制。在线游戏可以说是所有行业中对延迟最敏感的行业，这使得它特别容易受到传统集中式云计算架构的缺点的影响，在这种架构中，数据
·2025-01-20 12:57

MySQL 搭建MHA架构部署

文章目录MAH一：MAH架构介绍二：适用场景三：MHA工作原理四：MHA的组成1：Manager工具包2：Node工具包五：MHA特点MHA架构部署一：拓扑图二：数据库安装三：数据库配置主从同步四：安装MHA软件五：配置无密码认证六：配置MHA七：健康检查八：查看master1的VIP地址九：启动MHA并查看状态故障模拟与修复一：故障模拟二：故障修复MAH一：MAH架构介绍MHA(MasterHi
m0_50854537·2025-01-20 12:29

什么是三高架构?

这三个特性是现代计算系统、尤其是在分布式系统和云计算架构中，设计和部署的关键目标。以下是
java1234_小锋·2025-01-20 12:27

微信小程序游戏开发

1.微信小程序开发环境准备要开发微信小程序游戏，首先需要搭建开发环境，主要步骤如下：1.1注册微信小程序账号前往微信公众平台注册并认证一个小程序账号。注册后获得AppID，用于后续开发和测试。
大梦百万秋·2025-01-20 12:56

分布式系统理论基础二-CAP

github.com/wangzhiwubigdata/God-Of-BigData关注公众号,内推,面试,资源下载,关注更多大数据技术~大数据成神之路~预计更新500+篇文章，已经更新50+篇~引言CAP是分布式系统
王知无(import_bigdata)·2025-01-20 10:41

Python 删除文件与文件夹 - 奇客谷教程

Python教程Python介绍Python开发环境搭建Python语法Python变量Python数值类型Python类型转换Python字符串(String)Python运算符Python列表(list
八狐云|酷画册|二维码生成·2025-01-20 10:37

《小型开发者在鸿蒙Next上的成本与收益平衡之道》

例如，开发者需要学习鸿蒙的分布式架构、原生智能等新技术概念和开发方法，这可能需要参加培训课程、阅读文档或在社区中与其他开发者交流学习。开发成本功能越复杂、UI/UX设计要求越高，开发成本就越高。
·2025-01-20 08:20

方舟生存进化mysql_基于MySQL 的 SQL 优化总结_卡盟,辅助

SonarQube搭建手记dnf辅助基于MySQL的SQL优化总结在数据库运维过程中，优化SQL是DBA团队的一样平常义务。例行SQL优化，不仅可以提高程序性能，还能减低线上故障的概率。
weixin_36307344·2025-01-20 08:21

淘宝客APP的数据同步与一致性保障

随着系统复杂度的提升，特别是在分布式架构的情况下，如何确保数据同步和一致性成为了一个重要的技术挑战。本文将深入探讨在淘宝客APP中实现数据同步与一致性保障的关键技术和方法，并提供Java代码示例。
wx_tangjinjinwx·2025-01-20 06:30

两万字探讨时间轮算法

1.引言1.1背景介绍随着分布式系统、微服务架构的流行以及高并发场景的广泛应用，系统中处理延时任务的需求变得愈发重要。
Damon_0411·2025-01-20 04:51

深入理解Spring Boot：启动方式、注解、配置文件与模板引擎

引言SpringBoot是一个用于简化Spring应用初始搭建以及开发过程的框架。它通过约定大于配置的方式，大大减少了开发者需要编写的配置代码。
Bro_cat·2025-01-20 03:08

zookeeper分布式锁模拟12306买票

未加锁时容易出现重复买票情况代码publicclassTicket12306implementsRunnable{//票数privateintticketNums=10;@Overridepublicvoidrun(){while(true){if(ticketNums>0){System.out.println(Thread.currentThread()+"抢到了第"+ticketNums+"
有一个好名字·2025-01-20 03:58

Hadoop 和 Spark 的内存管理机制分析

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-20 03:27

【RabbitMQ】超详细Windows系统下RabbitMQ的安装配置

RabbitMQ是一个开源的消息队列中间件，广泛用于分布式系统中的异步消息传递。它支持多种消息协议，易于扩展，功能强大。
m0_74823963·2025-01-19 23:29

分布式-分布式必备理论基础：CAP和BASE

一、CAP分布式系统不可能同时满足一致性（C：Consistency）、可用性（A：Availability）和分区容忍性（P：PartitionTolerance），最多只能同时满足其中两项。
·2025-01-19 23:10

搭建一个基于Spring Boot的校园台球厅人员与设备管理系统

搭建一个基于SpringBoot的校园台球厅人员与设备管理系统可以涵盖多个功能模块，例如用户管理、设备管理、预约管理、计费管理等。以下是一个简化的步骤指南，帮助你快速搭建一个基础的系统。
鹿屿二向箔·2025-01-19 23:57

【软考速通笔记】系统架构设计师⑬——云原生架构设计理论与实践

文章目录一、前言二、云原生架构基础知识2.1定义2.2特点2.3原则三、云原生架构模式3.1服务化架构模式3.2Mesh化架构模式3.3Serverless模式3.4存储计算分离模式3.5分布式事务模式
小康师兄·2025-01-19 23:26

大数据学习（五）：如何使用 Livy提交spark批量任务--转载

Livy是一个开源的REST接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。Livy封装了spark-submit并支持远端执行。启动服务器执行以下命令，启动livy服务器。.
zuoseve01·2025-01-19 22:15

Spark Livy 指南及livy部署访问实践

背景：ApacheSpark是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark
house.zhang·2025-01-19 22:40

大数据学习（四）：Livy的安装配置及pyspark的会话执行

一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。
猪笨是念来过倒·2025-01-19 21:08

探索数据科学新边界：Apache Livy 开源项目详解

探索数据科学新边界：ApacheLivy开源项目详解incubator-livyApacheLivyisanopensourceRESTinterfaceforinteractingwithApacheSparkfromanywhere
毕艾琳·2025-01-19 21:37

用TensorFlow.NET搭建一个全连接神经网络

在本文中，我们将学习如何在C＃中构建神经网络模型计算图。与线性分类器相比，神经网络的关键优势在于它可以分离不可线性分离的数据。我们将实现此模型来对MNIST数据集的手写数字图像进行分类。我们要构建的神经网络的结构如下。MNIST数据的手写数字图像有10个类（从0到9）。该网络具有2个隐藏层：第一层具有200个隐藏单元（神经元），第二层具有10个神经元（称为分类器层）。让我们一步一步地用代码来实现：
chiyong7717·2025-01-19 21:37

传统架构下应用部署

2.1传统架构下应用部署实验目标：目标为在传统架构下搭建LAMP（Linux+Apache+MySQL/MariaDB+PHP,流行的开源软件组合）环境并部署WordPress服务，本次模拟在安装好的openEuler22.03
aherhuo·2025-01-19 21:03

Micrometer+ZipKin实现分布式链路追踪

1.引入依赖io.micrometermicrometer-tracing-bom${micrometer-tracing.version}pomimportio.micrometermicrometer-tracing${micrometer-tracing.version}io.micrometermicrometer-tracing-bridge-brave${micrometer-trac
郭弟弟·2025-01-19 20:00

最新版 ！快速掌握 JDK17 + springboot3 + springcloud Alibaba :7、链路追踪 Micrometer Tracing&Zipkin

微服务架构是一个分布式架构，它按业务划分服务单元，一个分布式系统往往有很多个服务单元。由于服务单元数量众多，业务的复杂性，如果出现了错误和异常，很难去定位。
云上凯歌·2025-01-19 20:51

Springboot Redisson 分布式锁、缓存、消息队列、布隆过滤器

redisson-spring-boot-starter是Redisson提供的SpringBoot集成包，旨在简化与Redis的交互，包括分布式锁、缓存、消息队列、布隆过滤器等功能的实现。
空灵宫（Ethereal Palace）·2025-01-19 19:48

后悔呀，自从用了SkyWalking分布式链路追踪，现在睡得越来越香了

上一篇文章介绍了分布式链路追踪的一种方式：SpringCloudSleuth+ZipKin，这种方案目前也是有很多企业在用，但是作为程序员要的追逐一些新奇的技术，Skywalking作为后起之秀也是值得大家去学习的
Bad_Ape·2025-01-19 18:45

Python 网络爬虫高级教程：分布式爬取与大规模数据处理

然而，当我们面对海量数据或需要高效爬取多个站点时，分布式爬虫和数据存储、处理能力就显得尤为重要。本篇博客将带你迈向网络爬虫的高级阶段，学习分布式爬取、大规模数据处理以及性能优化。
Milk夜雨·2025-01-19 18:15

亚矩阵云手机:搭建TikTok视频矩阵的高效解决方案

而亚矩阵云手机，作为一种创新的云手机技术解决方案，为TikTok视频矩阵的搭建提供了强大的支持。TikTok视频矩阵概述TikTok视频矩阵是指通过创建和管理多个TikTok账号，形成一个相互协同
云云321·2025-01-19 18:13

深入探讨Kafka：架构、实现原理与开发实践

深入探讨Kafka：架构、实现原理与开发实践ApacheKafka是一个高性能的分布式流处理平台，广泛应用于实时数据处理、日志收集、消息发布/订阅等领域。
Ceramist·2025-01-19 18:41

网络爬虫——分布式爬虫架构

分布式爬虫在现代大数据采集中是不可或缺的一部分。随着互联网信息量的爆炸性增长，单机爬虫在性能、效率和稳定性上都面临巨大的挑战。
好看资源分享·2025-01-19 18:40

如何搭建K8S集群

目录一、环境规划二、环境准备2.1搭建流程概述：2.2安装环境准备2.2.1升级系统内核2.2.2设置主机名和hosts本地解析2.2.3关闭防火墙和SELinux2.2.4时间同步2.2.5关闭swap
江湖风云令·2025-01-19 18:09

足球直播站源码怎么搭建

搭建一个足球直播站涉及到多个步骤，包括获取源码、准备开发环境、部署配置、自定义内容和样式、测试优化以及上线运营。
sanx18·2025-01-19 16:47
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他