读《Spark

MySQL数据库笔记——多版本并发控制MVCC

文章目录背景介绍数据库并发控制——锁机制悲观锁和乐观锁悲观锁乐观锁数据库并发控制——MVCC的引入MVCC和锁机制的对比MySQL的多版本并发控制(MVCC)快照读和当前读快照读和当前读的对比隐藏的系统列
Good Note·2025-02-23 22:59

片上资源FIFO用法

2、FIFO和RAM的共同点在于都能存储数据、都有控制写和读的信号；不同点在于FIFO没有地址，所以不能任意指定读取某一个数据，数据只能按照数据输入的顺序输出，即先入先出，并且读写可以同时进行。
寒听雪落·2025-02-23 21:22

Spark on Yarn 多机集群部署

SparkonYarn多机集群部署1.规划机器角色服务器IP地址角色Master192.168.1.100NameNode+ResourceManager+SparkMasterWorker1192.168.1.101DataNode
晓夜残歌·2025-02-23 17:20

Python+Spark地铁客流数据分析与预测系统 地铁大数据 地铁流量预测

本系统基于大数据设计并实现成都地铁客流量分析系统，使用网络爬虫爬取并收集成都地铁客流量数据，运用机器学习和时间序列分析等方法，对客流量数据进行预处理和特征选择，构建客流量预测模型，利用历史数据对模型进行训练和优化，实现客流量预测模型的部署和应用，通过系统界面展示预测结果。对预测模型进行评估和验证，并提出改进方案。设计步骤使用Python语言编写爬虫程序采集数据，并对原始数据集进行预处理；使用Pyt
qq_79856539·2025-02-23 16:16

线代[8]｜北大丘维声教授《怎样学习线性代数？》（红色字体为博主注释）

线性代数的内容简介二、学习线性代数的用处三、线性代数的特点四、学习线性代数的方法五、更新时间记录说明文章中红色字体为博主敲录完丘教授这篇文章后所加，刷到这篇文章的读者在首次阅读应当跳过红色字体，先通读一读文章全文
汉密士20240101·2025-02-23 09:55

搭建Spark On YARN集群

一、SparkOnYARN架构二、搭建SparkOnYARN集群（一）搭建SparkStandalone集群（二）修改Spark环境配置文件SparkOnYARN模式的搭建比较简单，仅需要在YARN集群的一个节点上安装
snow323H·2025-02-23 07:05

开源的H5即时聊天系统 spring-boot + netty + protobuf + vue ~

一次读公号推文,发现一篇文章写得特好,勾起了好奇心《群聊比单聊，为什么复杂这么多？》
lmxdawn·2025-02-23 05:55

stack&&queue的学习

e5ef53bcd02c60bc6cb52e706517483f&p=10&spm_id_from=333.788.videopod.episodes.栈就是一个顶入顶出的东西，对于他只能是对顶部的东西进行操作和读栈的大小
liuyangzhou666·2025-02-23 05:55

MySQL 的存储引擎简介

说几个我了解的比较多的引擎：InnoDBInnoDB是MySQL现在的默认引擎，它是面向在线事务处理（OLTP）的应用，支持行锁，外键，以及非锁定读。每张表存储在一个独立的ibd文件中。
三书yjy·2025-02-23 02:07

对应chd5.14的spark_carbonData使用文档(基于CDH 的spark-yarn模式)

一、部署(基于CDH的spark-yarn模式)下载源码编译(目前官网已经提供编译好的jar包了)【https://dist.apache.org/repos/dist/release/carbondata
颜语一声·2025-02-22 22:22

yarn模式运行spark作业所有属性详解

摘要:Spark参数调优，可以大大提高工作中程序的运行效率。
weixin_34248487·2025-02-22 22:22

Spark on YARN的重要参数

Spark属性或者去源码找Class类SparkSubmitArguments，最全了属性名称默认含义spark.yarn.am.memory512m用于客户端模式下的YARNApplicationMaster
大米饭精灵·2025-02-22 21:50

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark
m0_74823705·2025-02-22 21:50

spark sql随记

1、sparksql访问hive将hive-site.xml放入到${SPARK_HOME}/conf下如果是sparkonyarn的cluster模式，由于driver是运行于哪个executor未知
cxy1991xm·2025-02-22 21:18

Editor工具类：实现Excel表格转换成Lua配置文件

实际项目开发中，游戏中会存在很多的数值，而这些数值是由策划填表，程序员通过读表获取的。
OneWord233·2025-02-22 15:36

计算机专业知识【数据库读操作：不可重复读、脏读及其他现象解析】

在数据库的并发操作场景中，不同的读操作方式会引发不同的数据读取问题。理解这些问题对于确保数据库数据的一致性和准确性至关重要。下面我们将详细介绍数据库中常见的几种读问题，包括不可重复读、脏读等。
一勺菠萝丶·2025-02-22 10:25

计算机毕业设计吊炸天Python+Spark地铁客流数据分析与预测系统 地铁大数据 地铁流量预测

开发技术SparkHadoopPython爬虫Vue.jsSpringBoot机器学习/深度学习人工智能创新点Spark大屏可视化爬虫预测算法功能1、登录注册界面，用户登录注册，修改信息2、管理员用户：
qq_80213251·2025-02-22 08:35

Python 的 WebSocket 实现详解

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-02-22 03:23

LeetCode9. 回文数

回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。示例1:输入:121输出:true示例2:输入:-121输出:false解释:从左向右读,为-121。从右向左读,为121-。
坚果-果·2025-02-22 01:04

leetcode9. 回文数（C++）

回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。例如，121是回文，而123不是。
falldeep·2025-02-22 01:00

STM32的HAL库开发---内存保护（MPU）

-**权限控制**：设置读/写/执行权限（如禁止用户代码修改内核数据）。-**内存属性**：定义
大富大贵7·2025-02-21 20:17

Spark MLlib中的机器学习算法及其应用场景

SparkMLlib是ApacheSpark框架中的一个机器学习库，提供了丰富的机器学习算法和工具，用于处理和分析大规模数据。
Java资深爱好者·2025-02-21 20:47

#渗透测试#批量漏洞挖掘#Crocus系统—Download 文件读取

免责声明本教程仅为合法的教学目的而准备，严禁用于任何形式的违法犯罪活动及其他商业行为，在使用本教程前，您应确保该行为符合当地的法律法规，继续阅读即表示您需自行承担所有操作的后果，如有异议，请立即停止本文章读。
独行soc·2025-02-21 17:49

Spark源码分析

Spark源码分析SparkonYarnclientCluster本质区别，driver位置不同1)有哪些不同得进程？2)分别有什么作用？
陈同学�·2025-02-21 15:07

Spark源码分析 – Shuffle

参考详细探究Spark的shuffle实现,写的很清楚,当前设计的来龙去脉HadoopHadoop的思路是,在mapper端每次当memorybuffer中的数据快满的时候,先将memory中的数据,按
weixin_34292924·2025-02-21 15:06

MySQL 默认事务隔离级别及原因

二、MySQL的事务隔离级别MySQL支持四种事务隔离级别，分别是：读未提交（Readuncommitted）：一个事务
少林码僧·2025-02-21 12:09

【MYSQL面试题】MySQL的事务隔离级别有哪些？

MYSQL有四大隔离级别，分别是：读未提交，读已提交，可重复读，串行化。
丢了尾巴的猴子·2025-02-21 12:09

MySQL中的事务隔离级别有哪些？

MySQL提供了四种事务隔离级别，下面为你详细介绍：1.读未提交含义：这是最低的隔离级别，允许一个事务读取另一个未提交事务的数据。优点：并发性能高，因为读取操作不会被阻塞。缺点：会产生脏读问题。
我荔枝呢！·2025-02-21 11:27

HDFS分布文件系统（Hadoop Distributed File System）

的架构与原理三、HDFS特性四.HDFS的常用命令1.显示HDFS指定路径下的所有文件2.在HDFS上创建文件夹3.上传本地文件到HDFS4.查看文件5.删除HDFS上的文件或者目录6.修改指定文件的权限信息（读、
柿子小头·2025-02-21 08:38

【大数据分析】Spark SQL查询：使用SQL命令

在SparkSQL编写SQL命令时，它们将被转换为DataFrame上的操作。通过连接到Spark的Thrift服务器，它们可以通过标准的JDBC或ODBC协议从应用服务器连接到Spark。
sword_csdn·2025-02-21 02:58

如何使用Spark SQL进行复杂的数据查询和分析

使用SparkSQL进行复杂的数据查询和分析是一个涉及多个步骤和技术的过程。
Java资深爱好者·2025-02-21 01:22

#渗透测试#批量漏洞挖掘#畅捷通T+远程命令执行漏洞

免责声明本教程仅为合法的教学目的而准备，严禁用于任何形式的违法犯罪活动及其他商业行为，在使用本教程前，您应确保该行为符合当地的法律法规，继续阅读即表示您需自行承担所有操作的后果，如有异议，请立即停止本文章读。
独行soc·2025-02-20 12:28

一键安装KES-RWC读写分离集群

该类集群中所有备库均可对外提供查询能力，从而减轻了主库的读负载压力，可实现更高的事务吞吐率；该软件支持在多个备库间进行读负载均衡。
banjin·2025-02-20 11:49

Redis主从复制

角色：主节点（Master）：负责处理客户端的写（或者读）请求，并将写操作同步到从节点。从节点（Slave）：负责处理客户端的读请求，并将主节点发送过来的数据
小松聊PHP进阶·2025-02-20 11:16

Redis主从复制配置

1.主从复制原理 Redis一般是使用一个Master节点来进行写操作，而若干个Slave节点进行读操作，Master和Slave分别代表了一个个不同的RedisServer实例。
土尔奇酱·2025-02-20 10:13

消息队列MQ技术的原理和IBM MQ的基本操作

消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。
Chelseady·2025-02-20 10:08

C语言——算找零

1.7读整数使用一个新的函数：scanf(“”);scanf("%d",&zh
yiqi_perss·2025-02-20 09:04

如果MLlib 中没有所需要的模型，如何使用 Spark 进行分布式训练？

如果MLlib中没有你所需要的模型，并且不打算结合更强大的框架（如TensorFlowOnSpark或Horovod），仍然可以使用Spark进行分布式训练，但需要手动处理训练任务的分配、数据准备、模型训练
是纯一呀·2025-02-20 08:57

redis 如何保证缓存和数据库一致性？解决策略如下

【策略3】读Redis，命
Foolforuuu·2025-02-20 08:23

27岁大龄转码秋招惨败，朋友劝我转Java来得及吗？还是继续走前端或机器学习？

同学提问：211建筑本科，22年毕业后gap一年转码去了英国读的QS100的it的水硕（24年12月份毕业），转码后对就业形势认知不足，时间全花在课业上，八股文和算法准备的不充足，秋招算是惨败。读研
程序员yt·2025-02-20 06:37

UVA10608 Friends 题解

0x01STEP1读题审题UVA10608Friends题面翻译读完题就知道，这题用并查集。本人太弱，就用带权并查集做。
W9095·2025-02-20 02:03

第三日八股文

写操作：先更新数据库，再删除缓存读操作：先从缓存中读取数据，读取成功则直接返回；读取失败，去数据库中读取，读取完毕后写入缓存中。
是钤不是铃·2025-02-20 01:32

使用 Docker 部署 Apache Spark 集群教程

简介ApacheSpark是一个强大的统一分析引擎，用于大规模数据处理。
努力的小T·2025-02-19 20:48

笔记：DataSphere Studio安装部署流程

一、标准版部署标准版：有一定的安装难度，体现在Hadoop、Hive和Spark版本不同时，可能需要重新编译，可能会出现包冲突问题。适合于试用和生产使用，2~3小时即可部署起来。
右边com·2025-02-19 13:15

HIVE- SPARK

日常记录备忘Hive修改字段类型之后（varchar->string）Hive可以查到数据，Presto查询报错;分区字段数据类型和表结构字段类型不一样；spark-sql分区表和非分区表兼容问题，不能关联可以建临时表把分区数据导入
流川枫_·2025-02-19 13:14

spark为什么比mapreduce快？

作者：京东零售吴化斌spark为什么比mapreduce快？
·2025-02-19 11:55

spark为什么比mapreduce快？

作者：京东零售吴化斌spark为什么比mapreduce快？
·2025-02-19 11:22

Spark中Dataset方法详解

一、数据清洗核心方法1.处理缺失值方法说明示例代码na().drop()删除包含空值的行Datasetcleaned=dataset.na().drop();na().fill(value)用指定值填充所有空值Datasetfilled=dataset.na().fill(0);na().fill(Map)按列填充不同值Mapfills=newHashMapunique=dataset.dropD
小巫程序Demo日记·2025-02-19 10:53

第17天-整合Redis缓存改造三级分类，并解决缓存击穿、穿透、雪崩、一致性问题

即时性、数据一致性要求不高的访问量大且更新频率不高的数据（读多，写少）举例：电商类应用，商品分类，商品列表等适合缓存并加一个失效时间（根据数据更新频率来定），后台如果发布一个商品，买家需要5分钟才能看到新的商品
zenggeweiss·2025-02-19 08:35

探索大数据处理：利用 Apache Spark 解锁数据价值

探索大数据处理：利用ApacheSpark解锁数据价值大家好，我是你们熟悉的大数据领域自媒体创作者Echo_Wish。今天，我们来聊聊如何利用ApacheSpark进行大规模数据处理。
Echo_Wish·2025-02-19 07:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他