Spark大数据平台源码分析

《深度剖析Android 12 SystemUI锁屏通知布局亮屏流程：从源码到实现》

优化后文章结构：1.前言强调锁屏通知布局的重要性及分析目的，引出后续源码分析的必要性。2.核心类解析KeyguardViewMediator：锁屏核心逻辑控制，处理亮屏/息屏事件分发。
KdanMin·2025-03-27 12:35

hive sql 正则 提取括号中内容

我整理的一些关于【数据】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/eDOcp1使用HiveSQL正则提取括号中的内容在数据分析和处理的过程中，尤其是在大数据平台
Rideo-rax·2025-03-27 11:58

Redis原理：watch命令

源码分析//监控对应的keyvoidwatchCommand(client*c){intj;if(c->flags&CLIENT_MULTI){addReplyError(c,"WATCHins
csjane1079·2025-03-27 11:27

Spark大数据分析与实战笔记（第四章 Spark SQL结构化数据文件处理-01）

文章目录每日一句正能量第4章SparkSQL结构化数据文件处理章节概要4.1SparkSQL概述4.1.1SparkSQL的简介4.1.2SparkSQL架构每日一句正能量世事洞明皆学问，人情练达即文章
想你依然心痛·2025-03-27 10:19

Hadoop/Spark 生态

Hadoop/Spark生态是大数据处理的核心技术体系，专为解决海量数据的存储、计算和分析问题而设计。以下从底层原理到核心组件详细讲解，帮助你快速建立知识框架！一、为什么需要Hadoop/Spark？
不辉放弃·2025-03-27 09:15

数据湖和Apache Iceberg，Apache Hudi，Delta Lake

数据湖这个词目前已经流行开来，逐步被数据相关的从业者接受，可能还有很多人不太清楚它和Hadoop，Hive，Spark这些大数据系统的区别，简单说数据湖是个业务概念，主要是为了区别传统数仓这个概念的（传统数仓的定义
西土城计划·2025-03-27 05:17

从问题排查到源码分析：ActiveMQ消费端频繁日志刷屏的秘密

最近优化了一个ActiveMQ消费端应用消费速度慢的问题，原先采用Spring的@Scheduled定时每秒调用ActiveMQMessageConsumer.receive(2000)拉取消息并同步处理，简化后的代码如下：@Scheduled(cron="1/0?")publicvoidconsumer(){newThread(()->{try{logger.info("ActiveMQClie
·2025-03-27 02:59

PySpark二：常见数据格式及如何读写

在日常工作中，常见的数据文件格式有csv,json和parquet.Comma-separatedvalues(CSV)是一种直接以纯文本方式保存的文件，通常第一行定义了列名，后面是数据。没列之间用逗号分割。因为这个格式是纯文本的，几乎可以用文本编辑器都可以打开。Json也是常见的格式，个人理解可以看做是Key-valuepair来保存数据。如果有很多行数据，每一行的数据都有相同的key的话，个人
·2025-03-26 21:52

第30周Java分布式入门 ThreadLocal

章节分为六大模块：ThreadLocal的两大使用场景ThreadLocal所带来的好处ThreadLocal的主要方法及使用顺序ThreadLocal原理源码分析使用ThreadLocal的注意点和使用规范从下一个小节开始
kill bert·2025-03-26 14:25

读取hdfs上snappy压缩文件并发送kafka的两种方式速度测试

snappy压缩的文件，要把这份文件中的数据读出来并发送给kafka解决思路平时我90%的时间都是在消费kafka，现在要写入kafka，我承认我第一反应是懵逼的；不过这并难不倒天资聪慧的我，我首先想到的就是用spark
今天上上签·2025-03-26 04:40

「React源码分析」一. React开源项目概览

2021SC@SDUSCReact简介正如React项目官网所说，React是一个「用于构建用户界面的JavaScript库」。人们往往也会将React与Vue、Angular作为前端三大框架进行对比（但如今Angular的热度也越来越小了，而前两者的社区规模和热度仍在不断发展壮大）。React相对其他前端框架（说前端框架其实并不准确，因为React早已不再单纯地面向“前端”，本身也并不是所谓的“
英国大爷扫广场·2025-03-26 03:58

Ray 源码分析(16)—Ray Serve

前言RayServe是一个可扩展的模型服务库，用于构建在线推理API。Serve与框架无关，因此你可以使用一个单一的工具包来服务从使用PyTorch、TensorFlow和Keras等框架构建的深度学习模型，到Scikit-Learn模型，再到任意Python业务逻辑的所有内容。它具有多项用于服务大语言模型的特性和性能优化，例如响应流、动态请求批处理、多节点/多GPU服务等。据说OpenAI背后用
Jim.Li·2025-03-26 01:15

Ray 源码分析系列(10)—stats

Overviewsrc/ray/stats下面包含了所有要采集的指标，这些指标都是以opencensusproto的格式进行存放，在可视化工具里面用promethus和grafana进行展示。
Jim.Li·2025-03-26 01:45

Ray 源码分析系列(6)—CoreWorker

CoreWorkerCoreWorker是Ray中最核心的组件之一,它封装了分布式系统的复杂性,为上层应用提供简单统一的编程模型。它提供了任务执行、对象管理、Actor调用等核心功能，每个组件都有明确的职责划分，通过良好的接口设计实现了功能解耦和高效协作。核心文件功能总结文件名主要类核心功能关键特性core_worker.h/ccCoreWorker工作进程管理-任务提交执行-对象存取-Actor
Jim.Li·2025-03-26 01:45

Ray 源码分析系列(2)—编译

编译步骤1.下载代码仓库gitclonehttps://github.com/ray-project/ray.git2.下载官方镜像由于习惯用gpu的镜像开发与调试，直接来个gpu版本的。当然这个是非必须的，也可以直接用conda创建虚拟环境，总之隔离主机环境十分必要。dockerpullrayproject/ray:latest-gpu3.安装依赖3.1虚拟环境#创建虚拟环境myenvconda
Jim.Li·2025-03-26 01:45

40% 降本：多点 DMALL x StarRocks 的湖仓升级实战

作为DMALLOS数字化能力的技术底座，大数据平台历经多次迭代平稳支撑了公司ToB业务的快速开展。随着国家产业升级和云原生技术的成熟，平台架构也从存算一体逐步转向存算分离。
·2025-03-25 23:41

QT USB设备开发

QTUSB设备开发使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-03-25 19:28

从android源码分析activity的启动流程【一】

从android源码分析activity的启动流程本文从源码角度去深入分析、探索activity的真正启动流程，为后续hook主流框架的探索，打下夯实基础。
itbird01·2025-03-25 12:42

web前端期末大作业：网站设计与实现——咖啡网站HTML+CSS+JavaScript

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
web学生网页设计·2025-03-25 11:05

用HTML+CSS仿网易云音乐网站(6个页面) (1)

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
web学生网页设计·2025-03-25 11:05

Binder机制源码分析

Binder机制源码分析一、前言Binder是Android系统中最重要的进程间通信机制，它不仅是应用程序和系统服务通信的基础，也是Android系统安全机制的重要组成部分。
Ya-Jun·2025-03-25 05:18

【源码分析设计模式 8】mybatis中的代理模式

六、动态代理======1、动态代理特点代理对象不需要实现接口，但是目标对象要实现接口；代理对象的生成，是利用JDK的API，动态的在内存中构建代理对象；动态代理也叫JDK代理或接口代理；2、使用JDK实现动态代理jdk实现动态代理必须有实现接口InvocationHandler的处理类，用于执行被代理类的方法。（1）接口IMoviepackagedesignMode.advance.proxy.
2401_84048832·2025-03-25 00:10

html大学生网站开发实践作业：传统文化网页设计题材【绒花6页】HTML+CSS+JavaScript (1)

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
@码出未来-web网页设计·2025-03-24 20:09

【html5期末大作业】基于HTML仿QQ音乐官网网站

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
IT-司马青衫·2025-03-24 19:29

【Python系列】高效Parquet数据处理策略：合并与分析实践

Parquet作为一种高效的列存储格式，被广泛应用于大数据处理框架中，如ApacheSpark、ApacheHive等。
小团团0·2025-03-24 12:41

Linux内核网络源码分析——发送数据

原文地址:http://www.penna.cn/blog/?p=218UDP发送：|sys_writefs/read_write.c|sock_writevnet/socket.c|sock_sendmsgnet/socket.c|inet_sendmsgnet/ipv4/af_inet.c|udp_sendmsgnet/ipv4/udp.c|ip_build_xmitnet/ipv4/ip_o
hellolwl·2025-03-24 04:22

Java架构师成长之路

进行优化分析MVCC原理剖析日志机制解析2.框架源码掌握Spring底层原理带你手写一个Spring解析IOC、AOP源码、以及事务原理3.并发编程剖析Java底层锁机制CAS、JUC工具使用、AQS源码分析以及并发的集合类的讲解
hweiyu00·2025-03-24 00:50

spark explain如何使用

在Spark中，explain是分析SQL或DataFrame执行计划的核心工具，通过不同模式可展示查询优化和执行的详细信息，默认情况下，这个语句只提供关于物理计划的信息。
fzip·2025-03-24 00:14

【Spark】查询优化中分区（Partitioning）和分桶（Bucketing）是什么关系？什么时候应当分区，什么时候应当分桶？

在学习Spark的过程中，分区和分桶乍一看很像，都能为了计算加速，但是仔细一想，一查还是有些差异的，甚至说差异很大。那么具体有什么差异点，有什么相同点。我做出了如下的整理，供大家参考，欢迎指正。
petrel2015·2025-03-23 23:37

漫谈JVM

2019独角兽企业重金招聘Python工程师标准>>>背景介绍创建了一个技术类公众号:一起源码分析，里面会分享最新的开源代码、源码解读、开发技巧等，欢迎大家关注。
weixin_34111790·2025-03-23 21:50

pyspark学习rdd处理数据方法——学习记录

python黑马程序员"""文件，按JSON字符串存储1.城市按销售额排名2.全部城市有哪些商品类别在售卖3.上海市有哪些商品类别在售卖"""frompysparkimportSparkConf,SparkContextimportosimportjsonos.environ
亭午·2025-03-23 20:12

数据湖Iceberg、Hudi和Paimon比较_数据湖框架对比(1)

ApacheIcebergApacheHudiApachePaimonSchemaEvolutionALLback-compatibleback-compatibleSelf-definedschemaobjectYESNO(spark-schema
2301_79098963·2025-03-23 17:45

Apache大数据旭哥优选大数据选题

售后态度和技术都很重要定制按需求做要求不高就实惠一点定制需提前沟通好怎么做，这样才能避免不必要的麻烦python、flask、Django、mapreduce、mysqljava、springboot、vue、echarts、hadoop、spark
Apache大数据旭·2025-03-23 13:12

Azure Delta Lake、Databricks和Event Hubs实现实时欺诈检测

AzureEventHubs/Kafka摄入实时数据，通过DeltaLake实现Exactly-Once语义，实时欺诈检测（流数据写入DeltaLake，批处理模型实时更新），以及具体实现的详细步骤和关键PySpark
weixin_30777913·2025-03-23 03:12

探索数据安全新境界：Apache Spark SQL Ranger Security插件深度揭秘

探索数据安全新境界：ApacheSparkSQLRangerSecurity插件深度揭秘项目地址:https://gitcode.com/gh_mirrors/sp/spark-ranger随着大数据的爆炸性增长
乌昱有Melanie·2025-03-22 23:44

基于Azure云平台构建实时数据仓库

设计Azure云架构方案实现AzureDeltaLake和AzureDatabricks，结合电商网站的流数据，构建实时数据仓库，支持T+0报表（如电商订单分析），具以及具体实现的详细步骤和关键PySpark
weixin_30777913·2025-03-22 18:15

硅谷企业的大数据平台架构什么样？看看Twitter、Airbnb、Uber的实践

导读：本文分析一下典型硅谷互联网企业的大数据平台架构。
大数据v·2025-03-22 04:05

C语言，记录一次局部变量被意外修改的问题

1、源码分析voidmain(void){init_gpio();init_face();face_power_up();begin_face_rec
三日沐水·2025-03-22 01:39

Netty源码分析之Reactor线程模型详解

在分析源码之前，我们先分析，哪些地方用到了EventLoop？NioServerSocketChannel的连接监听注册NioSocketChannel的IO事件注册NioServerSocketChannel连接监听在AbstractBootstrap类的initAndRegister()方法中，当NioServerSocketChannel初始化完成后，会调用case标记位置的代码进行注册。f
Java-进阶架构师·2025-03-22 01:36

大数据学习（75）-大数据组件总结

CDH是一个大数据平台，简化和加速了大数据处理分析的部署和管理。CDH提供Hadoop的
viperrrrrrr·2025-03-21 22:42

cv2 orb 图像拼接_图像拼接Opencv源码重构

一.本文所做的事1.重构了Opencv图像拼接的源代码，整个代码是面向过程的；2.在赵春江源码分析基础上，对一些细节部分进行说明。
是佐罗而非索隆·2025-03-21 17:29

优化Apache Spark性能之JVM参数配置指南

ApacheSpark运行在JVM之上，JVM的垃圾回收（GC）、内存管理以及堆外内存使用情况，会直接对Spark任务的执行效率产生影响。
weixin_30777913·2025-03-21 13:58

GraphCube、Spark和深度学习技术赋能快消行业关键运营环节

GraphCube图多维数据集技术、Spark大数据分析处理技术和深度学习技术的结合，为这些环节提供了智能化、动态化和实时化的解决方案，显著提升业务运营效率和企业利润。一、技术
weixin_30777913·2025-03-21 13:28

【新品发售】NVIDIA 发布全球最小个人 AI 超级计算机 DGX Spark

GTC2025大会上，NVIDIA正式推出了搭载NVIDIAGraceBlackwell平台的个人AI超级计算机——DGXSpark。赞奇可接受预订，直接私信后台即刻预订！
·2025-03-21 12:09

API item_get 在电商平台的核心作用以及如何测试

为了解决这一问题，电商大数据平台应运而生，而item_getAPI作为获取商品详情的关键接口，在其中扮演着至关重要的角色。
index_all·2025-03-21 12:11

Kafka Connect Node.js Connector 指南

KafkaConnectNode.jsConnector指南kafka-connectequivalenttokafka-connect:wrench:fornodejs:sparkles::turtle
丁操余·2025-03-21 12:39

JAVA学习-练习试用Java实现“对大数据集中的网络日志进行解析和异常行为筛查”

问题：编写一个Spark程序，对大数据集中的网络日志进行解析和异常行为筛查。解答思路：下面是一个简单的Spark程序示例，用于解析网络日志并筛查异常行为。
守护者170·2025-03-21 07:30

JAVA学习-练习试用Java实现“实现一个Spark应用，对大数据集中的文本数据进行情感分析和关键词筛选”

问题：实现一个Spark应用，对大数据集中的文本数据进行情感分析和关键词筛选。
守护者170·2025-03-21 07:30

Hive与Spark的UDF：数据处理利器的对比与实践

文章目录Hive与Spark的UDF：数据处理利器的对比与实践一、UDF概述二、HiveUDF解析实现原理代码示例业务应用三、SparkUDF剖析-JDBC方式使用SparkThriftServer设置通过
窝窝和牛牛·2025-03-20 23:22

尚硅谷电商数仓6.0，hive on spark,spark启动不了

在datagrip执行分区插入语句时报错[42000][40000]Errorwhilecompilingstatement:FAILED:SemanticExceptionFailedtogetasparksession
新时代赚钱战士·2025-03-20 20:57
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他