spark内核

强者联盟——Python语言结合Spark框架

引言：Spark由AMPLab实验室开发，其本质是基于内存的快速迭代框架，“迭代”是机器学习最大的特点，因此非常适合做机器学习。
博文视点·2025-03-03 12:15

Spark技术系列（三）：Spark算子全解析——从基础使用到高阶优化

Spark技术系列（三）：Spark算子全解析——从基础使用到高阶优化1.算子核心概念与分类体系1.1算子本质解析延迟执行机制：转换算子构建DAG，行动算子触发Job执行任务并行度：由RDD分区数决定（
数据大包哥·2025-03-03 12:11

Linux服务器防火墙白名单访问策略的配置示例

服务器的动态防火墙管理工具(即firewalld)，来实现服务或端口的访问控制，firewalld主要用于管理Linux系统中的防火墙规则，firewalld不是一个独立的防火墙软件，他基于Linux内核的
一望无际的大草原·2025-03-03 11:34

大数据经典技术解析：Hadoop+Spark大数据分析原理与实践

ApacheHadoop和ApacheSpark是目前主流开源大数据框架。由于其易于部署、高容错性、并行计算能力强、适应数据量大、可编程、社区支持广泛等特点，大大提升了大数据应用的效率和效果。
AI天才研究院·2025-03-03 10:27

带缓冲I/O 和不带缓冲I/O的区别与联系

首先要明白不带缓冲的概念：所谓不带缓冲，并不是指内核不提供缓冲，而是只单纯的系统调用，不是函数库的调用。
amoscykl·2025-03-03 08:11

DeepSeek 开源周五个开源项目，引领 AI 创新？

Day1:FlashMLA项目介绍FlashMLA是一个为HopperGPU设计的高效解码内核，专门用于大型语言模型（
LaughingZhu·2025-03-03 08:09

Spark核心之06：知识点梳理

spark知识点梳理spark_〇一1、spark是什么spark是针对于大规模数据处理的统一分析引擎，它是基于内存计算框架，计算速度非常之快，但是它仅仅只是涉及到计算，并没有涉及到数据的存储，后期需要使用
小技工丨·2025-03-03 07:03

【面试】Java 中的 BIO、NIO 和 AIO：区别、使用及实例

线程发起IO请求，不管内核是
刘小炮吖i·2025-03-03 02:54

进程基本概念和通信方式

一个程序可以对应多个进程.进程是资源申请,高度和独立运行的单位,因此,它使用系统中的运行资源,而程序不能申请系统资源,不能被系统高度也不能作为独立运行的单位,因此它不占系统运行资源.进程组成：操作系统用来管理进行的内核对象内
Chasing追～·2025-03-02 19:57

Kubernetes kubelet inotify

inotify是一个Linux内核子系统，用于监控文件系统事件。它允许应用程序注册对特定文件或目录的监控，并在这些文件或目录发生变化时接收通知。inotify是一种
summer_west_fish·2025-03-02 18:24

Airflow和PySPARK实现带多组参数和标签的Amazon Redshift数据仓库批量数据导出程序

设计一个基于多个带标签SQL模板作为配置文件和多组参数的PySPARK代码程序，实现根据不同的输入参数，用Airflow进行调度，自动批量地将AmazonRedshift数据仓库的数据导出为Parquet
weixin_30777913·2025-03-02 17:45

Android构建系统 - 03 编译执行流程

文章目录执行编译Linux内核编译make编译系统选择编译命令makem..makemmmmma...其他命令代码搜索导航指令makeclean/update-apiMakefile分类解析过程树根节点
Mr.pyZhang·2025-03-02 17:12

单片机FLASH和RAM内存分布

STM32内置有Flash和RAM（Flash分为NorFlash和NandFlash，STM32M3、M4内核的单片机内为NorFlash，程序可以直接在其运行；RAM分为SRAM和DRAM，STM32
BachelorTse·2025-03-02 16:04

FreeRTOS空闲任务和钩子函数

FreeRTOS空闲任务（IdleTask）1.空闲任务的概念空闲任务是FreeRTOS中一个特殊的任务，由RTOS内核在调度器启动时自动创建。
古希腊掌握嵌入式的神·2025-03-02 16:02

Linux：简单理解文件系统内附Linux内核设计与实现PDF下载地址

简单理解文件系统文件系统ext2文件系统文件的存储文件的获取文件系统文件存储的方式有线性存储和离散存储两种，线性存储可能会导致磁盘的利用率降低，产生磁盘碎片，离散存储方式会提高程序对磁盘的利用率，以下是Linux内核简设计与实现中关于文系统的一段话的一部分
℃绝心恋·2025-03-02 15:24

深度对比Linux软链接和Windows快捷方式

Linux软链接Windows快捷方式文件类型特殊文件类型（symboliclink）.lnk扩展名文件存储内容纯文本路径二进制结构（含GUID等元数据）文件大小路径长度决定（约100B）固定约1KB系统识别内核级支持
秋の水·2025-03-02 15:24

STMicroelectronics 系列：STM32G4 系列_（2）.STM32G4系列核心架构

STM32G4系列核心架构1.介绍STM32G4系列是STMicroelectronics推出的一款高性能、低功耗的32位微控制器系列，基于ArmCortex-M4内核。
kkchenkx·2025-03-02 12:58

web集群(LVS-DR)

现在LVS已经是Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁
Spike()·2025-03-02 11:47

HTML学习笔记

文章目录(一)HTML简介一、网页1.什么是网页2.什么是HTML二、常用的浏览器1.常用的浏览器2.浏览器内核（渲染引擎）3.web标准(二)HTML标签一、HTML语法规范1.基本语法概述2.标签的关系二
誓死守护发际线·2025-03-02 09:33

VMware各个软件的作用

以下结合其核心产品体系，详细解析各软件的功能定位与业务价值：一、基础虚拟化平台VMwarevSphere作为企业级服务器虚拟化的核心引擎，vSphere通过ESXi虚拟化内核实现对物理服务器的资源切割，
The god of big data·2025-03-02 08:21

教程 | 在 Linux 环境中安装 Docker（含2025最新镜像站加速，实测可用）

准备工作系统要求64位Linux系统（内核3.10或更高版本）。确保已安装curl或wget工具。以root用户或具有sudo权限的用户执行以下操作。卸载旧版本
The god of big data·2025-03-02 08:20

入门Apache Spark：基础知识和架构解析

介绍ApacheSparkSpark的历史和背景ApacheSpark是一种快速、通用、可扩展的大数据处理引擎，最初由加州大学伯克利分校的AMPLab开发，于2010年首次推出。
juer_0001·2025-03-02 08:19

鸿蒙轻内核M核源码分析系列二一 05 文件系统FatFS

可以参考之前的系列文章，《鸿蒙轻内核M核源码分析系列十九MuslLibC》中介绍了相关的接口，那些接口会调用VFS文件系统中操作接口，然后进一步调用FatFS文件操作接口。
愿天堂没有996·2025-03-02 07:45

Spark核心算子对比：`reduceByKey`与`groupByKey`源码级解析及生产调优指南

Spark核心算子对比：reduceByKey与groupByKey源码级解析及生产调优指南1.核心机制对比在Spark中，reduceByKey和groupByKey都是对键值对RDD（RDD[(K,
数据大包哥·2025-03-02 07:13

CEF桌面应用的自动化

开发跨平台桌面软件，目前比较流行的框架有CEF，是基于Chromium浏览器内核的。这样的PC应用，同样可以使用Selenium进行自动化测试。
大胖丫·2025-03-02 05:28

Linux 4.xx内核+Go 1.15出core排查

Goruntime出core在使用gozero框架的开发数据库管理服务的过程中，经常出core。通过dlv查看core的位置，各个地方都有，典型的有以下两种：runtime在执行init函数时，某个空串对应的地址上其长度不对，应该是0，却是一个负值。runtime中初始化timer时，timer的某个应该为正整数的属性，变成了负值。明确是踩了内存，但一时间找不到思路。0x01怀疑是CGO由于CGO
1-programmer·2025-03-02 03:44

zswap 数据结构维护解析

zswap数据结构维护解析zswap是Linux内核中的一个前端压缩交换（swap）机制，它在内存中维护一个zpool来存储被压缩的页面，以减少磁盘I/O并提高性能。
仙度瑞拉快点跑·2025-03-02 03:44

【Linux 进程状态】—— 从创建到消亡的全生命周期

欢迎评论区留言交流个人主页ZyyOvO本文专栏➡️Linux驾驭之道掌控操作系统的艺术与哲学各位于晏，亦菲们请看引言==进程=内核数据结构+自己的代码和数据==系统调用fork函数功能返回值代码层面理解进程状态
一整颗红豆·2025-03-02 03:40

STM32MP157A-DK1开发板评估：官方OpenSTLinux烧录

STM32MP157A-DK1开发板是一款基于STMicroelectronics的STM32MP1系列微处理器的开发板，该系列微处理器结合了Cortex-A7和Cortex-M4内核。
2301_79326616·2025-03-02 02:39

解锁Linux性能密码：25个实用调优技巧

目录一、引言二、系统资源监控工具2.1top和htop2.2vmstat2.3iostat三、内核参数优化3.1调整swappiness参数3.2优化I/O调度器3.3调整dirty_ratio和dirty_background_ratio3.4
大雨淅淅·2025-03-02 02:37

【oracle19c静默安装RAC】

规划用户组和用户软件目录规划整体数据库安装规划虚拟机准备操作系统安装yum源配置openfiler安装安装前准备配置host文件（rac1和rac2）关闭防火墙（rac1和rac2）关闭Selinux（rac1和rac2）安装依赖包（rac1和rac2）修改内核参数
sqlboy-yuzhenc·2025-03-02 01:32

linux日志管理_日志系统

Linux内核由很多子系统组成，包括网络、文件访问、内存管理等。子系统需要给用户传送一些消息，这些消息内容包括消息的来源及其重要性等。
Guff_hys·2025-03-02 01:59

【系统稳定性】1.11 QVM稳定性问题分析

这里我们把qvm的异常归类为两类问题，如下：qvm进程异常qmv中la异常qvm进程异常就很好理解了，我们就把他作为一个qnx内核上
高桐@BILL·2025-03-02 00:21

科技快讯 | DeepSeek宣布开源DeepGEMM；多个团队开发AI论文反识别技术；OpenAI GPT 4.5现身Android测试版，即将发布

该库采用CUDA编写，在安装过程中无需编译，通过使用轻量级的即时编译（JIT）模块在运行时编译所有内核。FP
最新科技快讯·2025-03-01 23:18

2-1文件描述符

2文件描述符1.1文件描述符表file1虚拟地址空间可以用来加载程序数据对应一段连续的内存地址，其实位置为0这个内存地址是虚拟的，并不是物理内存的0地址当运行磁盘上的一个可执行程序，就会得到一个进程，内核会给每一个进程创建一个虚拟地址空间
要好好养胃·2025-03-01 22:07

或许我们都被分库分表约束了思维

从业数据库领域三年有余了，从分库分表中间件到数据库团队内核学到了很多东西。也接触了很多项目，包括TiDB、Vitess、Polardb、StarDB等等。
京东云开发者·2025-03-01 19:16

spark为什么比mapreduce快？

作者：京东零售吴化斌spark为什么比mapreduce快？
京东云开发者·2025-03-01 19:46

自由软件与Linux:一段共同的革命性旅程

文章详细介绍了自由软件的定义、GNU项目的诞生、Linux内核的发展，以及两者如何结合形成了完整的GNU/Linux操作系统。
寒水馨·2025-03-01 16:33

通过理解 sk_buff 深入掌握 Linux 内核自定义协议族的开发实现

要开发Linux内核中的自定义协议族（如私有传输层或网络层协议），需基于sk_buff的结构和操作，结合内核网络栈的扩展机制。
109702008·2025-03-01 16:00

浅析eBPF

eBPF与Jaeger/Zipkin的区别及先进性四、使用eBPF的开源软件五、开源软件的局限性或待实现功能猫哥说一、eBPF原理eBPF(extendedBerkeleyPacketFilter)是一种内核技术
9命怪猫·2025-03-01 12:29

Linux内核自定义协议族开发指南：理解net_device_ops、proto_ops与net_proto_family

在Linux内核中开发自定义协议族需要深入理解网络协议栈的分层模型。net_device_ops、proto_ops和net_proto_family是三个关键结构体，分别作用于不同的层次。
109702008·2025-03-01 11:21

Spark 运行问题 java.lang.NoSuchMethodError 解决方案

一般情况，出现这种问题是因为scala和spark的版本不匹配，需要重新下载两者相匹配的版本。
@飞往你的山·2025-03-01 10:43

鸿蒙系统的架构分为四个层

鸿蒙系统的架构分为四个层次：内核层、系统服务层、框架层和应用层。每一层都有其特定的功能，并且各层之间通过接口进行交互。下面我们将详细介绍每个层次的内
荔枝寄·2025-03-01 07:27

liunx基本操作

Linux关机,重启#关机shutdown-hnow#重启shutdown-rnow查看系统,CPU信息查看系统内核版本cat/proc/version查看系统内核信息uname-a查看当前用户环境变量
峰过林·2025-03-01 05:35

如何使用Spark Streaming将数据写入HBase

在SparkStreaming中将数据写入HBase涉及到几个步骤。以下是一个基本的指南，帮助你理解如何使用SparkStreaming将数据写入HBase。
Java资深爱好者·2025-03-01 05:02

松灵机器人地盘 安装 ros 驱动 并且 发布ros 指令进行控制

$catkin_make安装●使能gs_usb内核模块●设置500k波特率和使能can-to-usb适配器sudomodpro
luoganttcc·2025-03-01 02:44

Linux 测试必须知道的命令

Linux测试必须知道的命令一、系统信息查看命令1.1uname-查看系统基本信息作用：用于显示系统的相关信息，如内核名称、主机名、内核版本等。常用参数及示例-a：显示所有信息。
那片海还在吗·2025-02-28 18:23

DeepSeek开源周Day1：FlashMLA引爆AI推理性能革命！

作为专为Hopper架构GPU（H800/H100）优化的高效解码内核，该项目一经发布便引爆社区：上线45分钟斩获400+Star，3小时突破2.
歌刎·2025-02-28 18:48

【有啥问啥】深入了解 FlashMLA：Hopper GPU 的高效 MLA 解码内核

深入了解FlashMLA：HopperGPU的高效MLA解码内核简介在人工智能(AI)领域，特别是大型语言模型(LLM)领域，对计算效率和速度的需求持续增长。
有啥问啥·2025-02-28 09:12

Spark技术系列（一）：初识Apache Spark——大数据处理的统一分析引擎

Spark技术系列（一）：初识ApacheSpark——大数据处理的统一分析引擎1.背景与核心价值1.1大数据时代的技术演进MapReduce的局限性：磁盘迭代计算、中间结果落盘导致的性能瓶颈Spark
数据大包哥·2025-02-28 09:06
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他