spark内核

linux驱动开发 编译内核模块生成ko驱动文件

1.加载内核简介Linux内核的整体架构本就非常庞大，其包含的组件也非常多。而我们怎样把需要的部分都包含在内核中呢？一种方法是把所有需要的功能都编译到Linux内核中。
嵌入式_笔记·2025-03-04 02:33

YashanDB安装前服务器准备

23.3/zh/%E5%AE%89%E8%A3%85%...服务器配置项目推荐配置最低配置操作系统CentOS7.6以上，KylinOSV10，openEuler22.03如需使用大页内存，则要求Linux内核版本为
·2025-03-04 02:13

linxu驱动入门基础课一（GPIO控制LED灯）基于RK3568

虽然GPIO控制LED是最简单的linux驱动，但是是初学者入门必须跨过的门槛，里面很多基础知识点，有GPIO的控制原理，字符设备驱动，设备树，gpio和pinctrl子系统，内核模块原理等等，这些知识点非常重要
石头嵌入式·2025-03-04 02:02

hive-staging文件问题——DataX同步数据重复

所以会在相应目录下生成hive-staging文件；2.Hive-sql任务执行过程中出现异常，导致hive-staging文件未删除，未出现异常时，hive会自行删除hive-staging文件；3.使用spark-sqlonyarn
Aldebaran α·2025-03-03 23:38

避免Hive和Spark生成HDFS小文件

Hive和spark-sql是两个在常用的大数据计算分析引擎，用户直接以SQL进行大数据操作，底层的数据存储则多由HDFS提供。
穷目楼·2025-03-03 22:36

2024年Android最全Android组件内核之Activity调用栈分析（一）(1)，Android面试题集锦在这里

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化学习资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！起源Activity是用户交互的第一接口，他提供了
2301_82243558·2025-03-03 21:50

Ubuntu 搭建PPTP服务器

检查当前系统是否支持MPPE模块sudomodprobeppp-compress-18&&echoMPPEisok输出：MPPEisok，则说明内核支持MPPE模块，否则需升级内核到2.6.15以上版本安装
RookieLeslie·2025-03-03 20:18

机器学习_PySpark-3.0.3随机森林回归(RandomForestRegressor)实例

机器学习_PySpark-3.0.3随机森林回归(RandomForestRegressor)实例随机森林回归(RandomForestRegression):任务类型:随机森林回归主要用于回归任务。
Mostcow·2025-03-03 18:01

阿里云Milvus 2.5：支持全文检索，1次查询实现文本+向量双精度匹配

目前，阿里云向量检索服务Milvus版（简称阿里云Milvus）集成开源Milvus2.5版本内核，在支持向量检索的基础上，新增支持原生全文检索、基于特定词汇的精准文本匹配等功能，在RAG、多模态搜索等场景下搜索精度明显提升
·2025-03-03 17:24

C语言：51单片机 结构体系（带最小系统设计图）

注：本案例采用AT89C51系列单片机单片机的内核89系列单片机型号由3个部分组成，分别是前缀、型号、后缀，格式为AT89C(LV\、S)XXXX。前缀由字母组成，表示某某公司的产品。
练习&两年半·2025-03-03 13:50

强者联盟——Python语言结合Spark框架

引言：Spark由AMPLab实验室开发，其本质是基于内存的快速迭代框架，“迭代”是机器学习最大的特点，因此非常适合做机器学习。
博文视点·2025-03-03 12:15

Spark技术系列（三）：Spark算子全解析——从基础使用到高阶优化

Spark技术系列（三）：Spark算子全解析——从基础使用到高阶优化1.算子核心概念与分类体系1.1算子本质解析延迟执行机制：转换算子构建DAG，行动算子触发Job执行任务并行度：由RDD分区数决定（
数据大包哥·2025-03-03 12:11

Linux服务器防火墙白名单访问策略的配置示例

服务器的动态防火墙管理工具(即firewalld)，来实现服务或端口的访问控制，firewalld主要用于管理Linux系统中的防火墙规则，firewalld不是一个独立的防火墙软件，他基于Linux内核的
一望无际的大草原·2025-03-03 11:34

大数据经典技术解析：Hadoop+Spark大数据分析原理与实践

ApacheHadoop和ApacheSpark是目前主流开源大数据框架。由于其易于部署、高容错性、并行计算能力强、适应数据量大、可编程、社区支持广泛等特点，大大提升了大数据应用的效率和效果。
AI天才研究院·2025-03-03 10:27

带缓冲I/O 和不带缓冲I/O的区别与联系

首先要明白不带缓冲的概念：所谓不带缓冲，并不是指内核不提供缓冲，而是只单纯的系统调用，不是函数库的调用。
amoscykl·2025-03-03 08:11

DeepSeek 开源周五个开源项目，引领 AI 创新？

Day1:FlashMLA项目介绍FlashMLA是一个为HopperGPU设计的高效解码内核，专门用于大型语言模型（
LaughingZhu·2025-03-03 08:09

Spark核心之06：知识点梳理

spark知识点梳理spark_〇一1、spark是什么spark是针对于大规模数据处理的统一分析引擎，它是基于内存计算框架，计算速度非常之快，但是它仅仅只是涉及到计算，并没有涉及到数据的存储，后期需要使用
小技工丨·2025-03-03 07:03

【面试】Java 中的 BIO、NIO 和 AIO：区别、使用及实例

线程发起IO请求，不管内核是
刘小炮吖i·2025-03-03 02:54

进程基本概念和通信方式

一个程序可以对应多个进程.进程是资源申请,高度和独立运行的单位,因此,它使用系统中的运行资源,而程序不能申请系统资源,不能被系统高度也不能作为独立运行的单位,因此它不占系统运行资源.进程组成：操作系统用来管理进行的内核对象内
Chasing追～·2025-03-02 19:57

Kubernetes kubelet inotify

inotify是一个Linux内核子系统，用于监控文件系统事件。它允许应用程序注册对特定文件或目录的监控，并在这些文件或目录发生变化时接收通知。inotify是一种
summer_west_fish·2025-03-02 18:24

Airflow和PySPARK实现带多组参数和标签的Amazon Redshift数据仓库批量数据导出程序

设计一个基于多个带标签SQL模板作为配置文件和多组参数的PySPARK代码程序，实现根据不同的输入参数，用Airflow进行调度，自动批量地将AmazonRedshift数据仓库的数据导出为Parquet
weixin_30777913·2025-03-02 17:45

Android构建系统 - 03 编译执行流程

文章目录执行编译Linux内核编译make编译系统选择编译命令makem..makemmmmma...其他命令代码搜索导航指令makeclean/update-apiMakefile分类解析过程树根节点
Mr.pyZhang·2025-03-02 17:12

单片机FLASH和RAM内存分布

STM32内置有Flash和RAM（Flash分为NorFlash和NandFlash，STM32M3、M4内核的单片机内为NorFlash，程序可以直接在其运行；RAM分为SRAM和DRAM，STM32
BachelorTse·2025-03-02 16:04

FreeRTOS空闲任务和钩子函数

FreeRTOS空闲任务（IdleTask）1.空闲任务的概念空闲任务是FreeRTOS中一个特殊的任务，由RTOS内核在调度器启动时自动创建。
古希腊掌握嵌入式的神·2025-03-02 16:02

Linux：简单理解文件系统内附Linux内核设计与实现PDF下载地址

简单理解文件系统文件系统ext2文件系统文件的存储文件的获取文件系统文件存储的方式有线性存储和离散存储两种，线性存储可能会导致磁盘的利用率降低，产生磁盘碎片，离散存储方式会提高程序对磁盘的利用率，以下是Linux内核简设计与实现中关于文系统的一段话的一部分
℃绝心恋·2025-03-02 15:24

深度对比Linux软链接和Windows快捷方式

Linux软链接Windows快捷方式文件类型特殊文件类型（symboliclink）.lnk扩展名文件存储内容纯文本路径二进制结构（含GUID等元数据）文件大小路径长度决定（约100B）固定约1KB系统识别内核级支持
秋の水·2025-03-02 15:24

STMicroelectronics 系列：STM32G4 系列_（2）.STM32G4系列核心架构

STM32G4系列核心架构1.介绍STM32G4系列是STMicroelectronics推出的一款高性能、低功耗的32位微控制器系列，基于ArmCortex-M4内核。
kkchenkx·2025-03-02 12:58

web集群(LVS-DR)

现在LVS已经是Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁
Spike()·2025-03-02 11:47

HTML学习笔记

文章目录(一)HTML简介一、网页1.什么是网页2.什么是HTML二、常用的浏览器1.常用的浏览器2.浏览器内核（渲染引擎）3.web标准(二)HTML标签一、HTML语法规范1.基本语法概述2.标签的关系二
誓死守护发际线·2025-03-02 09:33

VMware各个软件的作用

以下结合其核心产品体系，详细解析各软件的功能定位与业务价值：一、基础虚拟化平台VMwarevSphere作为企业级服务器虚拟化的核心引擎，vSphere通过ESXi虚拟化内核实现对物理服务器的资源切割，
The god of big data·2025-03-02 08:21

教程 | 在 Linux 环境中安装 Docker（含2025最新镜像站加速，实测可用）

准备工作系统要求64位Linux系统（内核3.10或更高版本）。确保已安装curl或wget工具。以root用户或具有sudo权限的用户执行以下操作。卸载旧版本
The god of big data·2025-03-02 08:20

入门Apache Spark：基础知识和架构解析

介绍ApacheSparkSpark的历史和背景ApacheSpark是一种快速、通用、可扩展的大数据处理引擎，最初由加州大学伯克利分校的AMPLab开发，于2010年首次推出。
juer_0001·2025-03-02 08:19

鸿蒙轻内核M核源码分析系列二一 05 文件系统FatFS

可以参考之前的系列文章，《鸿蒙轻内核M核源码分析系列十九MuslLibC》中介绍了相关的接口，那些接口会调用VFS文件系统中操作接口，然后进一步调用FatFS文件操作接口。
愿天堂没有996·2025-03-02 07:45

Spark核心算子对比：`reduceByKey`与`groupByKey`源码级解析及生产调优指南

Spark核心算子对比：reduceByKey与groupByKey源码级解析及生产调优指南1.核心机制对比在Spark中，reduceByKey和groupByKey都是对键值对RDD（RDD[(K,
数据大包哥·2025-03-02 07:13

CEF桌面应用的自动化

开发跨平台桌面软件，目前比较流行的框架有CEF，是基于Chromium浏览器内核的。这样的PC应用，同样可以使用Selenium进行自动化测试。
大胖丫·2025-03-02 05:28

Linux 4.xx内核+Go 1.15出core排查

Goruntime出core在使用gozero框架的开发数据库管理服务的过程中，经常出core。通过dlv查看core的位置，各个地方都有，典型的有以下两种：runtime在执行init函数时，某个空串对应的地址上其长度不对，应该是0，却是一个负值。runtime中初始化timer时，timer的某个应该为正整数的属性，变成了负值。明确是踩了内存，但一时间找不到思路。0x01怀疑是CGO由于CGO
1-programmer·2025-03-02 03:44

zswap 数据结构维护解析

zswap数据结构维护解析zswap是Linux内核中的一个前端压缩交换（swap）机制，它在内存中维护一个zpool来存储被压缩的页面，以减少磁盘I/O并提高性能。
仙度瑞拉快点跑·2025-03-02 03:44

【Linux 进程状态】—— 从创建到消亡的全生命周期

欢迎评论区留言交流个人主页ZyyOvO本文专栏➡️Linux驾驭之道掌控操作系统的艺术与哲学各位于晏，亦菲们请看引言==进程=内核数据结构+自己的代码和数据==系统调用fork函数功能返回值代码层面理解进程状态
一整颗红豆·2025-03-02 03:40

STM32MP157A-DK1开发板评估：官方OpenSTLinux烧录

STM32MP157A-DK1开发板是一款基于STMicroelectronics的STM32MP1系列微处理器的开发板，该系列微处理器结合了Cortex-A7和Cortex-M4内核。
2301_79326616·2025-03-02 02:39

解锁Linux性能密码：25个实用调优技巧

目录一、引言二、系统资源监控工具2.1top和htop2.2vmstat2.3iostat三、内核参数优化3.1调整swappiness参数3.2优化I/O调度器3.3调整dirty_ratio和dirty_background_ratio3.4
大雨淅淅·2025-03-02 02:37

【oracle19c静默安装RAC】

规划用户组和用户软件目录规划整体数据库安装规划虚拟机准备操作系统安装yum源配置openfiler安装安装前准备配置host文件（rac1和rac2）关闭防火墙（rac1和rac2）关闭Selinux（rac1和rac2）安装依赖包（rac1和rac2）修改内核参数
sqlboy-yuzhenc·2025-03-02 01:32

linux日志管理_日志系统

Linux内核由很多子系统组成，包括网络、文件访问、内存管理等。子系统需要给用户传送一些消息，这些消息内容包括消息的来源及其重要性等。
Guff_hys·2025-03-02 01:59

【系统稳定性】1.11 QVM稳定性问题分析

这里我们把qvm的异常归类为两类问题，如下：qvm进程异常qmv中la异常qvm进程异常就很好理解了，我们就把他作为一个qnx内核上
高桐@BILL·2025-03-02 00:21

科技快讯 | DeepSeek宣布开源DeepGEMM；多个团队开发AI论文反识别技术；OpenAI GPT 4.5现身Android测试版，即将发布

该库采用CUDA编写，在安装过程中无需编译，通过使用轻量级的即时编译（JIT）模块在运行时编译所有内核。FP
最新科技快讯·2025-03-01 23:18

2-1文件描述符

2文件描述符1.1文件描述符表file1虚拟地址空间可以用来加载程序数据对应一段连续的内存地址，其实位置为0这个内存地址是虚拟的，并不是物理内存的0地址当运行磁盘上的一个可执行程序，就会得到一个进程，内核会给每一个进程创建一个虚拟地址空间
要好好养胃·2025-03-01 22:07

或许我们都被分库分表约束了思维

从业数据库领域三年有余了，从分库分表中间件到数据库团队内核学到了很多东西。也接触了很多项目，包括TiDB、Vitess、Polardb、StarDB等等。
京东云开发者·2025-03-01 19:16

spark为什么比mapreduce快？

作者：京东零售吴化斌spark为什么比mapreduce快？
京东云开发者·2025-03-01 19:46

自由软件与Linux:一段共同的革命性旅程

文章详细介绍了自由软件的定义、GNU项目的诞生、Linux内核的发展，以及两者如何结合形成了完整的GNU/Linux操作系统。
寒水馨·2025-03-01 16:33

通过理解 sk_buff 深入掌握 Linux 内核自定义协议族的开发实现

要开发Linux内核中的自定义协议族（如私有传输层或网络层协议），需基于sk_buff的结构和操作，结合内核网络栈的扩展机制。
109702008·2025-03-01 16:00

浅析eBPF

eBPF与Jaeger/Zipkin的区别及先进性四、使用eBPF的开源软件五、开源软件的局限性或待实现功能猫哥说一、eBPF原理eBPF(extendedBerkeleyPacketFilter)是一种内核技术
9命怪猫·2025-03-01 12:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他