spark内核

网络虚拟化：

accessNICbondingNetFlow,sFlowQoS配置及策略GRE,VxLAN,OpenFlowOVS的组成部分：ovs-vswitchd:OVSdaemon,实现数据报文交换功能，和Linux内核兼容模块一同实现了基于流的交换技术
钟明家·2025-06-23 15:34

linux进程间通信(IPC) ---- 文件描述符 dup dup2

文件描述符概述文件描述符是非负整数，是文件的标识用户使用文件描述符(filedescriptor)来访问文件利用open打开一个文件时，内核会返回一个文件描述符每个进程都有一张文件描述符的表，进程刚被创建时
流光一逝&&·2025-06-23 09:28

Linux系统之grub-set-default详解

该命令依赖于/etc/default/grub中的GRUB_DEFAULT=saved配置，适用于多系统环境下的启动项管理、内核版本切换或故障排查场景。
门前灯·2025-06-23 08:23

【闲谈】对于c++未来的看法

一、C++的应用前景：老树仍发新芽1.系统级软件依然离不开C++操作系统内核、驱动
CodeWithMe·2025-06-23 07:44

高性能与安全并重的内存复制实现memcpy

尽管标准库中提供了该函数，但在一些性能敏感或对内存安全要求极高的系统中（如嵌入式、操作系统内核、图像处理等），自行实现更高效或可控版本的memcpy依然具有重要意义。
硬核科技·2025-06-23 07:11

linux 输入输出流 管道,输入输出重定向与管道命令

输入输出重定向、管道1.文件描述符：FD：内核用来追踪在内存中已经打开的文件的属性(标识)，是一个内存结构，需要空间来存放此信息2.标准输入输出INPUT:标准输入:stdin,描述符：0OUPUT:标准输出
迟子real·2025-06-23 05:29

跨域问题Access-Control-Allow-Headers 列表中不存在请求标头服务端处理方案

然后浏览器控制台一看报错信息:Access-Control-Allow-Headers列表中不存在请求标头token,这是ie浏览器的问题,谷歌浏览器没有问题.然后他说不对啊,刚才试过360的浏览器也不行啊,360浏览器内核就是
卖柴火的小伙子·2025-06-23 04:56

《Linux内核TCP/IP 实现》：协议栈源码总纲二

1.启动分析图2.数据发送流程图各层主要函数以及位置功能说明：1)sock_write：初始化msghdr{}结构net/socket.c2)sock_sendmsg:net/socket.c3)inet_sendmsg:net/ipv4/af_net.c4)tcp_sendmsg：申请sk_buff{}结构的空间，把msghdr{}结构中的数据填入sk_buff空间。net/ipv4/tcp.c
HarkerYX·2025-06-23 03:48

Linux内核中安全创建套接字：为何inet_create未导出及正确替代方案

引言在Linux内核开发中，当驱动程序需要创建网络套接字时，开发者常会遇到一个关键问题：核心函数inet_create（负责初始化IPv4套接字）并未导出到内核符号表。
109702008·2025-06-23 03:44

Linux TCP/IP协议栈中的TCP输入处理：net/ipv4/tcp_input.c解析

Linux内核的TCP/IP协议栈实现了对TCP协议的高效处理，其中net/ipv4/tcp_input.c文件扮演着关键角色，负责处理TCP数据包的输入逻辑。下面是对该文件核心功能的深入剖析。
109702008·2025-06-23 03:42

项目实战：valgrind与kmemleak——内存泄漏的终极“体检神器”

京东正版促销，支持作者：https://item.jd.com/15020438.html一、前言：内存泄漏，是每个系统工程师都要面对的“世界难题”无论是嵌入式Linux、服务器软件，还是复杂的设备驱动与内核模块
嵌入式Jerry·2025-06-23 01:33

Pyspark中的int

在PySpark中，整数类型（int）与Python或Pandas中的int有所不同，因为它基于SparkSQL的数据类型系统。
闯闯桑·2025-06-23 00:27

SylixOS 下的工作队列

1、引言1.1、工作队列的核心概念  工作队列(Workqueue)是Linux内核提供的一种异步执行机制，它允许内核开发者将任务推迟执行或分配到其他线程处理。
0 error ~ 0 warning·2025-06-22 23:15

第19篇：Linux系统启动与引导原理及OpenEuler 24.03实践

OpenEuler24.03实践文章目录Linux系统启动与引导原理及OpenEuler24.03实践一、OpenEuler24.03系统启动全流程解析1.BIOS/UEFI自检与引导加载2.GRUB2引导程序详解3.内核加载与初始化
（:满天星:)·2025-06-22 17:10

深入剖析Linux epoll模型：从LT/ET模式到EPOLLONESHOT的实战指南

一、epoll：高性能I/O复用的核心引擎epoll是Linux内核2.6+引入的高效I/O多路复用机制，专为解决C10K问题而生。
Jay Kay·2025-06-22 16:06

机器视觉工程师如何进行图像去噪和增强

python编程示例系列python编程示例系列二python的Web神器Streamlit如何应聘高薪职位C#视觉应用开发问题系列c#串口应用开发问题系列microPythonPython最小内核源码解析
zhangzhechun_02·2025-06-22 15:56

Python 工程师迈向大数据时代： Hadoop 与 Spark 框架深度解析与实战指南

Python工程师迈向大数据时代：Hadoop与Spark框架深度解析与实战指南引言亲爱的Python工程师们，欢迎来到大数据时代！
清水白石008·2025-06-22 14:52

Docker容器入门

Docker容器技术1.2Docker与传统虚拟化的区别1.3Docker的核心优势二、CentOS系统Docker环境部署2.1准备工作：系统配置2.2配置阿里云镜像仓库2.3安装Docker引擎2.4内核参数优化三
�FENG·2025-06-22 14:46

实战Spark从入门到精通（五）：Spark开发实操，先搞定Spark集群规划！

系列文章目录实战Spark从入门到精通（一）：一文带你全面了解Spark大数据处理框架实战Spark从入门到精通（二）：Spark急速上手，给小白的3分钟入门指南实战Spark从入门到精通（三）：深入理解
元飞聊技术·2025-06-22 13:09

【Spark征服之路-2.9-Spark-Core编程（五）】

RDD行动算子：行动算子就是会触发action的算子，触发action的含义就是真正的计算数据。1.reduce➢函数签名defreduce(f:(T,T)=>T):T➢函数说明聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据valrdd:RDD[Int]=sc.makeRDD(List(1,2,3,4))valreduceResult:Int=rdd.reduce(_+_)printl
·2025-06-22 12:36

Spark Streaming 原理与代码实例讲解

SparkStreaming原理与代码实例讲解1.背景介绍1.1实时流数据处理的重要性在当今大数据时代,海量的数据正以前所未有的速度不断产生。
AI智能应用·2025-06-22 12:35

pyspark底层浅析

pyspark底层浅析pyspark简介pyspark是Spark官方提供的API接口，同时pyspark也是Spark中的一个程序。
lo_single·2025-06-22 12:35

方舟自建服务器物品叠加mod,10000倍物品叠加 -90%负重 V280

工艺资源(Spark
大奇鸭·2025-06-22 11:27

MTK zephyr平台：系统休眠流程

一、概述：当内核没有需要调度的东西时，就会进入空闲状态。CONFIG_PM=y时允许内核调用PMsubsys，将空闲系统置于支持的电源状态之一。
不秃头的程序猿Gabriel·2025-06-22 10:25

Zephyr 电源管理机制深度解析：从 Tickless Idle 到平台 Suspend 实践

Zephyr的电源管理支持多个层级的节能能力：层级能力内核级Ti
damo王·2025-06-22 10:53

Linux实时扩展(PREEMPT_RT)

一.LinuxPREEMPT_RT介绍PREEMPT_RT（实时抢占补丁）是Linux内核的一个重要扩展，专门用于提高Linux系统的实时性能。
爱学习的大牛123·2025-06-22 08:37

Python大数据处理中有哪些分布式计算框架？如何选择和使用？

二、Python大数据处理中的分布式计算框架ApacheSparkApacheSpark
代码小狂热者·2025-06-22 02:05

HTML一键打包EXE串口API介绍

HTML一键打包EXE软件(HTML转EXE)支持将Web前端项目转换为Windows平台下的独立可执行程序（EXE），适用于Windows7及以上系统，无需额外配置系统环境,软件包含多种内核,包括IE
iReachers·2025-06-22 00:53

第6章 字符设备驱动(宋宝华Linux设备驱动开发详解)

第6章字符设备驱动6.1Linux字符设备驱动结构6.1.1cdev结构体在Linux内核中，使用cdev结构体描述一个字符设备，cdev结构体的定义如下所示（在vscode按ctrl+T，进行符号搜索
张在下·2025-06-21 23:46

PostgreSQL 性能优化与集群部署：PGCE 认证培训实战指南

如果你正被这些PostgreSQL生产难题困扰，是时候系统掌握数据库内核优化与高可用架构了！深度求索联合PG分会认证讲师推出《PGCE认证实战培训》，助你彻底告别性能焦虑！
····懂····2025-06-21 19:47

Red Hat Enterprise Linux Server 内核升级方案（3.10.0-1160.el7.x86_64 至 4.19.20-1.el7.x86_64）

RedHatEnterpriseLinuxServer升级内核至4.19版本升级方案：一、升级概述此方案是RedHatEnterpriseLinuxServer系统的内核从3.10.0-1160.el7
[shenhonglei]·2025-06-21 15:24

CentOS 7内核升级方案

关于升级CentOS7系统内核至4.19版本的可执行升级方案，可根据实际情况进行调整和完善，希望能对大家有所帮助：一、升级背景与目的随着业务的发展和系统稳定性的要求，当前CentOS7系统所使用的内核版本
[shenhonglei]·2025-06-21 14:51

Docker-从入门到实践

传统虚拟需要虚拟出一套硬件，在其上面运行一个完整的操作系统，在这个系统上运行所需应用进程；而容器内的应用程序直接运行在宿主的内核，容器内没有直接点内核，也没有硬件虚拟。
登登登__·2025-06-21 11:26

深入理解 Git：从版本控制原理到企业级实践

一、Git的核心概念与历史演进1.1Git诞生的技术背景2005年，LinusTorvalds为解决Linux内核开发中的分布式协作问题，用C语言重写了分布式版本控制系统Git。
Python智慧行囊·2025-06-21 10:23

常见运维故障排查案例

目录案例1：GRUB引导故障案例2：文件系统只读故障案例3：OOMKiller触发案例4：系统启动卡住（initramfs损坏）案例5：磁盘空间耗尽案例6：SSH登录缓慢案例7：逻辑卷无法扩展案例8：内核模块冲突案例
MALLYUN·2025-06-21 06:28

vm.max_map_count是什么？起到什么作用

vm.max_map_count是Linux内核中的一个参数，它决定了一个进程可以拥有的最大内存映射区域数。内存映射区域是指内存映射文件、匿名内存映射等。
MonkeyKing.sun·2025-06-21 06:52

【内存】Linux 内核优化实战 - vm.panic_on_oom

临时修改（即时生效，重启失效）2.永久修改（持续生效）四、应用场景1.调试与故障排查2.关键系统保护五、注意事项1.系统可用性影响2.磁盘空间需求3.与其他参数配合六、故障诊断命令1.查看OOM日志2.分析内核转储七
锅锅来了·2025-06-21 06:51

sysctl -w vm.max_map_count=262144

在sysctl-wvm.max_map_count=262144命令中，-w是write的缩写，表示“写入”或“修改”内核参数。解释：sysctl是Linux中用于查看和修改内核运行时参数的命令。
Leon_Jinhai_Sun·2025-06-21 05:51

Linux 系统中sysctl -w vm.max_map_count=262144命令详解及示例

**命令解释**-`sysctl`是一个用于在Linux系统中查看和设置内核参数的工具。-`-w`选项表示“write”，即写入的意思。它用于修改内核参数的值。
Leon_Jinhai_Sun·2025-06-21 05:50

【内存】Linux 内核优化实战 - vm.max_map_count

：查看与修改方法四、场景化建议值与配置示例五、关键注意事项六、延伸知识：内存映射的底层逻辑vm.max_map_count参数全面解析一、参数定义与核心作用vm.max_map_count是Linux内核参数
锅锅来了·2025-06-21 05:49

操作系统学习笔记第1章 操作系统概述（灰灰题库）

A.用户态B.核心态C.阻塞态D.挂起态第1题答案：A解析：用户发起系统服务请求时，初始是在用户态执行用户程序，当执行系统调用陷入内核去处理服务请求时才会切换到核心态，这里强调发起请求时，处理器处于用户态
丰锋ff·2025-06-21 05:45

Linux中的阻塞信号与信号原理

信号可以由内核、用户或进程本身产生。例如，当用户按下Ctr
guygg88·2025-06-21 04:44

linux drm子系统,Linux DRM那些事-内核代码

root@ubuntu:/home/run/code/rockchip-bsp/kernel/drivers/gpu/drm#lsamddrm_atomic.cdrm_crtc_internal.hdrm_fb_cma_helper.cdrm_internal.hdrm_modes.cdrm_rect.cexynosmgarcar-duttmarmadadrm_atomic_helper.cdrm
weixin_39523887·2025-06-21 04:41

准确--CentOS 7.9在线安装docker

一、安装Docker前的准备工作操作系统版本为CentOS7.9，内核版本需要在3.10以上。
ascarl2010·2025-06-21 02:30

前端vue js 使用插件 spark-md5 计算文件MD5值并封装成Promise异步调用方法

1.依赖：需要安装spark-md5npminstall--savespark-md52.代码分析1.功能：该函数接收一个File对象，将其分块（每块2MB）读取，并使用spark-md5计算整个文件的
低级前端·2025-06-20 23:10

java spark 操作 mongo实践

javaspark操作mongo实践按照官方文档配置https://docs.mongodb.com/spark-connector/master/java-api/需要说明一下，官方文档中要求引入的pom
哆啦A梦00·2025-06-20 23:10

Spark 学习【一】

Spark基本概念MapReduce存在的缺陷编写难度大不能很好充分利用系统内存一个作业多个MR任务嵌套不友好（每一个task都是jvm进程级别创建销毁开销都很大、每一次都要涉及磁盘或dfs或db和网络的
·2025-06-20 23:39

【Spark征服之路-2.8-Spark-Core编程（四）】

Spark默认的分区器是HashPartitionervalrdd:RDD[(Int,String)]=sc.makeRDD(Array((1,"aaa"),(2,"bbb"),
qq_46394486·2025-06-20 23:39

【Spark】岗位数据分析

使用Spark进行岗位数据分析配置详解数据获取MySQL建表语句Settings文件主项目代码items部分代码pipelines部分代码**数据分析分析不同学历的平均薪资分析不同岗位的平均薪资分析各公司提供的岗位配置详解本文是使用
飝鱻.·2025-06-20 23:09

[Data Pipeline] MinIO存储（数据湖) | 数据层 Bronze/Silver/Gold

在第二章：Spark作业（数据处理）中，我们学习了Spark作业如何作为强大的工作者来清洗、转换和准备这些数据。现在，处理后的数据去往何处？Spark作业在后续步骤中从哪里获取数据？
lvy-·2025-06-20 23:37
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他