spark内核

计算机基础复习资料整理

它是主管并控制计算机操作、运用和运行硬件、软件资源，提供公共服务来组织用户交互的系统软件程序，是计算机系统的内核与基石，提供用户与系统交互的操作界面。（二）常见操作系统Windows
IT信息技术学习圈·2025-05-11 06:47

Linux学习笔记2

书接上文，上次说到了Linux最小内核，今天来说一下制作最小系统的流程关于制作最小系统【基于itop4412】可以按照网上比较完善的教程去安装Busybox，之后去利用“mkdir"终端命令完善一些文件夹
111122222333333·2025-05-11 04:35

Linux外设接口使用及内核驱动开发---模拟Framebuffer及应用接口

文章目录前言一、模拟Framebuffer驱动1.总体功能2.驱动代码3.简要说明二、应用层1.总体功能2.例子代码主函数三.应用层测试写Framebuffer总体功能主体代码代码说明四.运行结果前言驱动端实现Linux模拟Framebuffer驱动；应用端采用GTK＋实现多个应用程序通过接口/dev/fbXXX访问Framebuffer.基于该接口,可以在PC电脑Ubuntu系统实现基本的画点，
Jason.rr·2025-05-11 04:04

window 显示驱动开发-AGP 类型伸缩空间段

但是，内核模式显示微型端口驱动程序（KMD）不会通过AGP类型的伸缩空间段公开dxgkDdiBuildPagingBuffer回调函数的DXGK_OPERATION_MAP_APERTURE_SEGMENT
程序员王马·2025-05-11 04:02

window 显示驱动开发-微型端口程序的初始化(二)

为了初始化它如何使用内存段，MicrosoftDirectX图形内核子系统(Dxgkrnl.sys)调用显示微型端口驱动程序的DxgkD
程序员王马·2025-05-11 04:32

浏览器指纹攻防技术深度解析：从多账号隔离到自动化矩阵架构设计

一、技术原理与实现路径环境隔离技术栈基于Chromium内核的渲染引擎重构（如WebGL着色器指令随机化、Canvas指纹混淆）动态参数概率模型：通过熵
Hotlogin·2025-05-11 01:44

Spark-SQL

Spark-SQLSparkSQL是Spark用于结构化数据(structureddata)处理的Spark模块。
海金沙33·2025-05-11 01:14

linux perf top分析系统性能

1，看到内核宏是否支持perf功能perftop-g查看linux内核宏定义CONFIG_PERF_EVENTS=yCONFIG_HAVE_PERF_EVENTS=yCONFIG_FRAME_POINTER
陌上花开缓缓归以·2025-05-11 00:02

IPQ807X 开机应用简介

/init.d/sysctl平台内核网络参数的配置IP、TCP等S12log->../init.d/log平台logread启动，打log功能S12rpcd->../init.d
乄江逸尘·2025-05-10 22:52

如何在idea中写spark程序。

在IntelliJIDEA中开发Spark程序需配置环境、创建项目并添加依赖，以下是详细步骤：一、准备环境1.安装Java/Scala-确保已安装JDK1.8+（Spark3.x推荐JDK11+）和ScalaSDK
Freedom℡·2025-05-10 18:28

Spark - 缓存使用

Spark缓存使用缓存解决的问题减少对重复RDD的多次操作容错适用场景：在一个RDD需要重复多次利用,并且还不是特别大的情况下使用,例如迭代计算等场景.Spark缓存相关的APIvalconf=newSparkConf
腹黑客·2025-05-10 17:53

spark转换算子

在ApacheSpark中，转换算子（Transformation）是用于对RDD（弹性分布式数据集）进行转换操作的函数。
lqlj2233·2025-05-10 17:52

自定义分区器

定义：自定义分区器在分布式计算框架（如ApacheSpark）中用于控制数据在集群中的分布方式。通过自定义分区器，可以根据特定需求优化数据的分布，从而提高计算效率。
悻运·2025-05-10 17:21

Spark集群搭建之Yarn模式

简介SparkonYARN（YetAnotherResourceNegotiator）是Spark框架在Hadoop集群中运行的一种部署模式，它借助HadoopYARN来管理资源和调度任务模式分类Client
悻运·2025-05-10 17:21

SparkStreaming之persist缓存

SparkStreaming之缓存与RDD的缓存类似，DStream也允许用户将数据持久化到内存中，只需要使用DStream.persist()方法，就会自动将DSstream中的数据缓存在内存中，这对需要多次计算的
稳哥的哥·2025-05-10 09:26

Spark Core -- CheckPoint && Cache && Lineage血统

1、Cache缓存：因为Spark中对每一个RDD执行的算子操作的时候，都需要从数据源头计算一遍，就会导致RDD被重复计算，浪费资源，消耗时间，影响整体的性能。
新手小农·2025-05-10 09:55

Spark2.2-persist checkpoint lineage解析

源码版本:2.2如有错误请指正一、背景Spark中每一个RDD都记录它的血缘lineage，根据lineage，我们可以实现容错机制和数据重用。
立君在学习·2025-05-10 09:54

yarn的概述

支持多种计算框架（如MapReduce、Spark、Flink等）。提供资
洋芋爱吃芋头·2025-05-10 08:22

spark缓存-cache

importorg.apache.spark.
洋芋爱吃芋头·2025-05-10 08:22

spark缓存-persist

存储级别指定persist：可以通过传入StorageLevel参数来指定不同的持久化级别。常见的持久化级别有：MEMORY_ONLY：将RDD以Java对象的形式存储在JVM的内存中。若内存不足，部分分区将不会被缓存，需要时会重新计算。MEMORY_AND_DISK：优先把RDD以Java对象的形式存储在JVM的内存中。若内存不足，会把多余的分区存储到磁盘上。DISK_ONLY：将RDD的数据存
洋芋爱吃芋头·2025-05-10 08:51

Linux 内核中的 security_sk_free：安全模块与 Socket 释放机制解析

引言在Linux内核中，网络通信和进程间交互（IPC）的核心数据结构之一是structsock（即socket）。其生命周期管理涉及复杂的资源分配与释放逻辑。
109702008·2025-05-10 07:14

文件描述符概念

查看文件描述符的限制2.设置文件描述符的软限制3.设置文件描述符的硬限制三、修改文件描述符限制的永久设置1.修改limits.conf文件2.修改PAM配置查看当前进程使用的文件描述符数量：四、总结1.内核参数
small white poplar·2025-05-10 07:11

一文看懂HarmonyOS的Linux内核子集（LOS）

目录一、引言二、HarmonyOS与Linux内核子集（LOS）简介（一）HarmonyOS的诞生背景与发展历程（二）Linux内核子集（LOS）在HarmonyOS中的角色定位三、Linux内核子集（
大雨淅淅·2025-05-10 06:06

JUC并发编程之Thread学习笔记

JUC并发编程之ThreadHotSport虚拟机1、Thread类是Java中的线程，它底层是基于内核中的线程。所以Java中线程的调度也是基于操作系统。
七月在野，八月在宇，九月在户·2025-05-10 05:34

大数据领域数据架构的分布式系统设计

大数据领域数据架构的分布式系统设计关键词：大数据、分布式系统、数据架构、Hadoop、Spark、数据分区、容错机制摘要：本文深入探讨大数据领域中的数据架构和分布式系统设计。
AI天才研究院·2025-05-10 05:00

Azure Databricks：数据创新与智能决策的云端利器

卓越性能，Spark环境加速分析Az
领驭科技·2025-05-10 03:14

Spark-core-RDD入门

RDD基本概念ResilientDistributedDataset叫做弹性分布式数据集，是Spark中最基本的数据抽象，是分布式计算的实现载体，代表一个不可变，可分区，里面的元素并行计算的集合。
夏天吃哈密瓜·2025-05-10 00:30

window 显示驱动开发-视频内存管理和 GPU 计划

视频内存管理器（VidMm）是DirectX图形内核（Dxgkrnl）中系统提供的组件，负责管理GPU的内存。
程序员王马·2025-05-09 22:41

windows驱动开发-WDM框架(一)

WDF是对WDM进行的封装，是为更快、更简单的进行驱动开发进行的二次封装，故WDM里面的所有概念对于WDF都是适用的，所以理解内核架构可以学习WDM，开
程序员王马·2025-05-09 22:11

spark start-thriftserver.sh & Kubernetes

启动命令shsbin/start-thriftserver.sh–masterk8s://https://192.168.99.108:8443–namespark-thriftserver–confspark.executor.instances
zhixingheyi_tian·2025-05-09 18:12

Spark 之 FileSourceScanExec Operator

casetest("SPARKdecoderwithoutcodegen"){withSQLConf(SQLConf.WHOLESTAGE_CODEGEN_ENABLED.key->"false"){spark.catalog.createTable
zhixingheyi_tian·2025-05-09 18:12

Spark 之 Aggregate

Aggregate参考链接：https://github.com/PZXWHU/SparkSQL-Kernel-Profiling完整的聚合查询的关键字包括groupby、cube、groupingsets
zhixingheyi_tian·2025-05-09 18:12

Spark 之 DataFrame

4,200,12),(5,300,12),(6,300,15)).toDF("StudentID","Class","Age")df.createOrReplaceTempView("student")spark.sql
zhixingheyi_tian·2025-05-09 18:42

驱动开发硬核特训 · Day 27（下篇）：深入掌握 Common Clock Framework 架构与实战开发

在本篇内容中，我们将围绕Linux内核中的时钟子系统核心架构——CommonClockFramework（简称CCF）展开深入讲解，目标是帮助你全面理解其设计理念、主要数据结构、注册流程、驱动实现方式，
嵌入式Jerry·2025-05-09 10:26

CDH集群spark-shell执行过程分析

目的刚入门spark，安装的是CDH的版本，版本号spark-core_2.11-2.4.0-cdh6.2.1，部署了cdh客户端（非集群节点），本文主要以spark-shell为例子，对在cdh客户端上提交
格格巫 MMQ!!·2025-05-09 09:17

《spark》

这是一篇关于Spark概述的文章，主要介绍了Spark的基本概念、与Hadoop的关系、核心模块以及运行模式。
快乐的蛋挞·2025-05-09 09:11

Spark处理过程-案例数据清洗

（一）需求说明准备十条符合包含用户信息的文本文件，每行格式为姓名,年龄,性别，需要清洗掉年龄为空或者非数字的行。例如：张三,25,男李四,,女王五,30,男赵六,a,女孙七,35,男周八,40,女吴九,abc,男郑十,45,女王十,50,男李二,55,女（二）思路分析读入文件对每一行数据进行分析字段拆分，拆分出年龄这个字段判断如果它不是数字或者缺失，则忽略这条数据否则保存(三)代码展示import
悻运·2025-05-09 08:41

基于Flink+Hologres搭建实时数仓

ApachePaimon是一种流批统一的数据湖存储格式，结合Flink及Spark构建流批处理的实时湖仓一体架构。
soso1968·2025-05-09 08:39

Linux 网络命名空间：从内核资源管理到容器网络隔离

网络命名空间（NetworkNamespace）是Linux内核提供的一种网络资源隔离机制，用于为进程或容器创建完全独立的网络环境。
109702008·2025-05-09 08:06

CentOS 系统升级失败的原因与排查

一、常见升级失败原因1.软件包依赖问题循环依赖：软件包A依赖B，B又依赖A版本冲突：新旧版本软件包不兼容缺失依赖：所需依赖包未正确安装或不可用2.存储空间不足/boot分区空间不足（常见于内核更新）根分区空间不足
网硕互联的小客服·2025-05-09 06:28

2025-03-21（DS复习）： Databricks 的技术架构

以下是Databricks技术架构的详细介绍：1.Databricks的核心组件1.1DatabricksRuntime基于ApacheSpark：DatabricksRuntime是Databricks
BgShkTech 必杀技·2025-05-09 05:23

shell spark 导入包,如何在Spark Shell中运行外部jar函数

Icreatedajarpackagefromaprojectbythisfile-tree:build.sbtsrc/mainsrc/main/scalasrc/main/scala/Tester.scalasrc/main/scala/main.scalawhereTesterisaclassbyafunction(nameisprint())andmainhasanobjecttorunth
曾杰律师·2025-05-09 03:38

Flink + Kafka 构建实时指标体系的实战方法论

在数字化运营趋势下，分钟级指标反馈能力变得尤为重要：✅营销投放实时监控CTR/CVR✅业务增长实时观测UV/PV✅运维系统实时计算告警数/成功率传统离线计算（Hive/SparkBatch）难以满足这种实时性需求
晴天彩虹雨·2025-05-09 02:01

HDFS常用shell命令+MapReduce java编程+HBase常用shell命令+Spark python编程(RDD+df)

本文包含详细的HDFS常用shell命令+MapReducejava编程+HBase常用shell命令+Sparkpython编程(RDD+df)，本文档纯属个人整理，为了应对大数据期末考试的20分程序填空和
菜菜why·2025-05-09 01:25

数据分析平台选型与最佳实践：如何打造高效、灵活的数据生态？

面对市场上的众多解决方案（如ApacheSpark、ClickHouse、Snowflake、BigQuery、Presto），如何进行合理选型，并确保数据分析流程高效落地？今
Echo_Wish·2025-05-08 22:38

Java 与大数据：Hadoop 和 Spark 的完美集成

今天我们要一起探索Java世界里的大数据处理技术，特别是Hadoop和Spark如何集成在一起。无论你是初学者还是有经验的大数据开发者，这篇充满趣味和知识的文章都会让你收获满满！
墨瑾轩·2025-05-08 20:23

Spark 之 YarnCoarseGrainedExecutorBackend

YarnCoarseGrainedExecutorBackendexecutorID，在日志里也有体现。25/05/0612:41:58INFOYarnCoarseGrainedExecutorBackend:Successfullyregisteredwithdriver25/05
zhixingheyi_tian·2025-05-08 20:53

Spark和Hadoop之间的区别

1、HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem，HDFS）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroug
lucky_syq·2025-05-08 20:52

linux常见的自动化运维脚本

1、监控脚本（监控系统，监控服务，监控硬件信息，监控性能，安全监控等）2、系统初始化脚本（创建目录，创建账户，安装软件包，设置权限，修改内核参数等）3、一键部署脚本（源码安装脚本）4、备份脚本（自动备份数据库
专业白嫖怪·2025-05-08 19:49

Spark和Hadoop之间的联系

（一）Spark概述ApacheSpark是一个快速、通用、可扩展的大数据处理分析引擎。它最初由加州大学伯克利分校AMPLab开发，后成为Apache软件基金会的顶级项目。
古拉拉明亮之神·2025-05-08 19:48
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他