spark内核

linux内核下半部：软中断、tasklet、工作队列

#软中断、tasklet和工作队列是linux中存在的关于中断下半部的机制，更早之前的内核中的“小半部”（bottomhalf）演变而来（1）、中断上半部和小半部的区别上半部是指中断处理程序，其对于时间敏感
sensencen·2024-02-03 22:59

linux 底半部 软中断_Linux内核提供了三种不同形式的中断底半部实现机制：软中断、tasklet和工作队列。...

感谢博主讲的关于为什么需要中断底半部，什么是中断底半部下半部运行时是允许中断请求的，而上半部运行时是关中断的头文件：/***工作的数据类型是结构体类型*/structwork_struct{atomic_long_tdata;structlist_headentry;work_func_tfunc;#ifdefCONFIG_LOCKDEPstructlockdep_maplockdep_map;#
weixin_39842519·2024-02-03 22:28

Linux的中断和中断处理

中断硬件在需要时候向内核发出信号。
可爱的小小小狼·2024-02-03 22:26

《Linux软件编程》的初步认识

一，Linux的认知：Linux实际上来说是操作系统的内核，ubuntu是操作系统（包括redhat，centos，freebsd等）Linux(操作系统化的内核)：1.管理CPU2.管理内存3.管理硬件设备
学嵌入式好快乐·2024-02-03 22:54

1 认识 Android

1Android系统架构Android的系统架构大致可以分为四层：Linux内核层、系统运行库层、应用框架层和应用层。 
给你一杯BUG·2024-02-03 21:56

让你的代码运行更快：掌握零拷贝技术

CPU需要将数据从硬件设备拷贝到内核内存，再拷贝到用户内存，这个过程中涉及了多次拷贝操作。为了提高效率，我们引入了一种称为"零拷贝"的技术。为什
萤火架构·2024-02-03 21:47

hadoop、spark、flink集群修改默认ssh端口号

大数据集群在实际搭建过程中，其默认ssh端口不一定都是22，这时需要根据各自的配置文件进行适配。ssh端口号默认为22，以centos7.x为例，可以在/etc/ssh/sshd_config中进行修改，如下示例将22改为22222：#IfyouwanttochangetheportonaSELinuxsystem,youhavetotell#SELinuxaboutthischange.#sem
0X码上链·2024-02-03 21:12

混沌工程 了解

参考：Linux内核调试技术——Fault-injection故障注入-代码先锋网ChaosEngineeringisthedisciplineofexperimentingonasysteminordertobuildconfidenceinthesystem
Kingairy·2024-02-03 21:36

Linux高级篇——IO系统编程

Input,Output是从用户空间角度考虑的输入与输出：从内核读取数据或从文件中读取数据，叫：inputread函数写数据到内核或写数据到文件中，叫：outputwrite函数内核中有很多文件，应该写到哪一个文件中呢
「已注销」·2024-02-03 21:53

linux高级编程 | IO输入输出

操作系统的内核1.管理CPU2.管理内存3.管理硬件设备4.管理文件系统5.任务调度2.Shell:1.保护Linux内核(用户和Linux内核不直接操作,通过操作Shell,Shell和内核交互)2.
十万个秋刀鱼·2024-02-03 21:23

Spark程序执行逻辑迷你版

再把Task发出去DAGScheduler的功能，将rdd转换逻辑切分stage，生成taskset然后模拟taskScheduler的功能，将这些task发到Executor上去执行（真正的发送逻辑sparksubmit
{BOOLEAN}·2024-02-03 21:21

2019-10-08 大数据开发进阶之路

市场需要的水平熟练掌握Linux、SQL与HiveSQL掌握Hadoop生态主流技术，如HDFS/MapRedunce/Yarn/HBase/Flume等掌握Spark生态核心技术，如Spark架构/RDD
红瓦李·2024-02-03 20:39

Spark常用Transformations算子(二)

joincogroupcartesianpiperepartitionAndSortWithinPartitionsglomrandomSplitzipzipWithIndexzipWithUniqueId(2)joinobjectJoinTest{defmain(args:Array[String]):Unit={valconf=newSparkCon
数据萌新·2024-02-03 20:03

大数据环境搭建(一)-Hive

1hive介绍由Facebook开源的,用于解决海量结构化日志的数据统计的项目本质上是将HQL转化为MapReduce、Tez、Spark等程序Hive表的数据是HDFS上的目录和文件Hive元数据metastore
xfchn多多学习学习·2024-02-03 20:42

macvlan 网络模式实现跨主机 Docker 通信

macvlan网络模式实现跨主机Docker通信macvlan网络模式概念macvlan本身是linux内核的模块，本质上是一种网卡虚拟化的技术，其功能是允许在同一个物理网卡上虚拟出多个网卡，通过不同的
Jamza·2024-02-03 20:37

Day 1. 学习linux高级编程之Shell命令和IO

1.C语言基础现阶段学习安排2.IO编程多任务编程（进程、线程）网络编程数据库编程3.数据结构linux软件编程1.linux：操作系统：linux其实是操作系统的内核系统调用：linux内核的函数接口操作流程
我爱敲代码yx·2024-02-03 20:24

RISC-V MCU 赤菟V307使用蓝牙进行通信

芯片简介赤菟V307（CH32V307VCT6）采用沁恒自研RISC-V内核青稞V4F，最高主频144MHz，支持单精度浮点运算（FPU），提供高速USB（480Mbps）接口并内置PHY、千兆以太
快乐摸鱼酱·2024-02-03 19:11

ch32vxx模仿stm32位带操作

stm32系列中内核为cm3的芯片支持位带操作，国产芯片模仿stm32规格的很多（c8t6现实标准），最近买了块沁恒的ch32v103r8t6板子，ch32vxx系列是riscv内核的，不支持位带操作，
飙风者·2024-02-03 19:41

RT-Thread移植到GD32F150系列MCU

www.rt-thread.org/page/download.html2、在工程目录下添加RT-Thread文件夹，如下：3、将下载的RT-ThreadNano的源码解压，然后拷贝到RT-Thread文件夹，如下：4、将内核代码添加到工程中
freemote·2024-02-03 19:40

#东方快车谋杀案#之台词感悟

很多都没有好与不好之分，关键在于你如何去把握，内核在于你自己本身。你前阶段的因催生了如今的果，现在你可以种好树
远宁润·2024-02-03 19:43

【Spark】Spark作业执行原理--提交任务

本篇结构：创建Task创建TaskSetManager并向DriverEndpoint发送消息分配资源发送消息告诉Executor去执行Task一、创建Task当调度阶段运行后，在DAGScheduler的submitMissingTasks方法中会根据调度阶段Partition数量拆分对应个数任务。对于ResultStage，生成ResultTask，对于ShuffleMapStage生成Shu
w1992wishes·2024-02-03 19:17

6-match（u32分类器fw分类器）

blog.sina.com.cn/s/blog_a481de5701015npe.htmlhttps://www.cnblogs.com/CasonChan/p/5033949.htmllinux2.6.35内核
Creator_Ly·2024-02-03 18:42

周日

比较难得的是，当激烈的类型元素撞在一起的同时，又让位于张家辉、古天乐和吴镇宇三人的兄弟情义，让观众看到“人”的存在，从始至终，都没剥离掉真挚的情感内核。
逗逗fineyoga·2024-02-03 18:17

假期day2

进程间通信方式：通过内核提供的原始通信方式有三种1.无名管道：没有名字的管道文件，存储在内存上不在文件系统中显示。无名管道有读端和写端，当两端都关闭后无名管道会在内存上消失。
小新026·2024-02-03 17:16

ubuntu22.04 安装部署01：禁用内核更新

一、前言ubunut22.04系统安装以后，内核更新会导致各种各样的问题，因此锁定初始安装环境特别重要，下面介绍如何锁定内核更新。
数据饕餮·2024-02-03 17:36

【Linux】理解系统中一个被打开的文件

structfile对象五、stdin、stdout、stderr六、文件描述符的分配规则七、重定向1.重定向的原理2.dup23.重谈stderr八、缓冲区1.缓冲区基础2.深入理解缓冲区3.用户缓冲区和内核缓冲区
YoungMLet·2024-02-03 17:05

2024/02/03

目录进程间通信的7种方式，总结出他们的优点1.内核提供的原始通信方式有三种1.1无名管道1.2有名管道1.3信号2.SystemV提供了三种通信方式2.1消息队列2.2共享内存3.1信号量（信号灯集）3
溪北人·2024-02-03 17:17

【校招 --阶段一 操作系统基础】进程概念

笼统的理解，操作系统包括：内核（进程管理，内存管理，文件管理，驱动管理）其他程序（例如函数库，shell程序等等）设计OS的目的与硬件交互，管理所有的软硬件资源为用户程序（应用程序）提供一个良好的执行环境计算机管理硬件描述起来
自首的小偷·2024-02-03 16:07

【校招 --阶段二 linux操作系统】高级IO多路转接之select

IO=等待+拷贝读IO{读recv}=读时间就绪+内核数据拷贝到用户空间(将内核数据拷贝到TCP接受缓冲区)写IO(写send)=写时间就绪+将用户空间数据拷贝拷贝到内核空间(将TCP发送缓冲区数据拷备到内核空间
自首的小偷·2024-02-03 16:07

星辰大海再扬帆，精神火炬代代传

中国共产党人精神谱系蕴含的思想内核集中体现在坚定不移的理想信念、以人为本的基本原则、砥砺实干的工作作风，这是共产党
yddj123·2024-02-03 16:54

spark WordCount

SparkWC.scalapackageday06importorg.apache.spark.rdd.RDDimportorg.apache.spark.
lehuai·2024-02-03 16:27

通俗故事中的历史：先秦最大国之楚国序篇（下）——楚国的涵养

在那战乱纷飞的时代，楚国能够完成几近统一中国南方的大格局，绝对有其强大的精神内核所在。楚国代表的是长江流域的文明，同黄河流
尹鹏轩·2024-02-03 16:28

阿里云服务器2核16G、4核32G、8核64G配置最新收费标准及活动价格

2核16G、8核64G、4核32G配置的云服务器处理器与内存比为1:8，这种配比的云服务器一般适用于数据分析与挖掘，Hadoop、Spark集群和数据库，缓存等内存密集型场景，因此，多为企业级用户选择，
阿里云最新优惠和活动汇总·2024-02-03 15:07

如何在Linux应用层中使用i2c接口驱动外围芯片

目录前言1detect内核中i2c模块1.1查看内核中I2C驱动1.2查看单个i2总线下设备地址2硬件电路2.1SHT-20模块电路2.2板卡上的i2c接口3开发环境3.1硬件系统参数3.2编译环境：Ubuntu4
mftang·2024-02-03 15:40

Linux下的DS18B20 驱动设计

目录1DS18B20特性介绍2IO属性配置3和linux相关的驱动代码实现4驱动程序Makefile5测试代码实现6测试代码Makefile7测试驱动系统环境：使用Linux内核：linux-imx-4.1.15
mftang·2024-02-03 15:10

实现platform tree下的单总线协议驱动（Linux）

目录1开发环境1.1硬件系统参数1.2编译环境：Ubuntu2单总线协议驱动的实现2.1在内核的.dts文件2.2编写驱动代码2.3编写测试App3测试1开发环境1.1硬件系统参数Linux内核:linux-imx
mftang·2024-02-03 15:10

一个设备树驱动程序Demo（linux）

目录1编写节点参数2编写驱动代码3编写测试程序4运行测试系统环境：使用Linux内核：linux-imx-4.1.15-2.1.0-g3dc0a4b-v2.7.tar.bz2硬件：正点原子ATK-DL6Y2C
mftang·2024-02-03 15:40

platfrom tree架构下实现3-Wire驱动（DS1302）

目录概述1认识DS13021.1DS1302硬件电路1.2操作DS13021.3注意要点2IO引脚位置3添加驱动节点3.1更新内核.dts3.2更新板卡.dtb4驱动程序实现4.1编写驱动程序4.2编写驱动程序的
mftang·2024-02-03 15:38

Rootkit--阻止其他模块加载

如Anit-rootkit，这个有些难度，我们先实现了基本的控制内核模块的加载。例子：小偷潜入了银行，要保证偷偷在银行这段时间不会被警察给揪出来。
破落之实·2024-02-03 15:08

linux rootkit 端口复用,Linux Rootkit系列三：实例详解 Rootkit 必备的基本功能

长话短说，本文也将以同样的理念带领读者一一缕清Rootkit必备的基本功能，包括提供root后门，控制内核模块的加载
吉利吉利·2024-02-03 15:08

Linux Rootkit实验｜0201 基本功能之Root后门

实验说明本次实验将初步实现rootkit的基本功能：阻止其他内核模块加载提供root后门隐藏文件隐藏进程隐藏端口隐藏内核模块本次实验基于01实验中学习的
丁金金·2024-02-03 15:37

Linux Rootkit：内核 5.7+ 的新方法

LinuxRootkit：内核5.7+的新方法文章目录[LinuxRootkit：内核5.7+的新方法](https://xcellerator.github.io/posts/linux_rootkits
丁金金·2024-02-03 15:36

Linux Rootkit实验｜0200 基本功能之阻止模块加载

LinuxRootkit实验｜0200基本功能之阻止模块加载11May2017文章目录LinuxRootkit实验｜0200基本功能之阻止模块加载实验说明实验环境实验过程控制内核模块加载实验总结与思考拓展延伸参考资料参考资料醉里挑灯看剑
丁金金·2024-02-03 15:35

alt+f2无法切换 linux,X 冻结: 无法通过 Ctrl + Alt + F2/F3 切换到虚拟终端(其实已经切过去了, 只是屏幕没有更新)...

已经切换到其它虚拟终端,只是显卡(屏幕)没有更新,仍旧显示桌面环境(只是鼠标不见了).这个时候是可以执行登录和其它操作的,只是没有更新屏幕而已.首先想到是擦,终于滚出问题了,于是看看系统更新记录,没有发现可能影响内核
weixin_39563827·2024-02-03 15:28

大数据组件笔记 -- Spark 入门

文章目录一、简介二、Spark运行模式2.1本地模式2.2集群角色2.3Standalone模式2.4Yarn模式2.5总结三、WordCount开发案例实操一、简介Spark是一种基于内存的快速、通用
L小Ray想有腮·2024-02-03 15:53

K8S简介和安装部署详细教程

Master节点组件及功能Slave节点组件及功能安装部署二进制包kubeadm工具二、准备工作软硬件要求集群规划环境配置修改hosts配置配置SSH免密登录关闭Swap分区禁用SELinux关闭防火墙修改内核参数配置集群时钟同步配置
猫吃了源码·2024-02-03 15:20

Spark大数据分与实践笔记（Scala语言基础-1）

目录1.1Scala概述1.1.1Scala的下载安装1.1.2在IDEA开发工具中下载安装Scala插件1.1.3开发第一个Scala程序Spark是专为大规模数据处理而设计的快速通用的计算引擎，它是由
妉妉师姐·2024-02-03 15:49

内核trace分析工具入门

内核进程进程堆栈各个核运行的进程内容。。。。内核分析的维度比较多，所以需要一些工具分析，包括各个soc参商也有自己的工具，当然他们的分析软件需要有账号内核问题处理的经验也是通过解析了几百个？
慕云山里被狗追·2024-02-03 14:40

linux内核页

比如内核态使用的vmalloc，比如内核态用来映射设备地址空间的ioremap内存映射mmap是啥1.1IO寄存器1.2mmapmmap内存映射的实现过程，总的来说可以分为三个阶段（一）进程启动映射过程
慕云山里被狗追·2024-02-03 14:10

linux-内核通知链相关（关机、重启通知，kernel-5.10为例）

通知链是Linux内核的一个基础组件，各种内核组件(包括设备驱动、文件组件、网络组件等)可以对向其感兴趣的一些内核事件进行注册，当该事件发生时，这些模块或者组件当初注册的回调函数将会被调用。
慕云山里被狗追·2024-02-03 14:09
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他