spark内核

存储课程学习笔记1_访问scsi磁盘读写测试（struct sg_io_hdr，ioctl，mmap）

0：总结===》了解内核提供的访问scsi的结构和方法（主要是sg_io_hdr_t结构体和ioctl函数）。===》需要读scsi协议文档，了解相关指令，只演示了16字节固定长度读和写指令。
yun6853992·2024-09-10 04:41

Ubuntu的ssh

sshsudoapt-getupdatesudoapt-getinstallopenssh-server检测ssh是否启动sudops-e|grepssh创建root用户sudopasswdroot配置本机无密码ssh登录cd/home/spark0ssh-keygen-trsa-P
请不要问我是谁·2024-09-10 03:29

笔记整理—内核！启动！—kernel部分（2）从汇编阶段到start_kernel与内核进程

内核起始部分代码被解压代码调用，前面关于uboot的文章中有提到过（eg:zImage）。uboot启动是无条件的，只要代码的位置对，上电就工作，kernel启动由bootloader进行构建
TeYiToKu·2024-09-10 02:29

笔记整理—uboot启动过程（4）BL2干了什么及内存排布

、uboot本身构建（uboot指令、环境变量、......）最后进入命令行，等待命令然后倒数，等待bootcmd，进入内核（uboot结束）。
TeYiToKu·2024-09-10 02:29

Linux系统性能调优技巧

Linux系统性能调优技巧主要包括硬件优化、软件优化、内核参数优化、进程管理优化等方面。
A_aspectJ项目开发·2024-09-09 23:31

Select/Poll/Epoll

Epoll的并发处理效率比Select和Poll高很多，是因为：1）Select/Poll每次调用的时候，都需要把fd集合从用户态拷贝到内核态，由内核态进行遍历，来查找哪些FD已经
我是一名搬运工·2024-09-09 23:25

芯旺微，车规级32位MCU KF32A芯片简介

文章目录1.产品功能特点2.行业应用3.开发环境（IDE）4.开发资源5.KungFu内核参考1.产品功能特点2.行业应用汽车照明汽车车窗控制汽车空调面板汽车控制器3.开发环境（IDE）
智驾·2024-09-09 22:53

kubernetes online depoly | kubeadm 快速部署kubernetes v1.25 集群 |单matser

ContainerdKubernetes1.25服务器规划：k8s-master192.168.200.11k8s-node1192.168.200.12k8s-node2192.168.200.13查看系统内核
深耕云原生·2024-09-09 21:21

浅谈Docker引擎

由LXC来基于Linux内核的容器虚拟化技术来提供像NameSpace,Cgruop等基础工具的操作技术；由Daemon来统一负责镜像的管理，容器生命周期的管理，认证等工作。
秦偏执·2024-09-09 21:47

flannel原理之vxlan模式

vxlan模式vxlan是一种overlay技术，跟之前提到的udp模式思路是类似，但是具体实现不太一样:udp模式是在用户态实现的，数据会先经过tun网卡，到应用程序，应用程序再做隧道封装，再进一次内核协议栈
lingshengxiyou·2024-09-09 20:07

2024年大数据最新实时数仓之实时数仓架构(Hudi)

用于接入数据源；FlinkCDC：如果直接接入业务数据源可以考虑CDC方式，如果通过Kafka缓冲接入业务数据可以忽略;Flink：用于数据ETL，包括接入数据、处理数据及输出数据全链路数据计算任务；Spark
2401_84185556·2024-09-09 19:34

实时数仓之实时数仓架构(Hudi)(1)，2024年最新熬夜整理华为最新大数据开发笔试题

包括ODS/DWD/DWS/DIM/ADS等；+Doris：OLAP引擎，同步数仓结果模型，对外提供数据服务支持；+Hbase：用来存储维表信息，维表数据来源一部分有Flink加工实时写入，另一部分是从Spark
2401_84181221·2024-09-09 19:04

macbook M1运行arm64虚拟机

mac上面比较成熟的虚拟化软件，这个是收费的，在macbookm1刚出的时候，出过一个免费的测试版本供大家测试，测试完成以后，马上就不能用了，需要licence，这个也正常，并且当时还有个bug，是底层的内核内
武汉磨磨·2024-09-09 19:33

Android开机流程-从Init进程启动到进入Android桌面

1.init进程启动流程Androidbootloader负责加载boot.img，将其内容放入内存，然后启动内核。
techfuture·2024-09-09 16:44

starrocks和clickhouse数据库比较

支持多种数据源的集成，并且可以与其他大数据技术（如Hadoop、Spark）协同工作。C
CodeMaster_37714848·2024-09-09 16:12

ARM9架构S3C2440A实验报告与操作实践

本文还有配套的精品资源，点击获取简介：本实验报告深入探讨了基于ARM920T内核的S3C2440A微处理器在嵌入式系统中的应用，特别关注了蜂鸣器、触摸屏和WinCE操作系统的实际运用。
徐晓波·2024-09-09 15:06

Android平台RTSP|RTMP直播播放器技术接入说明

无需赘述，全自研内核，行业内一致认可的跨平台RTSP、RTMP直播播放器。本文以Android平台为例，介绍下如何集成RTSP、RTMP播放模块。
音视频牛哥·2024-09-09 13:49

浏览器渲染流程解析

硬件加速”，“层提升”这样的字眼；要了解这些内容就需要对浏览器的渲染流程有个大致的了解，本文就是我个人对这些内容的一个总结梳理需要注意的是：本文仅个人学习总结梳理，如有错漏，望指正本文以谷歌浏览器Blink内核为例
dqqbl·2024-09-09 12:26

MT6769处理器规格参数_MTK联发科平台方案定制

该芯片集成了两个工作频率高达2.0GHz的ARM®Cortex-A75内核、六个工作频率高达1.70GHz的ARM®Cortex-A55内核和强大的多标准视频编解码器。
新移科技·2024-09-09 11:09

MTK6983/MT6983天玑9000芯片详细性能参数_MTK联发科5G方案定制

该芯片集成了四个Arm®Matterhorn(ELP)内核、四个Arm®Klein内核和强大的多标准视频编解码器。
新移科技·2024-09-09 11:39

嵌入式设备上SystemTap调试工具使用

SystemTap调试工具简介SystemTap调试器常用于Linux内核的动态调试，不过该工具集也可用于应用的跟踪调试。
塵觴葉·2024-09-09 06:36

SystemTap 工作原理

《使用Kprobes调试内核》https://www.ibm.com/developerworks/cn/linux/l-kprobes.html这篇帖子介绍了用kprobes调试内核的方法总结：kpr
weixin_30275415·2024-09-09 06:33

使用systemtap进行内核跟踪

当我们利用systemtap跟踪内核时，首先需要了解systemtap提供了什么跟踪点，这些跟踪点在systemtap中被称为probe事件。
程序猿Ricky的日常干货·2024-09-09 06:03

systemtap原理及使用

SystemTap的架构SystemTap用于检查运行的内核的两种方法是Kprobes和返回探针。但是理解任何内核的最关键要素是内核的映射，它提供符号信息（比如函数、变量以及它们的地址）。
csr_hema·2024-09-09 05:29

Transiting from CUDA to HIP（三）

Heterogeneous-computeInterfaceforPortability)中，hipMemcpyToSymbol函数用于将数据从主机内存复制到设备上的全局内存或常量内存中，这样可以在设备端的内核中访问这些数据
青禾子的夏·2024-09-09 05:55

zybo上运行linux,Zybo开发板linux作业系统移植

分别介绍了开发环境搭建、U-boot编译、linux内核编译、busybox制作等流程及注意事项。文章使用的开发板是zynq7000系列的zyboboard。
周行文·2024-09-09 05:54

鸿蒙轻内核M核源码分析系列二十 Newlib C

LiteOS-M内核LibC实现有2种，可以根据需求进行二选一，分别是musllibC和newlibc。本文先学习下NewlibC的实现代码。
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十七（2） 异常钩子函数的注册操作

本文中所涉及的源码，以OpenHarmonyLiteOS-M内核为例，均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取。
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十五 CPU使用率CPUP

CPUP（CentralProcessingUnitPercentage，CPU占用率）分为系统CPU占用率和任务CPU占用率。用户通过系统级的CPU占用率，判断当前系统负载是否超出设计规格。通过系统中各个任务的CPU占用情况，判断各个任务的CPU占用率是否符合设计的预期。系统CPU占用率是指周期时间内系统的CPU占用率，用于表示系统一段时间内的闲忙程度，也表示CPU的负载情况。系统CPU占用率的
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十六 MPU内存保护单元

本文主要分析鸿蒙轻内核MPU模块的的源码。
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十三 消息队列Queue

队列（Queue）是一种常用于任务间通信的数据结构。任务能够从队列里面读取消息，当队列中的消息为空时，挂起读取任务；当队列中有新消息时，挂起的读取任务被唤醒并处理新消息。任务也能够往队列里写入消息，当队列已经写满消息时，挂起写入任务；当队列中有空闲消息节点时，挂起的写入任务被唤醒并写入消息。如果将读队列和写队列的超时时间设置为0，则不会挂起任务，接口会直接返回，这就是非阻塞模式。消息队列提供了异步
OpenHarmony_小贾·2024-09-09 04:20

【生活杂感】孩子们眼中的希望是什么形状

在2006年国内首部武侠动画片《虹猫蓝兔七侠传》横空出世，创下了央视动画片的收视新高，这部制作精良，内核丰富，甚至可以说是富有文学色彩（文学顾问是余华，整条背景故事线与传统武侠小说相差无几）的作品，一度被视为中国动漫节阻击日美动漫的生力军
一陆同行·2024-09-08 19:25

Android内核介绍

Android内核介绍Android内核介绍发布时间：2010年4月8日作者：EasyAndroidtags：已经有一些的文章介绍Android内核了，本系列篇将从Linux内核的角度来分析Android
zhang_li_bin·2024-09-08 19:17

gd32 定时器时钟_GD32E5 系列定时器全面助力工业互联网

业界领先的半导体供应商兆易创新GigaDevice(股票代码603986)正式发布基于全新Arm®Cortex®-M33内核的GD32E5系列高性能微控制器。
weixin_39861054·2024-09-08 18:45

aosp编译android 8简书,AOSP内核下载和编译

环境：虚拟机：VM主机OS：Ubuntu14手机型号：Nexus6P源码版本：AOSP8.1.0目标编译内核版本：Linuxversion3.10.73-g309d642下载源码在aosp源码目录执行git
瀚海酒笑歌·2024-09-08 18:14

Hive的优势与使用场景

它利用Hadoop的MapReduce或Spark来执行查询，具备高度扩展性，适合大数据处理。2.支持SQL-like查询语言(Hi
傲雪凌霜，松柏长青·2024-09-08 17:07

Spark 3.5.1 升级 Java 17 异常 cannot access class sun.nio.ch.DirectBuffer

异常说明使用Spark3.5.1升级到Java17的时候会有一个异常，异常如下SLF4J:Failedtoloadclass"org.slf4j.impl.StaticLoggerBinder".SLF4J
敏叔V587·2024-09-08 15:23

深度学习-OpenCv的运用（4）

图像形态学通过操作图像中的形状和结构元素（也称为内核或模板），来实现图像的分析、增强、去噪和
红米煮粥·2024-09-08 10:50

【无标题】大数据之批处理，流处理，批流一体概念

Spark和Flink都支持批处理，其中Spark使用的是批处理模型，即将一批数据一次性读入内存，然后对其进行处理，处理完成后再将结果写入磁盘。
数字天下·2024-09-08 09:43

windows驱动开发-内核编程技术汇总(二)

使用NTSTATUS值许多内核模式标准驱动程序例程和驱动程序支持例程使用NTSTATUS类型返回值。
sului·2024-09-08 09:11

debian内核小版本升级(9.0->9.9)

执行lsb_release-a查看内核版本root@xxxxxxx#lsb_release-aNoLSBmodulesareavailable.DistributorID:DebianDescription
Minority·2024-09-08 09:38

ffmpeg一些基本用法

来源：ffmpeg一些基本用法|王石头的博客(iwangsen.com)音视频操作，几乎绕不开ffmpeg，因为市面上绝大多数音视频播放软件、转码软件，内核都是它。
980205·2024-09-08 07:52

CPU参数科普

1.主频（ClockSpeed）定义：主频是CPU的时钟频率，表示CPU内核在单位时间内完成周期性变化的次数，通常以GHz（吉赫兹）为单位。它反映了CPU的基本运行速度。
读书笔记控·2024-09-08 05:44

linux驱动 -- PWM配置和SysFs操作方法

占空比：有效电平占据占总周期的比例有效电平：器件生效的电平3：linux内核下的PWM3.1linux下的P
悟凡爱学习·2024-09-08 05:09

8.12（LVS负载均衡）

LVSlinuxvirturalserver的简称，也就是linxu虚拟机服务器，这是一个由章文岩博士发起的开源项目，官网是http://www.linuxvirtualserver.org,现在lvs已经是linux内核标准的
WPFwpf_·2024-09-08 05:08

页面缓存（Page Cache）

为了避免每次读写文件时，都需要对硬盘进行读写操作，Linux内核会以页大小（4KB）为单位，将文件划分为多数据块，当用户对文件中的某个数据块进行读写操作
TABE_·2024-09-08 05:08

pyspark kafka mysql_数据平台实践①——Flume+Kafka+SparkStreaming(pyspark)

蜻蜓点水Flume——数据采集如果说，爬虫是采集外部数据的常用手段的话，那么，Flume就是采集内部数据的常用手段之一(logstash也是这方面的佼佼者)。下面介绍一下Flume的基本构造。Agent：包含Source、Channel和Sink的主体，它是这3个组件的载体，是组成Flume的数据节点。Event：Flume数据传输的基本单元。Source：用来接收Event，并将Event批量传
weixin_39793638·2024-09-08 04:34

Docker的前世今生

核心知识点：1.Docker的构想：对应用的封装、分发、部署、运行的生命周期的管理，一次封装到处运行2.Docker的优点：一站式解决方案3.Docker由LXC演变而来，迟迟没有集成到Linux主流内核中阻碍了它的发展
weixin_30267697·2024-09-08 04:03

OVS主线流程之ovs-vswitchd主体结构分析

OVS一般存在两种运行模式，内核模式和DPDK模式。内核模式下存在一个dat
大空新一·2024-09-08 03:00

Linux 磁盘分区及挂载

目录查看分区情况查看磁盘查看哪块磁盘未加载和分区对未进行挂载的磁盘进行分区内核重新读取分区表再查看磁盘分区情况创建文件系统及格式化分区查看已经分区的磁盘文件系统格式化分区永久挂载至指定目录判断挂载是否正确查看文件系统
go_forever_happy·2024-09-08 02:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他