spark内核

新书速览|Linux信息安全和渗透测试

本书内容《Linux信息安全和渗透测试》详细阐述Linux下的信息安全和网络渗透技术，内容涵盖各大主流加解密算法的原理，用LinuxC/C++语言自主实现这些技术的方法，以及Linux内核开发技术和IPSecVPN
全栈开发圈·2024-02-06 06:51

SparkSQL on K8s 在网易传媒的落地实践

网易传媒在2021年成功将SparkSQL部署到了K8s集群，并实现与部分在线业务的混合部署，到目前已经稳定运行了一年多。
wangyishufan·2024-02-06 06:02

Docker下安装GitLab

极狐GitLabDocker镜像|极狐GitLab安装所需最小配置内存至少4G系统内核至少3.10以上uname-r命令可以查看系统内核版本安装Docker1.更新yum源yumupdate2.安装依赖
biubiubiu0706·2024-02-06 06:25

如何过好这一生？-慎言第7日

今天一个人包饺子，为全家准备晚饭.可能是有点累了，因此讲话就带着情绪，这个情绪的内核是委屈，你看看，全家的饺子，从擀皮儿到包，你们谁也不帮忙，就让我一个人做，太不公平了，太委屈了，这个情绪就通过语言表达出来了
姜地主·2024-02-06 06:06

【测试基础】Linux系统组成、目录结构及基本命令

本篇主要内容：Linux系统组成Linux目录结构基本命令Linux系统组成1、内核kernel是操作系统的核心、管理内存、管理CPU、管理进程、管理文件系统、管理设备驱动及网络通信特点：支持多任务、支持共享库
软件测试大田·2024-02-06 06:28

【程序员的自我修养11】栈与函数调用过程

介绍首先我们来看一张Linux进程中经典的内存布局图：分析：内核空间：是操作系统内核运行的区
谢艺华·2024-02-06 05:21

交叉编译valgrind（9x07）

1介绍valgrind是一套Linux下，开放源代码的动态调试工具集合，能够检测内存管理错误、线程BUG等，valgrind由内核（core）以及基于内核的其他调试工具组成。
victorwwd·2024-02-06 05:21

51学习记录1

3、内核解释：IC的大脑和控制部分在ARM内核的基础上ST厂商再增加一部分功能外设再封装形成IC就像是大脑+手脚语言表情表达等外设所以ARM属于IP厂商所以ST就属于SOC厂商（苹果/三星）写好的程序是放
凌迟老头·2024-02-06 05:04

GO-创建TUN/TAP接口并实现报文的收发

背景最近在学习Linux内核二三层转发的知识，同时也在学习GO编程，于是有了如何通过Go实现创建TUN/TAP接口，并实现收发包的想法，通过查阅相关资料及不断调试终于实现，在此分享给大家，希望能共同学习交流
进化中的码农·2024-02-06 04:46

VPP学习-startup.conf配置文件

背景VPP（VectorPacketProcessing，矢量报文处理），作为一个开源的高性能数据包处理框架，旨在提供可扩展、灵活且高效的网络数据包处理能力；由于传统Linux内核协议栈整体网络吞吐性能的局限性
进化中的码农·2024-02-06 04:46

Linux 报文从网卡到协议栈之间处理的过程

背景作为一个Linux内核开发的程序员，时常会被问到内核收报的处理过程，很多时候可以快速讲出一个大概，但关注的重点多在内核协议栈的报文处理过程，对于报文从到达网卡再到上送协议栈之间的处理过程总是很模糊，
进化中的码农·2024-02-06 04:16

Linux Netfilter框架实现及函数调用处理过程

背景本身从事网络安全工作，具体为防火墙产品的开发，对Linux内核而言，Linux防火墙功能由Netfilter框架实现，因此有了对Linux内核Netfilter实现逻辑的学习研究的兴趣，也想借此平台和大家一起交流学习
进化中的码农·2024-02-06 04:16

PySpark（四）PySpark SQL、Catalyst优化器、Spark SQL的执行流程

目录PySparkSQL基础SparkSession对象DataFrame入门DataFrame构建DataFrame代码风格DSLSQLSparkSQLShuffle分区数目DataFrame数据写出
独憩·2024-02-06 03:14

Spark Shuffle模块详解

Shuffle，具有某种共同特征的一类数据需要最终汇聚（aggregate）到一个计算节点上进行计算。这些数据分布在各个存储节点上并且由不同节点的计算单元处理。以最简单的WordCount为例，其中数据保存在Node1、Node2和Node3；经过处理后，这些数据最终会汇聚到Nodea、Nodeb处理。这个数据重新打乱然后汇聚到不同节点的过程就是Shuffle。但是实际上，Shuffle过程可能会
晓之以理的喵~~·2024-02-06 03:14

PySpark（三）RDD持久化、共享变量、Spark内核制度，Spark Shuffle

目录RDD持久化RDD的数据是过程数据RDD缓存RDDCheckPoint共享变量广播变量累加器Spark内核调度DAGDAG的宽窄依赖和阶段划分内存迭代计算Spark是怎么做内存计算的?
独憩·2024-02-06 03:43

python-sql-spark常用操作

2.尽量使用spark.sql，而不是rdd。sql处理groupby会快很多。基本上10min的rdd，sql只需2min。所以基本除了复杂函数，都用sql解决。
竹竹竹～·2024-02-06 03:32

Spark On Yarn 运行模式

在Spark中，支持4种运行模式：1）Local：开发时使用2）Standalone：是Spark自带的，如果一个集群是Standalone的话，那么就需要在多台机器上同时部署Spark环境3）YARN
bandi4506·2024-02-06 03:02

两会科技提案鸿蒙,2020年两会调查最期待科技事件：华为鸿蒙 OS 2.0 应用于创新国产 PC 上榜...

在去年的华为开发者大会上，鸿蒙Harmony操作系统首次亮相，根据官方的表述，这是面向未来万物互联时代的在发布会上公布的鸿蒙OS计划表可以得知，2020年鸿蒙OS内核及应用框架自研，适用于创新国产PC、
weixin_39832348·2024-02-06 02:52

select代码实现1

多路IO转接（多路IO复用）内核监听多个文件描述符的属性（读写缓冲区）变化，如果变化，将事件告知给应用层。
e_Gravity·2024-02-06 02:21

【Linux】线程池

线程池不仅能够保证内核的充分利用，还能防止过分调度。可用线程数量应该取决于可用的并发处理器、处理器内核、内存、网络sockets等的数量。线程池的应用场景需要大量线程完成任务，且完成的时间比较短。
e_Gravity·2024-02-06 02:21

鸿蒙系统（非常详细）从零基础入门到精通，看完这一篇就够了

目录鸿蒙系统概述（HarmonyOS）系统定义系统定位技术架构内核层系统服务层框架层应用层技术特性硬件互助，资源共享一次开发，多端部署统一OS，弹性部署系统安全正确的人正确的设备正确地使用数据系统定义系统定位
Python_chichi·2024-02-06 02:16

关于Spark/Hadoop中Master/Slave IP不正确的问题

在配置SparkStandAloneMode的时候，我遇到了Slave无法向正确的MasterIP发送数据的问题。通常这类问题都来源于没有正确配置.
ecce·2024-02-06 02:37

STM32WLE5JC

ARMCortex-M内核凭借其嵌入式Arm内核，STM32WLE5/E4xx器件与所有Arm工具和软件兼容。ARMCortex-M4是一款嵌入式系统处理器。它的开发是为了
饼干饼干圆又圆·2024-02-06 02:35

Redhat7.9/Centos7.9配置双网卡bonding

bonding（绑定）是一种Linux系统下的网卡绑定技术，是Linux系统内核层面实现的，它是一个内核模块（驱动），可以把服务器上N块物理网卡在系统内部抽象（绑定）成一块逻辑上的网卡，共用一个IP，能够提升网络吞吐量
蜜蜜不吃糖·2024-02-06 01:31

Epoll底层原理

Epoll是Linux内核提供的一种I/O事件通知机制，通过在用户态和内核态之间建立一个数据结构，使得用户态程序可以在内核态中注册感兴趣的事件，当事件发生时，内核会通知用户态程序。
逆风了我·2024-02-06 01:00

STM32F407移植OpenHarmony笔记7

继上一篇笔记，成功启动了liteos_m内核，可以创建线程了，也能看到shell控制台了。今天研究文件系统，让控制台相关文件命令如mkdir和ls能工作。
星沉地动·2024-02-06 01:59

PyTorch 2.2 中文官方教程（十六）

torch.compile通过将PyTorch代码JIT编译成优化的内核来使Py
绝不原创的飞龙·2024-02-06 01:40

Centos7配置登录失败处理导致root被锁定处理办法

锁定无法登录系统3、原因设置登录失败处理并对root用户生效，一直尝试错误的root密码或暴力破解root密码，导致无法自动解锁Linux的root账户4、解决方案1.将虚拟机开机，马上按上键或者下键，选中内核按下
徐sir（徐慧阳）·2024-02-06 00:25

书写首个内核模块

在《为Ubuntu换颗“心”》一文中，我们已经了解到了如何去编译安装新的Kernel，编译过程也生成了相应的内核树，为什么要生成内核树呢？
网路元素·2024-02-06 00:48

Linux进程信号(2)--信号的保存

1.2信号在内核中的表示sigset_t信号集操作函数使用sigprocmask函数修改block表使用sigpending函数查看pending表1.阻塞信号在解释信号的保存时，我们要先了解
慢慢走，慢慢等·2024-02-05 23:18

Docker基础与持续集成

构建的操作系统Hypervisor：一种虚拟机软件，装了之后才能虚拟化操作系统GuestOS：虚拟化的操作系统Bins/Libs：执行命令、工具AppA：构建的软件DockerEngine：跳过虚拟化内核的步骤
老孟说禅·2024-02-05 23:12

【手写数据库toadb】toadb表数据文件存储结构，创建表与插入数据在物理文件层的流程，行列混合存储新增分组文件结构介绍

前言手写数据库内核，麻雀虽小，但是五脏俱全，本教程从零手把手带大家开始，欢迎需要找项目练手的同学们加入一起打造自己的专属数据
韩楚风·2024-02-05 23:36

C++入门

C++是一种通用的编程语言，可以用于开发各种类型的应用程序，从桌面应用程序到操作系统内核，甚至是游戏引擎。从本章开始，来撰写有关c++的博客。在本系列博客中，我们将介绍C++的基础知识、
喜欢吃地瓜·2024-02-05 22:33

嵌入式linux移植篇之根文件系统（rootfs）

根文件系统首先是内核启动时所mount(挂载)的第一个文件系统，系统引导启动程序会在根文件系统挂载之后从中把一些基本的初始化脚本和服务等加载到内存中去运行。
稚肩·2024-02-05 22:44

黑洞战舰02特使秘匣

“这是星舰内核芯片组，把它送到联邦军事指挥中心，记住不能相信任何人，这件东西关系整个银河系的安危，快走，它就要来了。”说完杰西卡已是气若游丝。“她是谁？”“Queen。”说完杰西卡断了气。
地球的火星人·2024-02-05 21:54

鬓边不是夕阳红

商细蕊的杨贵妃绝了，看了无数遍都还会被他的杨贵妃扮相惊艳到，这部剧是真的有认真做京剧文化，不是以往那些披着某方面职业的皮，没有任何内核的电视剧。
小小的解忧树洞·2024-02-05 20:32

SparkSql---用户自定义函数UDF&&UDAF

文章目录1.UDF2.UDAF2.1UDF函数实现原理2.2需求:计算用户平均年龄2.2.1使用RDD实现2.2.2使用UDAF弱类型实现2.2.3使用UDAF强类型实现1.UDF用户可以通过spark.udf
肥大毛·2024-02-05 20:08

SparkSql---RDD DataFrame DataSet

文章目录1.DataFrame2.DataSet3.RDD、DataFrame、DataSet三者的关系4.使用SQL操作DataFrame类型的数据4.1DSL语法4.2RDD转换为DataFrame4.3DataFrame转换为RDD5.使用SQL操作DataSet的数据5.1使用样例类序列创建DataSet5.2DataSet转换为RDD5.3DataSet和DataFrame相互转换1.D
肥大毛·2024-02-05 20:38

SparkStreaming---DStream

3.1.1Transformations3.1.2join3.2有状态转换操作3.2.1UpdateStateByKey3.2.2WindowOperations4.DStream输出1.DStream是什么参考博文SparkStreaming
肥大毛·2024-02-05 20:06

【手写数据库toadb】toadb表对象访问操作，存储管理抽象层软件架构设计思想应用

前言手写数据库内核，带大家从零开始写出属于自己的数据库，看似很庞大的数据库系统，经过对核心模块的提取精简，不论是刚学会编程还是有理
韩楚风·2024-02-05 20:01

linux 编译配置内核路由功能,嵌入式Linux2.6路由功能的实现

静态路由，linux2.6内核提供了route命令来修改系统路由信息；动态路由，必须添加相应的路由协议如RIP、OSPF等等。
weixin_39955700·2024-02-05 19:09

如何利用iptables进行路由转发、端口映射

一、iptables简介IPTABLES是与最新的3.5版本Linux内核集成的IP信息包过滤系统。
每日一bug·2024-02-05 19:08

linux 停止路由转发策略_Linux 路由转发功能的开启

LINUX内核配置中默认包含了路由功能，只不过默认的系统不开启此功能。开启Linux的路由功能可以通过调整内核的网络参数来实现。要配置和调整内核参数可以使用sysctl命令。
weixin_39655160·2024-02-05 19:38

Linux内核参数 rp_filter

全文引自：Linux内核参数rp_filter，作者：JSON_NULL简介rp_filter（ReversePathFiltering）参数定义了网卡对接收到的数据包进行反向路由验证的规则。
石小千·2024-02-05 19:08

聊聊 Http 服务化改造实践

粉丝福利，免费领取C/C++开发学习资料包、技术视频/项目代码，1000道大厂面试题，内容包括（C++基础，网络编程，数据库，中间件，后端开发/音视频开发/Qt开发/游戏开发/Linuxn内核等进阶学习资料和最佳学习路线
程序员老舅·2024-02-05 19:55

C++并发编程：如何编写多线程代码

粉丝福利，免费领取C/C++开发学习资料包、技术视频/项目代码，1000道大厂面试题，内容包括（C++基础，网络编程，数据库，中间件，后端开发/音视频开发/Qt开发/游戏开发/Linuxn内核等进阶学习资料和最佳学习路线
程序员老舅·2024-02-05 19:54

MongoDB 中的分布式集群架构

粉丝福利，免费领取C/C++开发学习资料包、技术视频/项目代码，1000道大厂面试题，内容包括（C++基础，网络编程，数据库，中间件，后端开发/音视频开发/Qt开发/游戏开发/Linuxn内核等进阶学习资料和最佳学习路线
程序员老舅·2024-02-05 19:22

C++ Webserver从零开始：基础知识（八）——多线程编程

根据运行环境和调度者的身份，线程可分为内核线程和用户线程。内核线程和用户线程
meeiuliuus·2024-02-05 19:42

自定义VS程序异常处理及调试Dump文件(一)

2.Dump文件分类程序分两种，内核模式程序和用户模式程序，也即Ring0程序和Ring3程序。Dump文件是伴随着程序而生成的，所
-飞鹤-·2024-02-05 19:40

FreeRTOS API快速检索(宏定义以及常用函数)

posttitle:“实际使用”date:2023-11-2215:39:08+0800tags:FreeRTOSFreeRTOSAPI快速检索宏定义任务#defineconfigUSE_PREEMPTION1配置内核调度方式
唐·柯里昂798·2024-02-05 19:40
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他