E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark内核
强者联盟——Python语言结合
Spark
框架
引言:
Spark
由AMPLab实验室开发,其本质是基于内存的快速迭代框架,“迭代”是机器学习最大的特点,因此非常适合做机器学习。
博文视点
·
2025-03-03 12:15
全栈工程师
全栈
全栈数据
Spark
Python
PySpark
Spark
技术系列(三):
Spark
算子全解析——从基础使用到高阶优化
Spark
技术系列(三):
Spark
算子全解析——从基础使用到高阶优化1.算子核心概念与分类体系1.1算子本质解析延迟执行机制:转换算子构建DAG,行动算子触发Job执行任务并行度:由RDD分区数决定(
数据大包哥
·
2025-03-03 12:11
#
Spark
spark
大数据
分布式
Linux服务器防火墙白名单访问策略的配置示例
服务器的动态防火墙管理工具(即firewalld),来实现服务或端口的访问控制,firewalld主要用于管理Linux系统中的防火墙规则,firewalld不是一个独立的防火墙软件,他基于Linux
内核
的
一望无际的大草原
·
2025-03-03 11:34
后端
运维
防火墙
服务器
linux
防火墙
大数据经典技术解析:Hadoop+
Spark
大数据分析原理与实践
ApacheHadoop和Apache
Spark
是目前主流开源大数据框架。由于其易于部署、高容错性、并行计算能力强、适应数据量大、可编程、社区支持广泛等特点,大大提升了大数据应用的效率和效果。
AI天才研究院
·
2025-03-03 10:27
Python实战
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
带缓冲I/O 和不带缓冲I/O的区别与联系
首先要明白不带缓冲的概念:所谓不带缓冲,并不是指
内核
不提供缓冲,而是只单纯的系统调用,不是函数库的调用。
amoscykl
·
2025-03-03 08:11
网络编程
C
linux
缓冲
I/O
DeepSeek 开源周五个开源项目,引领 AI 创新?
Day1:FlashMLA项目介绍FlashMLA是一个为HopperGPU设计的高效解码
内核
,专门用于大型语言模型(
LaughingZhu
·
2025-03-03 08:09
开源
人工智能
产品运营
前端
经验分享
Spark
核心之06:知识点梳理
spark
知识点梳理
spark
_〇一1、
spark
是什么
spark
是针对于大规模数据处理的统一分析引擎,它是基于内存计算框架,计算速度非常之快,但是它仅仅只是涉及到计算,并没有涉及到数据的存储,后期需要使用
小技工丨
·
2025-03-03 07:03
大数据技术学习
SparkSQL
spark
大数据
【面试】Java 中的 BIO、NIO 和 AIO:区别、使用及实例
线程发起IO请求,不管
内核
是
刘小炮吖i
·
2025-03-03 02:54
Java后端开发面试题
Java
java
面试
进程基本概念和通信方式
一个程序可以对应多个进程.进程是资源申请,高度和独立运行的单位,因此,它使用系统中的运行资源,而程序不能申请系统资源,不能被系统高度也不能作为独立运行的单位,因此它不占系统运行资源.进程组成:操作系统用来管理进行的
内核
对象内
Chasing追~
·
2025-03-02 19:57
操作系统
websocket
信息与通信
Kubernetes kubelet inotify
inotify是一个Linux
内核
子系统,用于监控文件系统事件。它允许应用程序注册对特定文件或目录的监控,并在这些文件或目录发生变化时接收通知。inotify是一种
summer_west_fish
·
2025-03-02 18:24
#
容器云
Kubernetes
kubernetes
kubelet
java
Airflow和Py
SPARK
实现带多组参数和标签的Amazon Redshift数据仓库批量数据导出程序
设计一个基于多个带标签SQL模板作为配置文件和多组参数的Py
SPARK
代码程序,实现根据不同的输入参数,用Airflow进行调度,自动批量地将AmazonRedshift数据仓库的数据导出为Parquet
weixin_30777913
·
2025-03-02 17:45
python
spark
云计算
Android构建系统 - 03 编译执行流程
文章目录执行编译Linux
内核
编译make编译系统选择编译命令makem..makemmmmma...其他命令代码搜索导航指令makeclean/update-apiMakefile分类解析过程树根节点
Mr.pyZhang
·
2025-03-02 17:12
构建系统
android
linux
单片机FLASH和RAM内存分布
STM32内置有Flash和RAM(Flash分为NorFlash和NandFlash,STM32M3、M4
内核
的单片机内为NorFlash,程序可以直接在其运行;RAM分为SRAM和DRAM,STM32
BachelorTse
·
2025-03-02 16:04
stm32
嵌入式
单片机
stm32
FreeRTOS空闲任务和钩子函数
FreeRTOS空闲任务(IdleTask)1.空闲任务的概念空闲任务是FreeRTOS中一个特殊的任务,由RTOS
内核
在调度器启动时自动创建。
古希腊掌握嵌入式的神
·
2025-03-02 16:02
嵌入式硬件
stm32
操作系统
freertos
单片机
开发语言
Linux:简单理解文件系统内附Linux
内核
设计与实现PDF下载地址
简单理解文件系统文件系统ext2文件系统文件的存储文件的获取文件系统文件存储的方式有线性存储和离散存储两种,线性存储可能会导致磁盘的利用率降低,产生磁盘碎片,离散存储方式会提高程序对磁盘的利用率,以下是Linux
内核
简设计与实现中关于文系统的一段话的一部分
℃绝心恋
·
2025-03-02 15:24
Linux
linux
深度对比Linux软链接和Windows快捷方式
Linux软链接Windows快捷方式文件类型特殊文件类型(symboliclink).lnk扩展名文件存储内容纯文本路径二进制结构(含GUID等元数据)文件大小路径长度决定(约100B)固定约1KB系统识别
内核
级支持
秋の水
·
2025-03-02 15:24
linux
windows
STMicroelectronics 系列:STM32G4 系列_(2).STM32G4系列核心架构
STM32G4系列核心架构1.介绍STM32G4系列是STMicroelectronics推出的一款高性能、低功耗的32位微控制器系列,基于ArmCortex-M4
内核
。
kkchenkx
·
2025-03-02 12:58
机器人控制系统和单片机开发
stm32
嵌入式硬件
单片机
web集群(LVS-DR)
现在LVS已经是Linux标准
内核
的一部分,在Linux2.4
内核
以前,使用LVS时必须要重新编译
内核
以支持LVS功能模块,但是从Linux2.4
内核
以后,已经完全内置了LVS的各个功能模块,无需给
内核
打任何补丁
Spike()
·
2025-03-02 11:47
lvs
网络
服务器
HTML学习笔记
文章目录(一)HTML简介一、网页1.什么是网页2.什么是HTML二、常用的浏览器1.常用的浏览器2.浏览器
内核
(渲染引擎)3.web标准(二)HTML标签一、HTML语法规范1.基本语法概述2.标签的关系二
誓死守护发际线
·
2025-03-02 09:33
html
学习
笔记
VMware各个软件的作用
以下结合其核心产品体系,详细解析各软件的功能定位与业务价值:一、基础虚拟化平台VMwarevSphere作为企业级服务器虚拟化的核心引擎,vSphere通过ESXi虚拟化
内核
实现对物理服务器的资源切割,
The god of big data
·
2025-03-02 08:21
大Big数据Data
教程
神器?三叉戟?
云计算
网络
教程 | 在 Linux 环境中安装 Docker(含2025最新镜像站加速,实测可用)
准备工作系统要求64位Linux系统(
内核
3.10或更高版本)。确保已安装curl或wget工具。以root用户或具有sudo权限的用户执行以下操作。卸载旧版本
The god of big data
·
2025-03-02 08:20
大Big数据Data
容器那点事儿
教程
linux
docker
运维
入门Apache
Spark
:基础知识和架构解析
介绍Apache
Spark
Spark
的历史和背景Apache
Spark
是一种快速、通用、可扩展的大数据处理引擎,最初由加州大学伯克利分校的AMPLab开发,于2010年首次推出。
juer_0001
·
2025-03-02 08:19
java
spark
鸿蒙轻
内核
M核源码分析系列二一 05 文件系统FatFS
可以参考之前的系列文章,《鸿蒙轻
内核
M核源码分析系列十九MuslLibC》中介绍了相关的接口,那些接口会调用VFS文件系统中操作接口,然后进一步调用FatFS文件操作接口。
愿天堂没有996
·
2025-03-02 07:45
OpenHarmony
鸿蒙内核
移动开发
harmonyos
鸿蒙开发
移动开发
鸿蒙内核
LiteOS-M
鸿蒙源码
轻内核
Spark
核心算子对比:`reduceByKey`与`groupByKey`源码级解析及生产调优指南
Spark
核心算子对比:reduceByKey与groupByKey源码级解析及生产调优指南1.核心机制对比在
Spark
中,reduceByKey和groupByKey都是对键值对RDD(RDD[(K,
数据大包哥
·
2025-03-02 07:13
大数据
spark
分布式
CEF桌面应用的自动化
开发跨平台桌面软件,目前比较流行的框架有CEF,是基于Chromium浏览器
内核
的。这样的PC应用,同样可以使用Selenium进行自动化测试。
大胖丫
·
2025-03-02 05:28
自动化
python
selenium
python
Linux 4.xx
内核
+Go 1.15出core排查
Goruntime出core在使用gozero框架的开发数据库管理服务的过程中,经常出core。通过dlv查看core的位置,各个地方都有,典型的有以下两种:runtime在执行init函数时,某个空串对应的地址上其长度不对,应该是0,却是一个负值。runtime中初始化timer时,timer的某个应该为正整数的属性,变成了负值。明确是踩了内存,但一时间找不到思路。0x01怀疑是CGO由于CGO
1-programmer
·
2025-03-02 03:44
GoGo
Linux
OS
linux
golang
zswap 数据结构维护解析
zswap数据结构维护解析zswap是Linux
内核
中的一个前端压缩交换(swap)机制,它在内存中维护一个zpool来存储被压缩的页面,以减少磁盘I/O并提高性能。
仙度瑞拉快点跑
·
2025-03-02 03:44
数据结构
【Linux 进程状态】—— 从创建到消亡的全生命周期
欢迎评论区留言交流个人主页ZyyOvO本文专栏➡️Linux驾驭之道掌控操作系统的艺术与哲学各位于晏,亦菲们请看引言==进程=
内核
数据结构+自己的代码和数据==系统调用fork函数功能返回值代码层面理解进程状态
一整颗红豆
·
2025-03-02 03:40
Linux驾驭之道
掌控操作系统的艺术与哲学
linux
运维开发
python
STM32MP157A-DK1开发板评估:官方OpenSTLinux烧录
STM32MP157A-DK1开发板是一款基于STMicroelectronics的STM32MP1系列微处理器的开发板,该系列微处理器结合了Cortex-A7和Cortex-M4
内核
。
2301_79326616
·
2025-03-02 02:39
stm32
单片机
嵌入式硬件
解锁Linux性能密码:25个实用调优技巧
目录一、引言二、系统资源监控工具2.1top和htop2.2vmstat2.3iostat三、
内核
参数优化3.1调整swappiness参数3.2优化I/O调度器3.3调整dirty_ratio和dirty_background_ratio3.4
大雨淅淅
·
2025-03-02 02:37
Linux
linux
运维
【oracle19c静默安装RAC】
规划用户组和用户软件目录规划整体数据库安装规划虚拟机准备操作系统安装yum源配置openfiler安装安装前准备配置host文件(rac1和rac2)关闭防火墙(rac1和rac2)关闭Selinux(rac1和rac2)安装依赖包(rac1和rac2)修改
内核
参数
sqlboy-yuzhenc
·
2025-03-02 01:32
DBA
ORACLE
oracle
数据库
linux日志管理_日志系统
Linux
内核
由很多子系统组成,包括网络、文件访问、内存管理等。子系统需要给用户传送一些消息,这些消息内容包括消息的来源及其重要性等。
Guff_hys
·
2025-03-02 01:59
linux
运维
服务器
eclipse
ide
开发语言
程序人生
【系统稳定性】1.11 QVM稳定性问题分析
这里我们把qvm的异常归类为两类问题,如下:qvm进程异常qmv中la异常qvm进程异常就很好理解了,我们就把他作为一个qnx
内核
上
高桐@BILL
·
2025-03-02 00:21
qnx
座舱系统
智能座舱
科技快讯 | DeepSeek宣布开源DeepGEMM;多个团队开发AI论文反识别技术;OpenAI GPT 4.5现身Android测试版,即将发布
该库采用CUDA编写,在安装过程中无需编译,通过使用轻量级的即时编译(JIT)模块在运行时编译所有
内核
。FP
最新科技快讯
·
2025-03-01 23:18
科技
2-1文件描述符
2文件描述符1.1文件描述符表file1虚拟地址空间可以用来加载程序数据对应一段连续的内存地址,其实位置为0这个内存地址是虚拟的,并不是物理内存的0地址当运行磁盘上的一个可执行程序,就会得到一个进程,
内核
会给每一个进程创建一个虚拟地址空间
要好好养胃
·
2025-03-01 22:07
linux
linux
服务器
或许我们都被分库分表约束了思维
从业数据库领域三年有余了,从分库分表中间件到数据库团队
内核
学到了很多东西。也接触了很多项目,包括TiDB、Vitess、Polardb、StarDB等等。
京东云开发者
·
2025-03-01 19:16
京东云
spark
为什么比mapreduce快?
作者:京东零售吴化斌
spark
为什么比mapreduce快?
京东云开发者
·
2025-03-01 19:46
spark
mapreduce
大数据
自由软件与Linux:一段共同的革命性旅程
文章详细介绍了自由软件的定义、GNU项目的诞生、Linux
内核
的发展,以及两者如何结合形成了完整的GNU/Linux操作系统。
寒水馨
·
2025-03-01 16:33
Linux问题解决方案
linux
运维
服务器
通过理解 sk_buff 深入掌握 Linux
内核
自定义协议族的开发实现
要开发Linux
内核
中的自定义协议族(如私有传输层或网络层协议),需基于sk_buff的结构和操作,结合
内核
网络栈的扩展机制。
109702008
·
2025-03-01 16:00
编程
#
C语言
网络
linux
网络
人工智能
浅析eBPF
eBPF与Jaeger/Zipkin的区别及先进性四、使用eBPF的开源软件五、开源软件的局限性或待实现功能猫哥说一、eBPF原理eBPF(extendedBerkeleyPacketFilter)是一种
内核
技术
9命怪猫
·
2025-03-01 12:29
运维
可视化
运维
Linux
内核
自定义协议族开发指南:理解net_device_ops、proto_ops与net_proto_family
在Linux
内核
中开发自定义协议族需要深入理解网络协议栈的分层模型。net_device_ops、proto_ops和net_proto_family是三个关键结构体,分别作用于不同的层次。
109702008
·
2025-03-01 11:21
编程
#
C语言
网络
人工智能
linux
Spark
运行问题 java.lang.NoSuchMethodError 解决方案
一般情况,出现这种问题是因为scala和
spark
的版本不匹配,需要重新下载两者相匹配的版本。
@飞往你的山
·
2025-03-01 10:43
spark
scala
鸿蒙系统的架构分为四个层
鸿蒙系统的架构分为四个层次:
内核
层、系统服务层、框架层和应用层。每一层都有其特定的功能,并且各层之间通过接口进行交互。下面我们将详细介绍每个层次的内
荔枝寄
·
2025-03-01 07:27
harmonyos
架构
华为
liunx基本操作
Linux关机,重启#关机shutdown-hnow#重启shutdown-rnow查看系统,CPU信息查看系统
内核
版本cat/proc/version查看系统
内核
信息uname-a查看当前用户环境变量
峰过林
·
2025-03-01 05:35
liunx
服务器
linux
运维
如何使用
Spark
Streaming将数据写入HBase
在
Spark
Streaming中将数据写入HBase涉及到几个步骤。以下是一个基本的指南,帮助你理解如何使用
Spark
Streaming将数据写入HBase。
Java资深爱好者
·
2025-03-01 05:02
spark
hbase
大数据
松灵机器人地盘 安装 ros 驱动 并且 发布ros 指令进行控制
$catkin_make安装●使能gs_usb
内核
模块●设置500k波特率和使能can-to-usb适配器sudomodpro
luoganttcc
·
2025-03-01 02:44
机器人
机器人
Linux 测试必须知道的命令
Linux测试必须知道的命令一、系统信息查看命令1.1uname-查看系统基本信息作用:用于显示系统的相关信息,如
内核
名称、主机名、
内核
版本等。常用参数及示例-a:显示所有信息。
那片海还在吗
·
2025-02-28 18:23
test
linux
DeepSeek开源周Day1:FlashMLA引爆AI推理性能革命!
作为专为Hopper架构GPU(H800/H100)优化的高效解码
内核
,该项目一经发布便引爆社区:上线45分钟斩获400+Star,3小时突破2.
歌刎
·
2025-02-28 18:48
每周追踪AI框架新动态
最前沿的大模型训练部署实践手册
DeepSeek
人工智能
深度学习
AIGC
NLP
DeepSeek
【有啥问啥】深入了解 FlashMLA:Hopper GPU 的高效 MLA 解码
内核
深入了解FlashMLA:HopperGPU的高效MLA解码
内核
简介在人工智能(AI)领域,特别是大型语言模型(LLM)领域,对计算效率和速度的需求持续增长。
有啥问啥
·
2025-02-28 09:12
大模型
行业调研
科普
算法
语言模型
Spark
技术系列(一):初识Apache
Spark
——大数据处理的统一分析引擎
Spark
技术系列(一):初识Apache
Spark
——大数据处理的统一分析引擎1.背景与核心价值1.1大数据时代的技术演进MapReduce的局限性:磁盘迭代计算、中间结果落盘导致的性能瓶颈
Spark
数据大包哥
·
2025-02-28 09:06
#
Spark
大数据
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他