spark内核

阿里云Elasticsearch日志场景 最佳实践及引擎内核优化

主要内容包括：阿里云Elasticsearch日志场景最佳实践阿里云Elasticsearch引擎内核优化阿里云Elasticsearch性能评测阿里云Elasticsearch产品演示Tips：点击「
Apache Spark中国社区·2024-01-31 15:36

docker入门问题之六

容器隔离：利用Linux内核的命名空间（Namespaces）和控制组（Cgroups）功能来隔离容器进程和资源。避免在宿主机上运行特权容器（使
琛哥的程序·2024-01-31 14:22

OpenHarmony(鸿蒙应用开发 - 实战篇 一)：探索ArkTS开发条件语句。

OpenHarmony整体遵从分层设计，从下向上依次为：内核层、系统服务层、框架层和应用层。系统功能按照“系统>子系统>组件”逐级展开，在多设备部署场景下，支持根据实
沉默的闪客·2024-01-31 13:40

OpenHarmony(鸿蒙应用开发 - 实战篇二)：轻松玩转类和函数。

OpenHarmony整体遵从分层设计，从下向上依次为：内核层、系统服务层、框架层和应用层。系统功能按照“系统>子系统>组件”逐级展开，在多设备部署场景下，支持根据实
沉默的闪客·2024-01-31 13:40

阻塞和非阻塞、同步和异步(网络IO)

数据就绪：根据系统IO操作的就绪状态阻塞非阻塞数据读写：根据应用程序和内核的交互方式同步异步陈硕：在处理IO的时候，阻塞和非阻塞都是同步IO，只有使用了特殊的API才是异步IO。
想不出来_6·2024-01-31 13:53

04:容器技术概述｜镜像与容器｜docker配置管理

容器技术的核心有以下几个内核技术组
桑_榆·2024-01-31 12:12

Linux命令-arch命令（显示当前主机的硬件架构类型）

语法下面是arch命令的语法和语法说明：选项功能-k显示内核架构-s显示系统架构-i显示所有可用的架构示例：#显示当前系统的架构信息$archx86_64#显示内核架构信息$arch-kx86_64#显示所有可用的架构信息
RisunJan·2024-01-31 12:17

Linux内核源码

1.为什么要阅读Linux内核2.Linux0.01内核源码3.阅读linux内核源码技巧4.linux升级内核5.linux的备份和恢复5.1安装dump和restore5.2使用dump完成备份5.3
WZJ499710·2024-01-31 11:00

交叉编译环境下对linux内核编译

本文基于ubuntu，以目标arm64为例，搭建交叉编译环境，并对linux4.19.186内核源码进行交叉编译。所谓的交叉编译是：编译环境的平台与编译成果所要运行的平台，不是一类平台。
hello_ludy·2024-01-31 11:26

Linux Kdump内核崩溃转储部署详解

最近在回顾kdump内核崩溃转储技术，刚好可以整理下相关知识点，系统性地讲解下Kdump的部署过程以及原理。
hello_ludy·2024-01-31 11:25

CentOS7启动报错：“A start job is running for /etc/rc.d/rc.local compatibility”的解决办法

1、进入单用户模式进入开机页面，在内核选择时，按e选择启动内核在行尾添加init=/bin/sh按住Ctrl+x执行以后，即可进入单用户模式，对系统内文件进行操作。
魏晨远·2024-01-31 11:25

定制自己的linux

1.基本介绍2.思路分析3.开始定制3.1添加一块20G的硬盘3.2重启，进行磁盘分区3.3格式化分区3.4创建目录，并挂载磁盘3.5安装grub3.6看是否安装上3.7内核文件拷贝到磁盘3.8修改grub2
WZJ499710·2024-01-31 11:23

flink sql运用入门

Job）#步骤4：停止集群#三、SQL客户端#1、准备sql涉及的lib包2、编写sql脚本3、webui查看总结前言目前我司项目中有实时大屏的需求，涉及实时计算部分的选型（以开源为基础），目前主流选择有spark
yc_zlj·2024-01-31 11:21

Shell脚本基础

脚本的概念将要执行的命令按顺序保存到一个文本文件给该文件可执行权限可结合各种shell控制语句以完成更复杂的操作2.shell脚本应用场景重复性操作交互性任务批量事务处理服务运行状态监控定时任务执行.....3.shell的作用命令解释器，“翻译官”介于系统内核与用户之间
yunjisuanxuetu·2024-01-31 10:57

Apache Flink -任意文件写入漏洞复现（CVE-2020-17518）

1、产品简介ApacheFlink是高效和分布式的通用数据处理平台，由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎（简单来说，就是跟spark类似）
OidBoy_G·2024-01-31 10:52

[Spark] 如何设置Spark资源

转自1.公众号[Spark学习技巧]如何设置Spark资源2.Spark性能优化篇一：资源调优Spark和YARN管理的两个主要资源：CPU和内存应用程序中每个SparkExecutor都具有相同的固定数量的核心和相同的固定堆大小
LZhan·2024-01-31 10:07

秒懂+史上最全：JVM进程、Java进程的用户空间与内核空间如何区分？ 如何区分Java进程的内核态与用户态？

文章很长，建议收藏起来慢慢读！疯狂创客圈总目录语雀版|总目录码云版|总目录博客园版为您奉上珍贵的学习资源：免费赠送经典图书:《Java高并发核心编程（卷1）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《Java高并发核心编程（卷2）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《NettyZookeeperRedis高并发实战》面试必备+大厂必备+涨薪必备加尼恩免费领
40岁资深老架构师尼恩·2024-01-31 09:00

java进阶

大数据史上最全Flink面试题，高薪必备，大数据面试宝典史上最全Hadoop面试题：尼恩大数据面试宝典专题1史上最全HBase面试题，高薪必备，架构必备史上最全Hive面试题，高薪必备，架构必备绝密100个Spark
don't_know·2024-01-31 09:44

【故事课】Day9 怦然心动

今天故事女主角是个性格活泼开朗，其实内核敏感拧巴的姑娘。她叫小林。小林上学期间一见钟情本班颜值最高的男生，就像迷恋偶像，犯花痴。暗恋很久，其实同学们都懂她这点心思。
安星瘦·2024-01-31 09:27

pyspark学习-spark.sql.functions 聚合函数

https://spark.apache.org/docs/3.4.1/api/python/reference/pyspark.sql/functions.html1.approx_count_distinct
heiqizero·2024-01-31 08:02

【Spark系列6】如何做SQL查询优化和执行计划分析

ApacheSparkSQL使用Catalyst优化器来生成逻辑执行计划和物理执行计划。逻辑执行计划描述了逻辑上如何执行查询，而物理执行计划则是Spark实际执行的步骤。
周润发的弟弟·2024-01-31 08:01

【Spark系列5】Dataframe下常用算子API

ApacheSparkDataFrameAPI提供了丰富的方法来处理分布式数据集。以下是一些常见的DataFrameAPI类别和方法，但这不是一个完整的列表，因为API非常广泛。
周润发的弟弟·2024-01-31 08:31

（一）PySpark3：安装教程及RDD编程（非常详细）

目录一、pyspark介绍二、PySpark安装三、RDD编程1、创建RDD2、常用Action操作①collect②take③takeSample④first⑤count⑥reduce⑦foreach⑧countByKey⑨saveAsTextFile3
唯余木叶下弦声·2024-01-31 08:57

Spark性能调优

Spark性能调优executor内存不足用`UNIONALL`代替`UNION`persist与耗时监控executor内存不足问题表现1：Containerxxisrunningbeyondphysicalmemorylimits.Currentusage
HanhahnaH·2024-01-31 08:26

字符设备驱动

字符设备驱动的组成字符设备驱动模块加载与卸载函数字符设备驱动的file_operations结构体中的成员函数globalmem虚拟设备实例描述globalmem设备驱动Linux字符设备驱动结构cdev结构体在Linux内核中
孤独memories·2024-01-31 08:25

Linux内核模块

Linux内核模块文章目录Linux内核模块Linux内核模块简介Linux内核模块程序结构模块加载函数模块卸载函数模块许可证声明模块参数模块的声明与描述模块的使用计数模块的编译Linux内核模块简介Linux
孤独memories·2024-01-31 08:25

Linux内核及内核编译

Linux内核及内核编译文章目录Linux内核及内核编译Linux内核的发展内核抢占线程模型虚拟内存的变化Linux内核组成Linux内核源代码的目录结构Linux内核的组成部分Linux内核空间与用户空间
孤独memories·2024-01-31 08:55

萝卜视频源码前后端带视频演示

版本特性：更换播放内核到3.2.6，原版3.0.2一、广告开屏广告播放页下方广告激励广告二、视频观看1、芒果，只要解析能解
ms3_ishenglu·2024-01-31 08:22

Spark如何用累加器Accumulator收集日志

Spark如何用累加器Accumulator收集日志Accumulator如何使用Accumulator收集日志Spark任务的实际运算是交由众多executor来执行的，如果再执行算子内部打印日志，是需要到对应的
HanhahnaH·2024-01-31 08:03

嵌入式——直接存储器存取（DMA）补充

3.什么时候传输完成一、认识DMADMA（DirectMemoryAccess，直接存储器访问）控制器独立于内核，属于一个单独的外设，它的主要功能是传输数据，但是不需要占用
CXDNW·2024-01-31 07:11

STM32通用定时器

（一）通用定时器TIM2~TIM5的特性（二）计数器模式（三）通用计时器框图1.时钟源2.CK_PSC时钟和CK_CNT时钟3.时基单元4.输入捕获5.输出比较一、通用定时器简介对于Cortex-M3内核的
青铜皇弟·2024-01-31 07:07

linux - Function Stack Tracing

brendangregg.com)ftrace使用指南|让ftrace非常流行(qq.com)一行命令动态获取函数堆栈(qq.com)吸引住妹子的trace_event技术(qq.com)(143条消息)linux环境查看当前内核栈已使用过的最大值及对应内核栈调用链信息
Aiden_SHU·2024-01-31 07:35

分布式虚拟文件系统，如何实现多种存储系统的融合

随着大数据技术和人工智能技术的发展，各种框架应运而生，比如大数据领域中的MapReduce和Spark，人工智能领域中的TensorFlow和PyTorch等。
数据存储张·2024-01-31 07:20

K8S搭建（centos）完整版

文章目录一、环境准备1.服务器要求2.服务器参数3.服务器配置4.软件参数二、服务器设置1.基础参数查看1.1查看本机ip1.2查看系统参数1.3查看内核参数1.4查看macaddress和product_uuid1.5
寒山李白·2024-01-31 07:18

Docker-Cgroup资源限制

示例二、内存资源限制1.内存资源限制概念2.内存资源限制参数13.内存资源限制参数2三、CPU资源限制1.容器中CPU使用2.容器CPU限制参数四、实验演示一、Cgroup1.CGROUP概念在linux内核里提供进程资源限制的一个底层原理
刘某的Cloud·2024-01-31 07:17

大数据-Spark-关于Json数据格式的数据的处理与练习

上一篇：大数据-MapReduce-关于Json数据格式的数据的处理与练习-CSDN博客16.7Json在Spark中的引用依旧利用上篇的数据去获取每部电影的平均分{"mid":1,"rate":6,"
王哪跑nn·2024-01-31 06:50

内核升级！IvorySQL 3.1 发版

1.版本介绍[发行日期：2024年1月26日]IvorySQL3.1基于PostgreSQL16.1，包含来自PostgreSQL16.1的各种修复。有关PostgreSQL16.1中更详细的更新和错误修复，请参阅官方PostgreSQL16.1发行说明。https://www.postgresql.org/docs/release/16.1/2.已知问题暂无3.增强功能暂无4.问题修复暂无5.源
IvorySQL·2024-01-31 06:35

大数据开发：hadoop系统搭建以及spark编程

csdn这个坑先留着…传送门：https://github.com/louxinyao/Hadoop-spark
墨染枫·2024-01-31 06:47

Niushop商城系统v3.21_B2B2C_B2C多商户单商户版uni-app小程序源码版怎么配置生成

1.获取小程序源码版,Niushop小程序内核已经在3.2转移到uni-app框架新版内核的小程序分编译版和源码版(注意新版内核的小程序只有主程序V3.21以上版本支持)(需要源码帮助QQ:2568478886
qq_2568478886·2024-01-31 06:15

中国的茶文化：茶道与礼仪

第一部分：中国茶道的精神内核1.茶道的起源与发展中国茶道起源于唐宋时期，至明
jiet_h·2024-01-31 06:15

2024.1.25 Object_basic 用户画像标签开发过程 面向对象定义基类

/usr/bin/envpython#@desc:__coding__="utf-8"__author__="bytedance"frompyspark.sqlimportSparkSession,DataFramefrompyspark.sql.typesimportStringTypefr
白白的wj·2024-01-31 06:03

2024.1.20 用户画像标签开发,面向过程方法

/usr/bin/envpython#@desc:__coding__="utf-8"__author__="bytedance"frompyspark.sqlimportSparkSession,DataFramefrompyspark.sql.typesimportStringTypefromcom.bytedance.tag.base.parse_ruleimportEsMetaimpo
白白的wj·2024-01-31 06:32

大数据存储与处理技术之Spark

1、Spark简介•Spark最初由美国加州伯克利大学（UCBerkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序•2013年Spark
小嘤嘤怪学·2024-01-31 05:28

2024.1.30 Spark SQL的高级用法

目录1、如何快速生成多行的序列2、如何快速生成表数据3.开窗函数排序函数平分函数聚合函数向上向下窗口函数1、如何快速生成多行的序列--需求:请生成一列数据,内容为1,2,3,4,5仅使用select语句selectexplode(split('1,2,3,4,5',','))asnum;--需求:请生成一列数据,内容1~100python中有一个函数range(1,100)--SQL函数:http
白白的wj·2024-01-31 05:56

linux内核——进程

Processesandthreads进程是正在运行的程序，包括下列部分的抽象：（独立的）地址空间一个或者多个线程打开的文件（以描述符fd的形式呈现）套接字信号量Semaphore共享的内存区域定时器信号句柄signalhandler其他的资源和状态信息这些东西都存在于进程控制块（PCB）中。在linux中，是structtask_struct。进程的资源我们查看/proc/目录，就能看到进程号为
PenguinLeee·2024-01-31 05:24

嵌入式学习 Day4

cnt//aeiou（常省略元音字母做变量）2.避免用拼音huiwenshu//hws3.格式驼峰命名法StudentCount//大驼峰studentCount//小驼峰student_count//内核命名法
cd dream·2024-01-31 05:41

在环境不完美的时候，学会一边保持希望，一边说老实话。

在做选择的时候，更加关注自己的内核，而不是拥有的标签。在做事的时候，更关注自己能持续努力、无穷深化的要素。在远方和附近之间，更关注眼前人、身边事。在大和小之间，尊敬大树和鸿鹄，关切小草和燕雀。把一切
醉爱你的笑脸·2024-01-31 04:32

红日靶场2 ATT&&CK攻击

360免杀其实没有你想象的那么难首先最重要的是你要用免杀脚本对你所生成的木马病毒进行加密然后加密系统的内核，就是上一篇文章所提及的是通过两次加密之后所输出的结果，让360无法感知到，然后先通过java反序列化工具将冰蝎工具的
曼达洛战士·2024-01-31 04:51

亚信安慧AntDB打造开放创新的数据库生态

它基于具有广泛全球影响力和繁荣社区支持的PostgreSQL(PG)内核，继承了PG的开放性与生态活力，同时在性能和稳定性方面进行了革新性的优化，赢得了全球用户的信赖与偏好。
亚信安慧AntDB数据库·2024-01-31 04:04

转帖 linux 公司面试题

2.Linux内核引导时，从文件/etc/fstab中读取要加载的文件系统。3.Linux文件系统中每个文件用i节点来标识。4.全部磁盘块由四个部分组成，分别为引导块、专用块、i节点表块和数据存储块。
ZhengboCai·2024-01-31 04:59
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他