spark内核

Spark——Spark SQL逻辑计划（Logical Plan）、物理计划（Physical Plan）和Catalyst优化器（Catalyst Optimizer）

文章目录TreesRulesSparkSQL中使用CatalystAnalysis逻辑优化（LogicalOptimizations）物理计划（PhysicalPlanning）代码生成（CodeGeneration
Southwest-·2024-01-28 08:18

Spark——Spark覆盖分区表中指定的分区

问题描述Spark中向分区表写数据的时候，如果写入模式为“overwrite”，那会将整个表覆盖掉；如果写入模式为“ap
Southwest-·2024-01-28 08:18

Spark——Spark OOM Error问题汇总分析

.广播了大变量Executor端OOMError1.低效的查询2.不合适的Driver端和Executor端内存3.不合适的YARNContainer内存4.内存中缓存大量数据5.不合适任务并行度参考Spark
Southwest-·2024-01-28 08:17

Spark——Spark写MySQL太慢、很慢、非常慢的原因分析及优化方法

文章目录问题背景原因分析解决方法参考问题背景有这样一个业务场景：需要将通过Spark处理之后的数据写入MySQL，并在在网页端进行可视化输出。
Southwest-·2024-01-28 08:17

Spark——Spark/Hive向量化查询执行原理分析（Vectorization Query Execution）

文章目录什么是向量化查询执行列式存储Spark向量化查询执行Hive向量化查询执行参考什么是向量化查询执行在标准的查询执行系统中，每次只处理一行数据，每次处理都要走过较长的代码路径和元数据解释，从而导致
Southwest-·2024-01-28 08:47

Spark——Spark缓存临时视图（View）

文章目录RDD/Dataset缓存复用纯SQL结果缓存复用RDD/Dataset缓存复用我们知道在使用RDD和DatasetAPI开发Spark应用程序的时候，如果要缓存某个RDD或Dataset来进行复用
Southwest-·2024-01-28 08:47

Spark——Spark DataFrame导出为Excel文件

文章目录问题背景实现1.Maven依赖2.代码实现3.参数详解1.'sheet_name'!B3:C35。2.sheet_name[#All]参考问题背景有时候我们在进行一些表的计算之后，会生成一些指标，需要导出来给其它同事用，虽说可以将DataFrame直接写成表，然后通过工具(比如Hue)导出为Excel，但是步骤就多了，而且如果要导出的表比较多的话，就更浪费时间了，那么这时候调用第三方插件就
Southwest-·2024-01-28 08:17

Spark —— JSON对象/数组转成Spark Dataset/DataFrame

JSON转DataFrame在日常使用Spark处理数据时,半结构化的JSON数据(JSONObject,JSONArray)可能是最常见的一种数据结构，那么能熟练并快速地处理JSON格式数据应该是数据开发人员的必备技能
Southwest-·2024-01-28 08:16

Spark——Spark读写MongoDB

文章目录Spark直连MongoDB1.通过SparkConf2.通过ReadConfig3.通过DataFrameReaderHive中创建映射表mongoexport导出文件参考如果我们要想通过Spark
Southwest-·2024-01-28 08:46

Spark——Spark读写Greenplum/Greenplum-Spark Connector高速写Greenplum

文章目录问题背景解决方式代码实现Spark写GreenplumSpark读Greenplum参考问题背景通过数据平台上的DataX把Hive表数据同步至Greenplum（因为DataX原生不支持GreenplumWriter
Southwest-·2024-01-28 08:42

Hive之set参数大全-18

指定在执行Spark上的动态分区裁剪时，用于评估分区数据大小的最大限制在Hive中，hive.spark.dynamic.partition.pruning.max.data.size是一个配置参数，用于指定在执行
OnePandas·2024-01-28 07:33

hive面试题

本质上是将SQL转换为MapReduce或者spark来进行计算，数据是存储在hdfs上，简单理解来说hive就是MapReduce的一个客户端工具。补充1：你可以说一下HQL转换为MR的任务流程吗？
韩顺平的小迷弟·2024-01-28 07:29

操作系统-线程的实现方式和多线程模型（用户级线程 内核级线程 多线程模型的情况）和线程的状态,转换,组织,控制

文章目录线程的实现方式和多线程模型总览线程的实现方式用户级线程内核级线程多线程模型一对一多对一多对多小结线程的状态,转换,组织,控制总览线程的状态与转换线程的组织与控制线程的实现方式和多线程模型总览线程的实现方式用户级线程程序自己通过自己设计的线程库实现线程管理调度如
Full Stack-LLK·2024-01-28 07:56

玩转docker(1)-基础知识

Docker使用Go语言进行开发实现，基于Linux内核的cgroup，namespace等技术，对进程进行封装隔离，由于隔离的进程独立于宿主和其他隔离的进程因此被称为容器。
redher·2024-01-28 06:21

大数据——Flink 知识点整理

目录1.Flink的特点2.Flink和SparkStreaming的对比3.Flink和Blink、Alink之间的关系4.JobManager和TaskManager的职责5.Flink集群部署有哪些模式
Vicky_Tang·2024-01-28 06:17

【Linux】进程间通信概念 | 匿名管道

文章目录一、什么是进程间通信进程间通信的概念进程间通信的目的进程间通信的分类进程间通信的本质二、什么是管道三、匿名管道匿名管道的原理✨站在内核角度理解管道✨站在文件描述符角度理解管道pipe系统调用fork
_宁清·2024-01-28 05:17

CUDA编程- - GPU线程的理解 thread,block,grid - 再次学习

grid一、从cpu多线程角度理解gpu多线程1、cpu多线程并行加速2、gpu多线程并行加速2.1、cpu线程与gpu线程的理解（核函数）2.1.1、第一步：编写核函数2.1.2、第二步：调用核函数（使用内核函数
Nice_cool.·2024-01-28 05:17

STM32 HAL库 SysTick-＞VAL和SysTick-＞LOAD 实现us延时

本文使用HAL库和STM32CubeMX配置时钟，使用SysTick->LOAD和SysTick->VAL来实现延时us和延时msM3内核中，SysTick计数器是24位递减计数器计数范围2^24-1到
XUNHUII·2024-01-28 05:12

高考复习技巧考研资料、美赛论文及代码，数据收集网站（初高中招生考试全科试卷等）

图，就要从“点、线、面的位置关系”这一内核开始发散，第一层级为彼此的位置关系，平行、相交、异面（两直线间位置）、垂直（相交或异面中的特殊位置），多面体、旋转体等，然后在这一层级的基础上继续发散，努力将主要知识体系纳入到这个体系当中
建模屿·2024-01-28 03:07

linux线程调度策略

Schedulingpolicies内核模块使用调度
Linux加油站·2024-01-28 03:53

Go语言goroutine调度器概述(11)

goroutine简介goroutine是Go语言实现的用户态线程，主要用来解决操作系统线程太“重”的问题，所谓的太重，主要表现在以下两个方面：创建和切换太重：操作系统线程的创建和切换都需要进入内核，而进入内核所消耗的性能代价比较高
ABo_Zhang·2024-01-28 03:52

Linux面试题附答案

LinuxLinux，全称GNU/Linux，是一种免费使用和自由传播的类UNIX操作系统，其内核由林纳斯·本纳第克特·托瓦兹于1991年10月5日首次发布，它主要受到Minix和Unix思想的启发，是一个基于
佳明Ryan·2024-01-28 03:19

Docker安装

一、Docker安装：环境查看（系统内核）：uname-rcat/etc/os-releaseDocker官方文档(CentOs)：InstallDockerEngineonCentOS|DockerDocs1
熊猫发电机hhh·2024-01-28 02:06

【Linux】Linux进程信号(下)

Sherry的成长之路学习社区：Sherry的成长之路（个人社区）专栏链接：Linux长路漫漫浩浩，万事皆有期待上一篇博客：【Linux】Linux进程信号(上)文章目录阻塞信号信号其他相关常见概念在内核中的表示
Sherry的成长之路·2024-01-28 02:11

影视剧揭露的现实情感问题：中年男人，正在丧失婚姻中的主动权

剧中的三个中年男人同时遇到了婚姻危机，曾经看似光鲜亮丽的外壳早已不复存在，取而代之的是因为矛盾积累和突发事件所暴露出的内核。有的女人厌倦了自己的婚姻，有的女人找到了别的男人，有的女人隐瞒了孩子的身世。
叶秋臣·2024-01-28 01:49

linux驱动之阻塞与非阻塞I/O

例子使用的是wait_queue（等待队列），非阻塞I/O例子使用的是select、poll（I/O多路复用）往期链接：linux设备驱动中的并发linux设备驱动中的编译乱序和执行乱序linux设备驱动之内核模块
浪矢杂谈·2024-01-28 01:33

龙芯内核启动流程（一）

了解龙芯内核启动流程。1.MIPSCPUAddress  MIPSCPU运行时有三种状态：用户模式（UserMode）；核心模式（KernelMode）；管理模式（SupervisorMode）。
Hacker_Albert·2024-01-28 00:20

龙芯在uboot中设置启动参数

nandopennandprobeloady0xa1000000u-boot.binnanderase050000//擦除0地址0x50000大小的区域，实际擦除大小根据u-boot.bin大小调整，擦除大小必须大于u-boot实际大小nandwrite0xa100000000x50000一、内核启动方式
pzs0221·2024-01-28 00:48

龙芯1B在uboot下与MTD分区的关系，及启动引导参数和内核烧录命令的部分解释

本文将从硬件入手，到解释龙芯1B开发板启动时的参数设置相关问题。首先简单介绍一个存储器的相关知识，重点在存储器的存储过程。一、存储器相关知识存储器，可分为主存储器和辅助存储器，主存储器又称为内存储器（就是平时大家所谓的，内存），外存储器，指内存及CPU缓存以外的存储器，包括营盘硬盘、软盘、光盘、U盘等设备。外存储器和内存的区别在于，外存储器在断电重启后，存储的数据不会丢失，而内存会丢失。之所以将存
鱼月半·2024-01-28 00:18

Oracle 11g 安装配置详细教程

Oracle11g安装配置详细教程一、准备工作1、系统要求：确保你的操作系统满足Oracle11g的安装要求，比如WindowsServer版本、Linux发行版及内核版本等。
清水白石008·2024-01-28 00:02

Linux基础---1.4shell编程

同时shell是一个命令解析器(程序),可以解析用户的输入,交给操作系统内核执行,并且把结果反馈给用户,本身也是一个程序我们可以把很多需要执行的命令(操作),以一种语言的方式组织起来,交给SHELL去运行
zzzskkd·2024-01-28 00:01

茶文化之发展始盛，上至诸侯下至百姓，与茶结缘，人之幸事也

从茶艺与茶道精神来讲，唐宋时期成就了茶文化的经典内核。这不仅与当时的经济发展有重要关联，更
筑和社·2024-01-28 00:23

Apache Spark架构与特点

1.背景介绍ApacheSpark是一个开源的大数据处理框架，由AMLLabs公司开发，后被Apache软件基金会所支持。
OpenChat·2024-01-27 23:35

谁是死者？故弄玄虚的《华灯初上》

但看到第四集就觉得有点寡淡了，主要原因在于虽然剧集的外壳是带有悬疑色彩的凶杀案，内核却逃不开女性之间的猜疑、嫉妒和争宠。
Sunday_2353·2024-01-27 23:55

Spark-core

什么是SparkSpark是基于内存的快速，通用，可扩展的大数据分析引擎Spark的内置模块SparkCore是Spark可以离线处理的部分，实现了spark的基本功能，包含任务调度，错误恢复，与存储系统交互等模块
luckboy0000·2024-01-27 23:12

Android SElinux认知与调试

一，SELinux机制Linux内核资源访问控制分为DAC（DiscretionaryAccessControl，自主访问控制）和MAC（MandatoryAccessControl，强制
bug猎人·2024-01-27 22:26

centos7 升级内核

RPM-GPG-KEY-elrepo.orgrpm-Uvhhttp://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm查看可用的系统内核包
嘿嘿逗·2024-01-27 22:31

自我探索：从《认知觉醒》到《底层逻辑》，再到《世界尽头的咖啡馆》

这一行字代表了这本书的价值内核，也诠释了读书营不是为了读书而读书，而是希
山毛读书·2024-01-27 22:56

Android发展历程及安装

目录发展历程下载网址安装过程发展历程安卓基于Linux内核，Linux内核相当于房屋的地基开源不等于免费，不能商用安卓一般每半年小更新，一年大更新对应API相当于别名现在安卓安全性越来越高，性能越来越快
猪八戒1.0·2024-01-27 21:41

手机操作系统Android

▶1.Android系统概述Andaid(读[安卓)由Coosle公司和开放手机联盟共同开发，它是基于Lmx内核的开源操作系统。Andtoid主要用于移动设备，如智能手机和平板计算机。
豐儀麟阁贵·2024-01-27 21:02

Java+Linux，深入内核源码讲解多线程之进程

我为什么这么喜欢写这个系统的知识，可能就是为了今天的内容多线程系列，现在多线程不是一个面试重点啊，那如果你能深入系统内核回答这个知识点，面试官会怎么想？
java架构师联盟·2024-01-27 20:50

C++的IO流

将指定的文字/字符串输出到标准输出设备(屏幕)，注意宽度输出和精度输出控制；C语言借助了相应的缓冲区来进行输入与输出对输入输出缓冲区的理解：可以屏蔽掉低级I/O的实现，低级I/O的实现依赖操作系统本身内核的实现
ketil27·2024-01-27 20:26

打开文件：内核做了什么

一.文件描述符本质文件描述符的是一个非负整数，它是操作系统内核用来标识和管理打开文件的抽象概念。在Linux和其他类Unix操作系统中，几乎所有与文件相关的操作都是通过文件描述符来进行的。
左手的月光·2024-01-27 19:07

使用 /sys 文件系统访问 Linux 内核

使用/sys文件系统访问Linux内核sysfs虚拟文件系统提供了一种比proc更为理想的访问内核数据的途径；2.6内核要求sysfs总是挂载在/sys目录上；sysfs的设计原则是一个属性文件只做一件事情
[email protected]·2024-01-27 19:07

【Linux】第三十七站：信号保存

三、阻塞信号1.信号的一些相关概念2.在内核中的表示3.sigset_t4.信号集操作函数5.sigprocmask6.sigpending7.总结一、信号发送如下所示，对于普通信号，它的编号是从1~31
青色_忘川·2024-01-27 19:35

Linux之父：我们不会用Rust取代C语言开发内核！

30年前，当LinusTorvalds第一次发布Linux内核时，他还是赫尔辛基大学的一名21岁的学生。他宣布说：“我正在开发一个（免费的）操作系统（这只是个爱好，不会做得很大，也不会很专业……）”。
DP29syM41zyGndVF·2024-01-27 19:32

【Linux】第三十五站：信号量和消息队列

文章目录一、消息队列1.消息队列原理2.消息队列的接口2.1创建一个消息队列2.2释放消息队列2.3发送数据和接收数据3.查找消息队列4.信号量的接口（了解）5.结论二、IPC在内核中的数据结构设计三、
青色_忘川·2024-01-27 19:31

Linux抽象文件系统

Linux的抽象文件系统通过以下几个组件来实现：VFS（VirtualFileSystem）：VFS是一个抽象层，位于内核与各种具体文件系统之间。
左手的月光·2024-01-27 19:00

独家解读 | 滴滴机器学习平台架构演进之路

所谓大同是指大家所要处理的问题都相似，技术架构和选型也差不太多，比如都会使用GPU集群、采用Spark或K8s平台等。
csdn产品小助手·2024-01-27 19:18

RDMA技术赋能：构建高速网络基础设施，加速大型模型高效训练

其卓越性能的核心在于巧妙地绕过了操作系统内核层（如套接字、TCP/IP协议栈）对数据传输的干预，实现了网络通信范式的革新性跃迁。
audrey-luo·2024-01-27 19:13
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他