深入理解Spark 第40页

进程、线程的概念、区别和联系；并发、并行概念、区别和联系

以下概念摘自《疯狂java讲义》和《深入理解计算机系统》：程序和进程(Process)：几乎所有的操作系统都支持同时运行多个任务，一个任务通常就是指一个程序。

程序员小伙伴·2024-02-03 14:43

深入理解MPU

博客标题：深入理解内存保护单元（MPU）：嵌入式系统的安全守卫在今天的高科技时代，嵌入式系统在我们生活的方方面面扮演着重要角色。

金士顿·2024-02-03 13:19

深入理解 Golang 的 crypto/elliptic：椭圆曲线密码学的实践指南

深入理解Golang的crypto/elliptic：椭圆曲线密码学的实践指南引言crypto/elliptic库概览基本使用教程高级应用案例性能与安全考量结论引言在当今数字时代，数据安全和加密技术成为了信息技术领域的重中之重

walkskyer·2024-02-03 13:17

SpringBoot或Jeecg 配置SSL实现https，http和https端口都要，http转发到https

如果没有阿里云腾讯云只是本地测试，可以参考https://www.cnblogs.com/SparkMore/p/14067340.html有阿里云购买域名域名备案购买服务器宽带收费和流量收费都可以域名绑定服务器

天海华兮·2024-02-03 12:05

初识Apache Paimon

第0章前言0.1主流数据湖工具Delta：由Spark背后商业公司Databricks出品，因此很多功能强兼容Spark，对其他计算引擎不是很友好。

Racin_01·2024-02-03 12:30

CCF- CSP 202209-1如此编码按部就班满分题解

CCF-CSP202209-1如此编码按部就班满分题解题目链接：202209-1如此编码思路：按照题目要求，定义数组a[N],b[N],c[N];初始化c[0]=1，边输入a边初始化c深入理解题意：需要根据

只须一笑不须愁X·2024-02-03 11:18

Docker容器中的Docker-compose的学习安装

本来今天想写下实战的教程的，但是下载spark的内容太慢了。

胖琪的升级之路·2024-02-03 10:42

PySpark笔记(三)：DataFrame

DataFrame是在Spark1.3中正式引入的一种以RDD为基础的不可变的分布式数据集，类似于传统数据库的二维表格，数据在其中以列的形式被组织存储。

Daisy丶·2024-02-03 10:31

类银河恶魔城学习记录1-1 Player状态机的搭建 P28上

一篇文章就够了-知乎说实话，目前并不能深入理解状态机的奇妙之处（当然，我觉得状态机作为教程的重要组成部分是不得不理解的，所以以下我会对游戏教程内的状态机做一些我认为的解释，如有错误，请多包涵）基本的Player

SuKacZev·2024-02-03 10:11

Hbase - 自定义Rowkey规则

中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark

kikiki2·2024-02-03 10:05

【c语言】深入理解指针（2）

1.字符指针变量可以利用字符指针存放字符数组来间接存放字符串。intmain(){chararr[10]="abcdef";char*p=arr;printf("p=%s\n",p);return0;}那我们可不可以直接给字符指针存放字符串呢？intmain(){char*p1="abcdef";printf("p1=%s\n",p1);return0;}我们来看一下结果：可以看到是可以直接给字符

Code Warrior·2024-02-03 10:54

AI+数据库——梳理Snowflake 和 Databricks 在峰会上的重要发布，快来看市值数百亿美金的数据巨头的贴身肉搏！

他们原本定位略有不同，Databricks是一个用于数据工程、数据科学和分析的集成环境，它构建在ApacheSpark之上，提供实

小猿姐·2024-02-03 10:51

【机器学习】3万字长文，PySpark入门级学习教程，框架思维

为什么要学习Spark？

风度78·2024-02-03 08:00

【数据开发】pyspark入门与RDD编程

【数据开发】pyspark入门与RDD编程文章目录1、pyspark介绍2、RDD与基础概念3、RDD编程3.1Transformation/Action3.2数据开发流程与环节1、pyspark介绍pyspark

小哈里·2024-02-03 08:58

Spark如何用repartition来提升执行效率

Spark如何用repartition来提升执行效率repartition是Spark中的一个转换操作，它可以用来增加或减少分区的数量。

HanhahnaH·2024-02-03 08:28

费曼学习技巧：最强的学习方法

费曼技巧的灵感源于诺贝尔物理学奖获得者理查德•费曼（RichardFeynman），运用费曼技巧，你只需花上20分钟就能深入理解知识点，而且记忆深刻，难以遗忘。如果没有不断地学习便会固步自封。

流星跟谁学·2024-02-03 08:03

深入理解网络编程之BIO和NIO

目录原生JDK网络编程BIOBIO通信模型服务端代码BIO通信模型客户端代码伪异步模型服务端代码（客户端跟之前一致）原生JDK网络编程NIO什么是NIO？NIO和BIO的主要区别阻塞与非阻塞IONIO之Reactor模式NIO中Reactor模式的基本组成部分NIO代码实现原生JDK网络编程BIOBIO意为BlockingI/O，即阻塞的I/O。在BIO中类ServerSocket负责绑定IP地址

山鸟与鱼！·2024-02-03 08:37

08.领域驱动设计：深入理解领域模型的核心概念

目录1.概要2.领域模型3.限界上下文（战略）4.领域对象（DomainObject）5.实体（Entity）6.值对象（ValueObject）7.聚合（Aggregate）8.聚合根（AggregateRoot）9.领域服务（DomainService）10.领域事件（DomainEvent）11.模块（Module）12.总结1.概要领域驱动模型（Domain-DrivenDesign，简称

cxzm_1024·2024-02-03 07:01

聊聊高并发（一）概念

没有理论指导的话会导致理解不够全面多线程问题的本质--有序性，可见性，原子性synchronize的底层实现volatile的底层实现无锁算法的底层实现--CAS原子变量的实现final关键字的新含义深入理解

wenming6688·2024-02-03 07:31

Java内存模型与线程安全

参考：《深入理解Java虚拟机》第四版——周志明再有人问你Java内存模型是什么，就把这篇文章发给他由于CPU技术的发展，内存读写速度跟不上CPU执行速度，导致CPU每次操作内存都要耗费很多等待时间。

RealityVibe·2024-02-03 03:44

2019-03-16 Spark基本架构及运行原理

SparkCore:包含Spark的基本功能，包含任务调度，内存管理，容错机制等，内部定义了RDDs(弹性分布式数据集)，提供了很多APIs来创建和操作这些RDDs。为其他组件提供底层的服务。

做一只乐观的小猴子·2024-02-03 02:04

Amdahl定律理解

摘自深入理解计算机系统第三版其中，a为并行计算部分所占比例，k为并行处理的个数。

弱花·2024-02-03 01:48

STM32F1学习-深入理解存储器（存储器映射以及bit-band）

1.存储器映射STM32F1的系统结构存储器映射STM32F1的存储器的映射存储器映射是指把芯片中或芯片外的FLASH，RAM，外设，BOOTBLOCK等进行统一编址。即用地址来表示对象。这个地址绝大多数是由厂家规定好的，用户只能用而不能改。用户只能在挂外部RAM或FLASH的情况下可进行自定义。从系统结构图中我们可以看出，所有内部设备都是AHBSystemBus上，AHB系统总线又分成两个连接的

Phenixyf·2024-02-03 00:02

全能的老教·2024-02-02 23:09

【c语言】深入理解指针（1）

1.数组名的理解数组名是数组首元素的地址：但是有两个例外：1.sizeof（数组名），sizeof中单独放一个数组名的时候，这里的数组名表示的是整个数组，计算的是整个数组的大小，单位是字节。2.&数组名，这里的数组名表示的是整个数组，取出的是整个数组的地址（整个数组的地址和数组首元素的地址是有区别的）。可以看到&arr+1后地址是跳过40个字节的（这刚好是整个数组的大小），而其余两种的+1都只是跳

Code Warrior·2024-02-02 23:15

深入理解InnoDB -- 存储篇

本文分享InnoDB如何规划表空间，如何存储表空间元信息以及用户数据。思考一个问题，如果给你一个文件，让你存储MySql的数据，你会怎么做？下面是一种比较合理的思路。首先把文件划分成大小相等的块（InnoDB中的页），每次取一块使用。为了管理这些块信息，我们也拿出一块空间，存储每一块空间的位置，偏移量，以及已经使用和剩余未使用的块（InnoDB中的FSPHEADERPAGE，文件管理页）然后根据不

晓码君·2024-02-02 21:56

【MySQL】探测mysqldump详细过程

今天，我们一起来深入理解一下mysqldump的备份原理及备份过程以及不同参数产生的效果。

K_un·2024-02-02 21:55

深度学习的开源分布式框架Deeplearning4j

该框架基本上是由Hadoop和Spark集成的分布式深度学习库组成的。在Hadoop和Spark的帮助下，我们可以轻松地分发模型和大数据集，并运行

weixin_43106248·2024-02-02 19:13

golang实现简单的流式处理

实现一个最简单的类似spark的流式处理流程包含map和filter数据typeStreamstruct{data[]int}map函数func(sStream)Map(ffunc(int)int)Stream

nil_ddea·2024-02-02 18:24

SpringBoot使用Kafka详解含完整代码

本文将详细探讨如何在SpringBoot应用程序中设置和使用Kafka，从基础概念到高级特性，通过实际代码示例帮助读者深入理解这一集成方案。

孤蓬&听雨·2024-02-02 18:27

C语言——深入理解指针2

目录1.野指针1.1野指针成因1.1.1指针未初始化1.1.2指针越界访问1.1.3指针指向的空间释放1.2如何规避野指针1.2.1指针初始化1.2.2小心指针越界1.2.3指针变量不再使用时，及时置NULL，指针使用之前检查有效性1.2.4避免返回局部变量的地址2.assert断言3.指针的使用和传址调用3.1strlen的模拟实现3.2传值调用和传址调用1.野指针概念：野指针就是指针指向的位置

看落日的YT·2024-02-02 15:09

C语言——深入理解指针3

冒泡排序的优化5.二级指针5.1二级指针的概念5.2二级指针的运算6.指针数组7.指针数组模拟二维数组1.数组名的理解1.数组名在上⼀个博客我们在使用指针访问数组的内容时，有这样的代码上一个博客的链接在这里——深入理解指针

看落日的YT·2024-02-02 15:09

【好书推荐-第三期】《深入理解Java核心技术：写给Java工程师的干货笔记》全网阅读量千万的Java工程师成神之路学习笔记，Java基础知识点查漏补缺

作者介绍：我是程序员洲洲，一个热爱写作的非著名程序员。CSDN全栈优质领域创作者、华为云博客社区云享专家、阿里云博客社区专家博主、前后端开发、人工智能研究生。公粽号：程序员洲洲。本文专栏：本文收录于洲洲的《送书福利》系列专栏，该专栏福利多多，只需关注+点赞+收藏三连即可参与送书活动！欢迎大家关注本专栏~专栏一键跳转同时欢迎大家关注其他专栏，我将分享Web前后端开发、人工智能、机器学习、深度学习从0

程序员洲洲·2024-02-02 14:50

《培养真正的阅读者——整本书阅读之理论基础》读书笔记（一）

于是，今天翻开了之前草草读过的一本关于整本书阅读的理论书，刚好这个假期要写一下课题的中期汇报，希望看完之后自己对整本书阅读有进一步的深入理解。今天阅读了这本书的第一章中的第一节。

小琪老师·2024-02-02 14:15

史上最全的spark面试题

1.spark中的RDD是什么，有哪些特性？

@毛毛·2024-02-02 13:12

livy使用样例_livy提交spark应用

spark-submit的使用shell时时灵活性较低，livy作为spark提交的一种工具，是使用接口或者java客户端的方式提交，可以集成到web应用中1.客户端提交的方式核心代码LivyClientclient

阿里聚安全·2024-02-02 13:11

PySpark（一）Spark原理介绍、PySpark初体验及原理

Spark简介ApacheSpark是用于大规模数据（large-scaladata）处理的统一（unified）分析引擎，其特点就是对任意类型的数据进行自定义计算。

独憩·2024-02-02 13:11

生产环境_Spark找出两DataFrame之间的差集（技巧）

在生产作业中，经常在工作流中遇到前后两DataFrame的数据缺失，比如df1为410条，下一个节点的df2就变成409条了，用眼睛看很费劲，因此不得不做一个差集。代码：/假设df1和df2是你的两个DataFramevaldf1=xxxvaldf2=ccc//使用except操作找出df1中存在但df2中不存在的数据valonlyInDf1=df1.except(df2)//使用except操作

Matrix70·2024-02-02 13:10

浅谈Spark Livy

SparkLivy什么是LivyLivy的特点Livy的运作流程阐述Livy的安装、启动、访问Livy的使用1.什么是Livylivy是cloudera开发的通过REST来连接、管理spark的解决方案

浅汐yt·2024-02-02 13:40

【Spark实践6】特征转换FeatureTransformers实践Scala版--补充算子

本节介绍了用于处理特征的算法，大致可以分为以下几组：提取（Extraction）：从“原始”数据中提取特征。转换（Transformation）：缩放、转换或修改特征。选择（Selection）：从更大的特征集中选择一个子集。局部敏感哈希（LocalitySensitiveHashing,LSH）：这类算法结合了特征转换的方面与其他算法。FeatureTransformersIndexToStri

周润发的弟弟·2024-02-02 13:39

spark相关面试题总结

1.spark中的RDD是什么，有哪些特性？

专注于大数据技术栈·2024-02-02 13:39

[Scala学习笔记] Spark开发小笔记

Spark开发小笔记：从0开始的Spark建图生活持续更新中……0.开发平台Zeppelin支持多种语言，默认是scala(背后是sparkshell)，SparkSQL,Markdown和Shell。

Rinnki·2024-02-02 13:39

Scala 与spark 7.23

例如：@transientvalsparkContext:SparkContext,Scala多行字符串之stripMargin方法https://www.jianshu.com/

qq_34872215·2024-02-02 13:09

生产环境踩坑系列::Hive on Spark的connection timeout 问题

起因7/16凌晨，钉钉突然收到了一条告警，一个公司所有业务部门的组织架构表的ETL过程中，数据推送到DIM层的过程中出现异常，导致任务失败。因为这个数据会影响到第二天所有大数据组对外的应用服务中组织架构基础数据，当然，我们的Pla-nB也不是吃素的，一旦出现错误，后面的权限管理模块与网关会自动配合切换前一天的最后一次成功处理到DIM中的组织架构数据，只会影响到在前一天做过组织架构变化的同事在系统上

dclar_·2024-02-02 13:08

【SparkML实践5】特征转换FeatureTransformers实战scala版

本节介绍了用于处理特征的算法，大致可以分为以下几组：提取（Extraction）：从“原始”数据中提取特征。转换（Transformation）：缩放、转换或修改特征。选择（Selection）：从更大的特征集中选择一个子集。局部敏感哈希（LocalitySensitiveHashing,LSH）：这类算法结合了特征转换的方面与其他算法。本章节主要讲转换1FeatureTransformersTo

周润发的弟弟·2024-02-02 13:08

spark livy hue

1.下载livylivy为Spark提供了REST接口，有如下特性:*提供交互式shell*批量提交*多用户使用用一个服务(用户模拟)*可以从任何地方使用REST的方式提交*无需对代码进行任何修改wgethttp

bigdataf·2024-02-02 13:08

PySpark（二）RDD基础、RDD常见算子

目录RDDRDD五大特性RDD创建RDD算子常见的Transformation算子mapflatMapmapValuesreduceByKeygroupByfilterdistinctunionjoinintersectionglomgroupByKeygroupByKey和reduceByKey的区别?sortBysortByKey常见的action算子countByKeycollectredu

独憩·2024-02-02 13:07

【livy】Spark Livy深究

什么是livyLivy的特点Livycloudera开发通过REST来连接、管理spark的解决方案从任何地方提交job使用交互式的Scala、Python语言与远程的spark集群进行通信无需更改代码

小赵要加油·2024-02-02 13:07

Python之PySpark简单应用

文章目录一、介绍1.准备工作2.创建SparkSession对象：3.读取数据：4.数据处理与分析：5.停止SparkSession：二、示例1.读取解析csv数据2.解析计算序列数据map\flatmap

陈年小趴菜·2024-02-02 13:37

推荐频道

深入理解Spark