深入理解Spark 第11页

PySpark介绍及其安装教程

一、PySpark是什么PythonPySpark是Spark官方提供的一个Python类库，其中内置了完全的SparkAPI，使得Python用户在导入这个类库后，可以使用自己熟悉的Python语言来编写

文景大大·2024-02-14 14:58

Spark（四十二）数据倾斜解决方案之使用随机数以及扩容表进行join

一、背景当采用随机数和扩容表进行join解决数据倾斜的时候，就代表着，你的之前的数据倾斜的解决方案，都没法使用。这个方案是没办法彻底解决数据倾斜的，更多的，是一种对数据倾斜的缓解。原理，其实在上一讲，已经带出来了。扩容表（RDD）步骤：1、选择一个RDD，要用flatMap，进行扩容，将每条数据，映射为多条数据，每个映射出来的数据，都带了一个n以内的随机数，通常来说，会选择10。2、将另外一个RD

文子轩·2024-02-14 14:36

Spark编程实验六：Spark机器学习库MLlib编程

目录一、目的与要求二、实验内容三、实验步骤1、数据导入2、进行主成分分析（PCA）3、训练分类模型并预测居民收入4、超参数调优四、结果分析与实验体会一、目的与要求1、通过实验掌握基本的MLLib编程方法；2、掌握用MLLib解决一些常见的数据分析问题，包括数据导入、成分分析和分类和预测等。二、实验内容1.数据导入从文件中导入数据，并转化为DataFrame。2、进行主成分分析（PCA）对6个连续型

Francek Chen·2024-02-14 14:48

机器学习：BN层介绍及深入理解

前言：BN在深度网络训练过程中是非常好用的trick，在笔试中也很常考，而之前只是大概知道它的作用，很多细节并不清楚，因此希望用这篇文章彻底解决揭开BN的面纱。BN层的由来与概念讲解BN之前，我们需要了解BN是怎么被提出的。在机器学习领域，数据分布是很重要的概念。如果训练集和测试集的分布很不相同，那么在训练集上训练好的模型，在测试集上应该不奏效（比如用ImageNet训练的分类网络去在灰度医学图像

是Dream呀·2024-02-14 13:12

拆书便签-用“选择做”代替“不得不”

有个练习曾给我带来了极大的快乐和欣喜，使我从此很少感到沮丧、内疚和愧疚，这个方法就叫做：用“选择做”代替“不得不”，希望有助于人们深入理解自己的人生选择，并找到快乐的生活方式。

酱言酱语·2024-02-14 13:45

防火墙实验报告

桂林理工大学实验报告实验名称防火墙实验一、实验目的：1、通过实验深入理解防火墙的功能和工作原理2、熟悉天网防火墙个人版的配置和使用二、实验环境：实验室所有机器安装了Windows2000操作系统，组成了局域网

Tinukso·2024-02-14 12:24

C++技术教程与文章：深入理解C++11中的智能指针

C++技术教程与文章：深入理解C++11中的智能指针在C++编程中，内存管理是一个关键且复杂的任务。不正确的内存管理可能导致内存泄漏、野指针等问题，从而影响程序的稳定性和性能。

爱内卷的学霸一枚·2024-02-14 11:25

项目实战：从零搭建一个基于C++的个人博客系统

然而，了解如何使用C++构建一个基本的博客系统仍然是非常有价值的，因为它可以帮助你深入理解底层编程和系统设计的原理。

爱内卷的学霸一枚·2024-02-14 11:24

深入理解C++的装饰器模式

在C++编程中，装饰器模式是一种设计模式，它允许我们在不修改已有类结构的情况下，动态地给对象添加新的职责或行为。装饰器模式通过创建一个装饰器类，该类包装了要增强的对象，并提供了额外的功能。这种模式在C++中可以通过继承和接口实现来实现。装饰器模式的基本组成抽象组件接口：定义了一个抽象接口，用于定义所有组件的共同行为。具体组件：实现了抽象组件接口，并定义了具体的业务逻辑。抽象装饰器接口：继承了抽象组

爱内卷的学霸一枚·2024-02-14 11:54

C++技术教程与文章：深入理解C++内存管理

深入理解C++内存管理对于写出高效、稳定和安全的代码至关重要。本文将引导读者深入探索C++内存管理的各个方面，包括堆和栈、动态内存分配、内存泄漏和智能指针等。

爱内卷的学霸一枚·2024-02-14 11:24

ShuffleManager 原理

在Spark的源码中，负责shuffle过程的执行、计算、处理的组件主要是ShuffleManager。在Spark1.2以前，默认的shuffle计算引擎是HashShuffleManager。

stone_zhu·2024-02-14 10:03

深入理解C语言中的函数指针：概念、机制及实战应用

在C语言的世界里，函数是一等公民，可以被赋值给变量，这种特殊的变量就是我们今天要探讨的主角——函数指针。函数指针作为C语言中一种强大的工具，允许我们以间接方式调用函数，从而实现动态绑定、回调函数、策略模式等多种高级编程技巧。本文将从技术角度详细解析函数指针的概念、使用方法以及实际应用场景。一、函数指针的概念函数指针是一种特殊的指针类型，它指向的是存储在内存中的函数地址。在C语言中，声明函数指针的基

极客代码·2024-02-14 10:36

学习记录(自用)

Java学习路径及记录，纯粹个人自用，请多指教JavaJava基础常用类常用类8种基础数据类型的包装类自动打包/解包序列化深入理解Java序列化深度解析JAVA序列化异常处理JavaSE基础:异常处理六个例子彻底理解

weixin_33962621·2024-02-14 07:12

Hadoop+Spark+MongoDB+MySQL+C#大数据开发项目最佳实践

一、前言随着IT技术的飞速发展，各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务。目前，医疗IT系统收集了大量极具价值的数据，但这些历史医疗数据并没有发挥出其应有的价值。为此，本文拟利用医院现有的历史数据，挖掘出有价值的基于统计学的医学规则、知识，并基于这些信息构建专业的临床知识库，提供诊断、处方、用药推荐功能，基于强大的关联推荐能力，极大地提高医疗服务质量，减轻医疗人员的工作强度。二、

yiyidsj·2024-02-14 07:08

基于 C# 的 ETL 大数据并行编程

ApacheSpark是一个用于Extract(提取),

dotNET跨平台·2024-02-14 07:07

Spark - 动态注册UDF

昨天有位大哥问小弟一个Spark问题，他们想在不停Spark程序的情况下动态更新UDF的逻辑，他一问我这个问题的时候，本猪心里一惊，Spark**还能这么玩?

kikiki2·2024-02-14 06:33

深入理解负载均衡：关键概念与实践

深入理解负载均衡：关键概念与实践在当今快速增长的数字世界中，网站和应用程序必须能够处理数以万计的并发用户请求，而不牺牲性能。这就是负载均衡发挥作用的地方。

一休哥助手·2024-02-14 04:45

《小毛虫》教学反思

但课后仔细想来，课堂上时间再紧张，也应该给学生充分的时间进行朗读，让学生在朗读中深入理解课文内容。并且，朗读上的缺少，让学生对于词语的理解也不够深刻。

常红蕾·2024-02-14 04:20

深入理解梯度加权类激活热图（Grad-CAM）

深入理解梯度加权类激活热图（Grad-CAM）项目背景与意义在深度学习领域，模型的预测能力往往是黑盒子，难以解释。

OverlordDuke·2024-02-14 02:12

我已经入驻多多

我的创作注重实用性和深入理解，致力于帮助他人解决技术挑战，提升技能水平。通过我的作品，你

OverlordDuke·2024-02-14 02:12

CSS 使用line-height实现单行文字垂直居中的原理图解

单行文本垂直居中写起来很简单，但是如果要深入理解其原理还是得花些时间的。有一个公式必须知道line-height=上距离+内容高度+下距离。

CoderZb·2024-02-13 21:48

Spark Authorizer支持最新版本Spark 2.3.0

Kent_Yao·2024-02-13 20:52

Go结构体深度探索：从基础到应用

这篇文章旨在为您提供关于结构体的深入理解，助您更好地利用Go语言的强大功能。关注公众号【TechLeadCloud】，分享互联网架构、云服务技术的全维度知识。作者拥有10+年互联网

TechLead KrisChang·2024-02-13 18:27

深入理解JavaScript事件循环机制

众所周知，JavaScript是一门单线程语言，虽然在html5中提出了Web-Worker，但这并未改变JavaScript是单线程这一核心。可看HTML规范中的这段话：Tocoordinateevents,userinteraction,scripts,rendering,networking,andsoforth,useragentsmustuseeventloopsasdescribedi

宋小菜_菜菜·2024-02-13 15:54

c语言结构体占位符,深入理解结构体中占位符的用法

深入理解结构体中占位符的用法复制代码代码如下:typedefunion{structx{chara1:2;charb1:3;charc1:3;}x1;charc;}my_un;intmain(){my_una

楼上由我守护·2024-02-13 15:34

C语言if语句底层原理，从汇编深入理解

i条件判断语句是程序中必不可少的语句，没有它程序就只会按照原先设定的顺序执行，而不会灵活变通，在cpu底层可没有"如果"这个概念，只有数值的体现。while循环也就比if语句多了个跳转到开头的地址重新判断的代码，本质也有判断。if语句原理：cmp指令先用两个数相减，改变标志寄存器，如sf符号位，cf进位位，ov溢出位，zf零标志位，然后下面条件转移指令，cpu微电路中的程序计数器(ip)连接着多路

Dark意识·2024-02-13 14:03

大数据处理为何选择Spark，而不是Hadoop

一.基础知识1.SparkSpark是一个用来实现快速而通用的集群计算的平台。在速度方面，Spark扩展了广泛使用的MapReduce计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。

嘿嘿海海·2024-02-13 14:00

Objective-C runtime机制(4)——深入理解Category

在平日编程中或阅读第三方代码时，category可以说是无处不在。category也可以说是OC作为一门动态语言的一大特色。category为我们动态扩展类的功能提供了可能，或者我们也可以把一个庞大的类进行功能分解，按照category进行组织。关于category的使用无需多言，今天我们来深入了解一下，category是如何在runtime中实现的。category的数据结构category对应

无忘无往·2024-02-13 13:31

机器学习入门--简单卷积神经网络原理与实践

深入理解卷积神经网络（CNN）引言卷积神经网络（ConvolutionalNeuralNetworks,CNN）是深度学习中的一种核心算法，广泛应用于图像识别、视频分析和自然语言处理等领域。

Dr.Cup·2024-02-13 13:06

深入理解Elasticsearch的索引映射(mapping)

当我们谈论Elasticsearch时，索引映射是一个核心概念，它定义了如何存储和检索数据。在Elasticsearch7.6及更高版本中，映射提供了一系列强大的功能，使您能够精确地控制数据的结构和行为。本文将详细介绍映射的关键属性、用途以及如何正确设置和优化它。一、映射基础在Elasticsearch中，映射类似于关系型数据库中的表结构定义。它描述了索引中字段的类型、如何索引这些字段以及如何处理

地瓜伯伯·2024-02-13 12:42

探索 Linux Namespace：Docker 隔离的神奇背后

在深入理解Docker核心原理：Namespace、Cgroups和Rootfs一文中我们分析了Docker是由三大核心技术实现的。

·2024-02-13 11:42

深入理解 Docker 核心原理：Namespace、Cgroups 和 Rootfs

通过这篇文章你可以了解到Docker容器的核心实现原理，包括Namespace、Cgroups、Rootfs等三个核心功能。如果你对云原生技术充满好奇，想要深入了解更多相关的文章和资讯，欢迎关注微信公众号。扫描下方二维码或搜索公众号【探索云原生】即可订阅后续文章会演示如何从零实现一个简易的Docker，这里先简单了解下Docker的核心原理。首先我们思考一个问题：容器与进程有何不同？进程：就是程序

·2024-02-13 11:11

【C语言】指针专项练习都是一些大厂的笔试真题附有详细解析，带你深入理解指针

一.sizeof()与strlen()sizeof是一个操作符，而strlen是一个库函数。数组名代表首元素地址，有两种情况例外，第一种是数组名单独放在sizeof内部，第二种是&数组名，这两种情况下数组名代表的是整个数组。sizeof(arr)计算的是整个数组的大小，&arr是整个数组的地址，+1就跳过整个数组。其实还有别的写法跟这两种等效，比如sizeof(*&arr),由于*和&抵消了，因此

米糕.·2024-02-13 08:42

Java序列化深入理解

1序列化1.1基本概念理解Java对象序列化用于作为一种将Java对象的状态转换为字节数组，以便存储或传输的机制，以后，仍可以将字节数组转换回Java对象原有的状态。序列化就是一种用来处理对象流的机制，所谓对象流也就是将对象的内容进行流化。可以对流化后的对象进行读写操作，也可将流化后的对象传输于网络之间。序列化是为了解决在对对象流进行读写操作时所引发的问题。实际上，序列化的思想是冻结对象状态，传输

上善若泪·2024-02-13 07:06

C++STL系列——深入理解list容器作用原理

本文源码以GNU2.9编译器为例展开说明，同时参考一下GNU4.9的部分源码。1list主要源码和数据结构1.1GNU2.9源码结构1.2GNU4.9源码结构1.2.1_List_node_base1.2.2_List_node因此，一个list实例的size为24个字节（考虑内存对齐）。2iterator迭代器list的迭代器本质上是一个class，单纯从list这种数据结构本身来看，list的

高自强的博客·2024-02-13 06:13

SHA-512在Go中的实战应用: 性能优化和安全最佳实践

SHA-512在Go中的实战应用:性能优化和安全最佳实践简介深入理解SHA-512算法SHA-512的工作原理安全性分析SHA-512与SHA-256的比较结论实际案例分析数据完整性验证用户密码存储数字签名总结性能优化技巧

walkskyer·2024-02-13 05:56

什么是vite，如何使用

深入理解Vite核心原理面向未来的前端构建工具-vite聊一聊Vite的预构建和二次预构建聊一聊ViteVite原理Vite基于浏览器原生ESM规范的支持，采取了与Webpack完全不同的unbundle

sasaraku.·2024-02-13 05:23

Spark编程实验五：Spark Structured Streaming编程

目录一、目的与要求二、实验内容三、实验步骤1、Syslog介绍2、通过Socket传送Syslog到Spark3、Syslog日志拆分为DateFrame4、对Syslog进行查询四、结果分析与实验体会一

Francek Chen·2024-02-13 05:49

《深入理解 Java 虚拟机》读书笔记：类文件结构

正文一、无关性的基石1、两种无关性平台无关性：Java程序的运行不受计算机平台的限制，“一次编写，到处运行”。语言无关性：Java虚拟机只与Class文件关联，并不关心Class文件的来源是何种语言。2、无关性的实现基础各种不同平台的虚拟机所有平台都统一使用的字节码存储格式二、Class类文件的结构Class类文件是一组以8字节为基础单位的二进制流，各个数据项目严格按照顺序紧凑地排列在Class文

惊却一目·2024-02-13 05:48

Python 的练手项目有哪些值得推荐？【云驻共创】

在这篇文章中，我们将介绍一些适合Python初学者的练手项目，这些项目循序渐进，有助于深入理解Python的各个方面。

一见已难忘的申公豹·2024-02-13 04:37

[web安全]深入理解反射式dll注入技术

一、前言dll注入技术是让某个进程主动加载指定的dll的技术。恶意软件为了提高隐蔽性，通常会使用dll注入技术将自身的恶意代码以dll的形式注入高可信进程。常规的dll注入技术使用LoadLibraryA()函数来使被注入进程加载指定的dll。常规dll注入的方式一个致命的缺陷是需要恶意的dll以文件的形式存储在受害者主机上。这样使得常规dll注入技术在受害者主机上留下痕迹较大，很容易被edr等安

H_00c8·2024-02-13 03:09

Spark(三十五)troubleshooting之错误的持久化方式以及checkpoint的使用

一、背景错误的持久化使用方式：usersRDD，想要对这个RDD做一个cache，希望能够在后面多次使用这个RDD的时候，不用反复重新计算RDD；可以直接使用通过各个节点上的executor的BlockManager管理的内存/磁盘上的数据，避免重新反复计算RDD。usersRDD.cache()usersRDD.count()usersRDD.take()上面这种方式，不要说会不会生效了，实际上

文子轩·2024-02-13 02:26

java中io是什么_深入理解Java中的IO

深入理解Java中的IO转载自:http://blog.csdn.net/qq_25184739/article/details/51205186本文的目录视图如下：JavaIO概要a.JavaIO中常用的类

城闭喧·2024-02-13 02:02

Java从入门到精通

掌握Java语言本身、Java核心开发技术以及Java标准库的使用；2、如果继续学习JavaEE，那么Spring框架、数据库开发、分布式架构就是需要学习的；3、如果要学习大数据开发，那么Hadoop、Spark

nightluo·2024-02-13 01:52

数据清洗

importorg.apache.spark.sql.SparkSessionobjectDataCleaning{defmain(args:Array[String]):Unit={valspark=

扣篮的左手·2024-02-12 23:46

【转载】深入理解MySQL

作者：张丰哲链接：https://www.jianshu.com/p/aa1f0f29b4f8前言作为一名工作了4年的程序猿，今天我将站在程序员的角度以MySQL为例探索数据库的奥秘！数据库基本原理image我对DB的理解第一，数据库的组成：存储+实例不必多说，数据当然需要存储；存储了还不够，显然需要提供程序对存储的操作进行封装，对外提供增删改查的API，即实例。一个存储，可以对应多个实例，这将提

ongahong·2024-02-12 22:58

C++ | 左值、右值、将亡值和引用的概念 | 聊聊我对它们的深入理解

文章目录前言左右值的辨析一个特殊的问题将亡值引用的深刻理解右值引用是右值吗？？？前言这篇文章是我在探究完美转发这个语法点时，引发的相关问题思考，为了使自己的理解更深刻，故写下这篇博客左右值的辨析首先需要明白两个概念：类型（type）和值类别（valuecategory），看似差不多的两个概念其实毫不相干。类型指的是数据类型，int，char这样的内置类型，类型主要是用来区别它们的字节大小。除了内置

.SacaJawea·2024-02-12 22:53

【C语言】指针的入门篇，深入理解指针和指针变量

欢迎来sobercq的博客喔，本期系列为【C语言】指针的入门篇，深入理解指针和指针变量图文讲解指针的知识，带大家理解指针和内存的关系，以及指针的用法，感谢观看，支持的可以给个赞哇。

CILMY23·2024-02-12 21:30

【C语言】指针的进阶篇，深入理解指针和数组，函数之间的关系

欢迎来CILMY23的博客喔，本期系列为【C语言】指针的进阶篇，深入理解指针和数组，函数之间的关系，图文讲解其他指针类型以及指针和数组，函数之间的关系，带大家更深刻理解指针，以及数组+指针，指针和函数的用法