Spark知识点

JavaWeb开发 - Filter过滤器详解

开发中的Filter过滤器技术，收录于JavaWeb基础专栏，该专栏主要学习JavaWeb开发原生框架、Servlet、JSP、请求对象、响应对象、Session会话对象、Filter过滤器、三层开发模型等知识点
秦老师Q·2025-01-18 16:42

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark
武子康·2025-01-18 10:29

pyspark 中删除hdfs的文件夹

在pyspark中保存rdd的内存到文件的时候，会遇到文件夹已经存在而失败，所以如果文件夹已经存在，需要先删除。搜索了下资料，发现pyspark并没有提供直接管理hdfs文件系统的功能。
TDengine （老段）·2025-01-18 09:21

FastAPI 中间件使用：CORS 与 GZip 压缩

本文将深入探讨两个常用的中间件：CORSMiddleware和CustomGZipMiddleware，并通过丰富的示例和知识点，帮助你全面掌握它们的使用场景和实现原理。1.什么是中间件？
LensonYuan·2025-01-18 08:40

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

python捕获异常

try:name="aaa"id="aaa"exceptExceptionase:print("任务报错")print(str(e))print(str(traceback.print_exc()))spark.sql
青云游子·2025-01-18 02:58

Java实现简易的学生管理系统

定义主界面3.3实现添加功能3.4实现查询功能3.5实现删除功能3.6实现修改功能四、完整代码五、总结前言该项目主要是作为新手快速上手实操，围绕面向对象所学知识实现学生管理系统的增删改查功能，所使用的知识点主要是面向对象的三大特征使用的方法
杰仔正在努力·2025-01-18 02:55

Spark任务提交流程

当包含在applicationmaster中的spark-driver启动后，会与资源调度平台交互获取其他执行器资源，并通过反向注册通知对应的node节点启动执行容器。
尘世壹俗人·2025-01-18 01:21

spark读取、写入Clickhouse以及遇到的问题

最近需要处理Clickhouse里面的数据，经过上网查找总结一下spark读写Clickhouse的工具类已经遇到的问题点。具体Clickhouse的讲解本篇不做讲解，后面专门讲解这个。
Alex_81D·2025-01-18 01:18

2024年最新Python：Page Object设计模式_python page object，BTAJ大厂最新面试题汇集

知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
m0_60707708·2025-01-17 20:36

✨探究✨进程最大可以打开多少个文件

技术探界】前言原本是想搞清楚一台服务器最多能建立多少个连接，在学习的过程中，发现能建立多少个连接受多个因素影响，其中一个因素就是进程最大可打开文件数，我在自行查阅资料加请教专门搞容器的同事后，感觉这个知识点有点意思
·2025-01-17 20:19

2024年总结：大转向

职业转向今年我在职业上尝试做了一个转向，具体的结果可能需要比较长的时间来检验我选择是否正确，所以转向的细节我就不全部展开了，可以确定是我依然会专注在Infra和BigData，比如今年我发布了SparkSQL
·2025-01-17 20:11

Java爬虫——使用Spark进行数据清晰

1.依赖引入  org.apache.spark  spark-core_2.13  3.5.3 org.apache.spark spark-sql_2.13 3.5.32.数据加载从MySQL数据库中加载
Future_yzx·2025-01-17 20:59

Java中private和static同时使用会出现什么情况？

当时在学习Java基础的时候也没有仔细研究过这里，下面就详细的来解释一下，把这块空缺的知识点补上！private的作用private作为权限修饰符，用来声
乐悠小码·2025-01-17 19:58

【HarmonyOS】开启沉浸式（全屏）并动态获取窗口规避区的信息

知识点setWindowLayoutFullScr
m0_5南风·2025-01-17 17:13

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

把复杂问题简单化5、屏蔽原始数据的(影响)，屏蔽业务的影响ETL操作1、数据抽取2、数据清洗3、数据转换4、数据加载数据中台包含的内容很多，对应到具体工作中的话，它可以包含下面的这些内容：系统架构：以Hadoop、Spark
_Jordan·2025-01-17 16:56

# RAG 框架 | 技术栈 #一文读懂Xinference架构！优秀开源项目技术栈分析

这是原文内容这是知识点解读一、概述Xinference是一个利用actor编程框架Xoscar来管理机器、设备和模型推理进程的系统。每个actor都是模型推理的基本单元，可以集成多种推理后端。
向日葵花籽儿·2025-01-17 15:25

Python实现Windows定时关机，面试必备知识点总结

os.popen(‘at22:30shutdown-s’)调用cmd，执行命令。而其中的22和30是等待用户输入的数据。因此，应该用两个lineEdit中获取到的合法数字替换对应的h和m。用到获取lineEdit内容的方法：h=self.lineEdit.text()m=self.lineEdit_2.text()然后以h，m替换执行命令中的时，分.接着就是pushButton的部分了。为push
2301_82241698·2025-01-17 13:36

【JavaWeb阶段学习】三步学会JDBC知识点

(❁´◡`❁)您的点赞➕评论➕收藏⭐是作者创作的最大动力支持我：点赞+收藏⭐️+留言目录1、JDBC基础JDBC数据库连接JDBC实现增删改查JDBC代码规范化2、结果集2.1、结果集光标与元数据3、预处理4、sql查询继续巩固练习1.查出至少有一个员工的部门，显示部门编号/部门名称/部门位置/部门人数2.列出所有员工的姓名及其直接上级的姓名3.列于受雇日期早于直接上级的所有员工的编号/姓名/部门
ss273·2025-01-17 13:02

vue-router 3.X 讲解

vue-router3.X讲解最近小哆啦在学习之余，发现自己在vue-router中有好多不了解的知识点，小哆啦决定梳理一遍vue-router参考资料：VueRouter(vuejs.org)说起前端路由有些朋友可能会问什么是路由
故梦867·2025-01-17 13:32

Java 大视界 -- Java 开发 Spark 应用：RDD 操作与数据转换

ApacheSpark是一个强大的分布式计算框架，提供了高效的数据处理能力，广泛应用于大数据分析与机器学习。Spark提供了多种高级API，支持批处理和流处理。
一只蜗牛儿·2025-01-17 12:26

《进阶篇第9章》学习vuex知识点后练习：把求和案例改成getters

@[toc]效果展示：注意点1：问题：如何实现“当前和为奇数再加”？答案：incrementOdd(){if(this.sum%2){this.sum+=this.n}}注意点2:问题：select下拉框默认为1时，点击加号没问题，但是下拉框选中为2时，n值变成字符串了，不应该是数字类型名吗？旧代码：无论设置value="1"还是value=1都无效当前求和为：{{sum}}123答案：因为没设置
·2025-01-17 10:21

Java HTTP POST请求工具方法详解：架构、实践与最佳实践（可变参数）

专栏导航：码农阿豪系列专栏导航面试专栏：收集了java相关高频面试题，面试实战总结️Spring5系列专栏：整理了Spring5重要知识点与
码农阿豪@新空间代码工作室·2025-01-17 09:00

Redis过期策略内存淘汰机制、持久化 、备份与恢复 、事务 、管道技术 、发布与订阅等知识点详解

缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题缓存雪崩我们可以简单的理解为：由于缓存挂掉或原有缓存失效，(例如：我们设置缓存时采用了相同的过期时间，在同一时刻出现大面积的缓存过期)，所有原本应该访问缓存的请求都去查询数据库了，而对数据库CPU和内存造成巨大压力，严重的会造成数据库宕机。从而形成一系列连锁反应，造成整个系统崩溃。解决办法：Redis高可用；限流降级：通过加锁或者队列来控制读数
ziania_cumt·2025-01-17 09:29

Spring中的@Cacheable 注解基本知识点

目录前言1.基本知识2.实战详解前言找工作，来万码优才：#小程序://万码优才/r6rqmzDaXpYkJZF对于Java的基本知识推荐阅读：java框架零基础从入门到精通的学习路线附开源项目面经等（超全）【Java项目】实战CRUD的功能整理（持续更新）1.基本知识@Cacheable是Spring提供的注解，用于声明一个方法的返回结果会被缓存当方法被调用时，Spring会先检查缓存中是否存在该
码农研究僧·2025-01-17 09:27

Spring Boot 和微服务：快速入门指南

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-17 09:56

解锁面向对象编程：Python 类与对象详解

大家好，我是Yui_如果文章知识点有错误的地方，请指正！和大家一起学习，一起进步如有不懂，可以随时向我提问，我会全力讲解~如果感觉博主的文章还不错的话，希望大家关注、点赞、收藏三连支持一下博主哦~！
Yui_·2025-01-17 06:04

初始JavaEE篇 —— 文件操作与IO

找往期文章包括但不限于本期文章中不懂的知识点：个人主页：我要学编程程(ಥ_ಥ)-CSDN博客所属专栏：JavaEE目录文件介绍Java标准库中提供操作文件的类文件系统操作File类的介绍File类的使用文件内容操作二进制文件的读写操作文本文件的读写操作文件介绍文件分为两种
我要学编程(ಥ_ಥ)·2025-01-17 06:33

Bitmap 和 布隆过滤器傻傻分不清？你这不应该啊

不过，bitmap和布隆过滤器在大数据量和高并发业务的使用频率不低，知识点应该掌握下，既然问了那咱们简单的梳理下它们的底层原理、应用场景以及它们之间的关联。
·2025-01-17 04:27

面试官桀桀一笑：请手写一个Promise.all（判断是不是Promise、js抛出错误）

前言本文如标题，回顾三个知识点判断是不是Promisejs抛出错误的类型手写Promise.all判断是不是Promise方式一Object.prototype.toString.call代码如下：//
·2025-01-17 04:54

【C++BFS算法】909. 蛇梯棋|2019

本文涉及知识点C++BFS算法LeetCode909.蛇梯棋给你一个大小为nxn的整数矩阵board，方格按从1到n2编号，编号遵循转行交替方式，从左下角开始（即，从board[n-1][0]开始）的每一行改变方向
闻缺陷则喜何志丹·2025-01-17 04:15

【matlab】matlab知识点及HTTP、TCP通信

1、矩阵运算点乘：对于两个同维度的向量，点乘结果是这两个向量对应分量的乘积之和。点除：是指对两个数组的对应元素进行除法运算。点幂：表示元素对元素的幂运算。>>A=[1,2,3;4,5,6];B=[1,1,1;2,2,2]>>D1=B.*AD1=12381012>>D2=B./AD2=1.00000.50000.33330.50000.40000.3333>>D3=B.^AD3=1111632642
WXG1011·2025-01-17 04:42

jpa知识点

1.分页publicstaticPageRequestof(intpage,intsize,Directiondirection,String...properties){returnof(page,size,Sort.by(direction,properties));}官方API说明:since2.0,useof(...)instead,2.0版本后,使用of(...)方法代替PageRequ
The_Best_Hacker·2025-01-17 04:42

网络安全、Web安全、渗透测试之笔经面经总结

本篇文章涉及的知识点有如下几方面：1.什么是WebShell?2.什么是网络钓鱼？3.你获取网络安全知识途径有哪些？4.什么是CC攻击？5.Web服务器被入侵后，怎样进行排查？
网络安全Ash·2025-01-17 04:10

数据结构知识点

【1】栈（stack）C++标准库提供了std::stack模板类，用于实现栈的功能。std::stack是基于其他容器（如std::vector、std::deque或std::list）实现的适配器类。std::stack可以使用不同的底层容器来实现，如std::vector、std::deque或std::list。默认情况下，std::stack使用std::deque作为底层容器，但你可
*TQK*·2025-01-17 04:39

Maven 知识点总结

文章目录核心点：Maven能做什么？Maven的安装1、安装2、配置文件Maven的概念1、坐标：通过坐标唯一定位2、scope依赖范围3、maven的传递性依赖性质4、optional可选依赖5、exclusion排除依赖6、properties归类依赖7、优化依赖Maven基本使用1、常用命令仓库1、Maven仓库2、仓库的分类3、本地仓库4、远程仓库5、如何配置指定远程仓库6、如何通过用户名
技术人Q·2025-01-17 03:05

CDP中的Hive3之Hive Metastore（HMS）

Impala、Spark、Hive和其他服务共享元存储。与HMS的连接包括HiveServe
对许·2025-01-17 02:31

如何最小改变架构，快速实现流控的？（第34讲）

《架构师之路：架构设计中的100个知识点》34.快速流控传统架构，为何不是默认流控的？站点与服务，服务与服务上下游之间，一般如何采用两种通讯模式：其一，RPC直接调用。其二，MQ推送模式。
58沈剑·2025-01-17 02:56

Maven常见知识点

一、Maven有哪些优点和缺点优点如下：简化了项目依赖管理：易于上手，对于新手可能一个"mvncleanpackage"命令就可能满足他的工作便于与持续集成工具（jenkins）整合便于项目升级，无论是项目本身升级还是项目使用的依赖升级。有助于多模块项目的开发，一个模块开发好后，发布到仓库，依赖该模块时可以直接从仓库更新，而不用自己去编译。maven有很多插件，便于功能扩展，比如生产站点，自动发布
一五三微月·2025-01-17 01:23

黎曼流形优化知识点学习

一、黎曼流形切空间被赋予一个光滑变化的内积的流形就是黎曼流形Riemannianmanifold。光滑变化的内积称为黎曼度量Riemannianmetric。二、线性空间，向量空间，矩阵空间（一）线性空间线性空间是一个抽象的数学概念，它是指一个集合，其中包含了元素和标量。这些元素之间可以进行加法运算和数乘运算，且仍得到元素。线性空间必须满足向量空间的所有条件，并且还需要满足以下条件：加法交换律：u
cmgdxrz·2025-01-17 01:15

【YashanDB知识库】Hive 命令工具insert崖山数据库报错

【问题分类】功能兼容【关键字】spark30041、不兼容【问题描述】本项目的架构是hadoop+hive+yashandb使用崖山数据库，初始化所有的原数据表和数据新建表之后，插入数据时候报错，hadoopcode30041
·2025-01-17 00:46

maven常见知识点

1、maven是什么？maven是Java的包管理工具，因为java包太多了，使用工具统一管理。2、引入同一个包时使用哪个？会遵循路径最短优先和声明顺序优先两大原则。解决这个问题的过程也被称为Maven依赖调解。3、什么是POM？一个Maven工程都有一个pom.xml文件，位于根目录中，包含项目构建生命周期的详细信息。通过pom.xml文件，我们可以定义项目的坐标、项目依赖、项目信息、插件信息等
凉秋girl·2025-01-16 23:04

初学者如何用 Python 写第一个爬虫？

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-16 23:27

《进阶篇第9章》学习vuex知识点后练习：把求和案例改成vuex版代码

@[toc]效果展示：注意点1：问题：如何实现“当前和为奇数再加”？答案：incrementOdd(){if(this.sum%2){this.sum+=this.n}}注意点2:问题：select下拉框默认为1时，点击加号没问题，但是下拉框选中为2时，n值变成字符串了，不应该是数字类型名吗？旧代码：无论设置value="1"还是value=1都无效当前求和为：{{sum}}123答案：因为没设置
·2025-01-16 22:09

Apache PAIMON 学习

新一代实时数据湖技术，ApachePAIMON兼容ApacheFlink、Spark等主流计算引擎，并支持流批一体化处理、快速查询和性能优化，成为加速AI转型的重要工具。
潇锐killer·2025-01-16 22:54

【Linux】命名管道的妙用：实现进程控制与实时字符交互

大家好，我是Yui_，一位努力学习C++/Linux的博主~如果文章知识点有错误的地方，请指正！
Yui_·2025-01-16 20:01

程序员|八股文里也有真正的技术？

而且当我们应付掉面试，找到工作之后：❝这些八股文知识点，很快就会忘记。因为之前的这些内容，都是靠短期记忆的，并没有完全理解相关技术知识。而且等到后面的工作中，一定
·2025-01-16 18:20

应急救援路径规划中的蚁群算法与路径评价研究【附代码】

数据驱动决策✨专业领域：数据挖掘与清洗大数据处理与存储技术机器学习与深度学习模型数据可视化与报告生成分布式计算与云计算数据安全与隐私保护擅长工具：Python/R/Matlab数据分析与建模Hadoop/Spark
拉勾科研工作室·2025-01-16 17:36

Java 大视界 -- Java 开发 Spark 应用：RDD 操作与数据转换（四）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-16 16:59

大数据新视界 --大数据大厂之 Spark Streaming 实时数据处理框架：案例与实践

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-16 15:21
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他