深入理解Spark

深入理解 Flink（四）Flink Time+WaterMark+Window 深入分析

FlinkWindow常见需求背景需求描述每隔5秒，计算最近10秒单词出现的次数——滑动窗口每隔5秒，计算最近5秒单词出现的次数——滚动窗口关于Flinktime种类TimeCharacteristicProcessingTimeIngestionTimeEventTimeWindowAssigner的子类SlidingProcessingTimeWindowsSlidingEventTimeWi
我很ruo·2024-01-11 09:39

深入理解 Flink（五）Flink Standalone 集群启动源码剖析

前言Flink集群的逻辑概念：JobManager(StandaloneSessionClusterEntrypoint)+TaskManager(TaskManagerRunner)Flink集群的物理概念：ResourceManager(管理集群所有资源，管理集群所有从节点)+TaskExecutor(管理从节点资源，接收Task部署执行)在Flink不同的部署模式下（Standalone、Y
我很ruo·2024-01-11 09:03

【计算机组成与设计 硬件/软件接口-2】MIPS指令集架构

指令：计算机的语言引言所谓指令集，指的就是计算机的全部指令，这章节将以MIPS指令集作为学习对象，如果是x86指令集，还请参考《深入理解计算机系统》。
AndyZzz~·2024-01-11 08:56

深入理解C#中的引用类型、引用赋值以及 `ref` 关键字

深入理解C#中的引用类型、引用赋值以及ref关键字在C#编程中，理解引用类型、引用赋值以及ref关键字的使用对于编写高效、可靠的代码至关重要。本文将深入探讨这些概念，帮助您更好地理解C#的工作原理。
金士顿·2024-01-11 07:04

Spark---RDD序列化

文章目录1什么是序列化2.RDD中的闭包检查3.Kryo序列化框架1什么是序列化序列化是指将对象的状态信息转换为可以存储或传输的形式的过程。在序列化期间，对象将其当前状态写入到临时或持久性存储区。以后，可以通过从存储区中读取或反序列化对象的状态，重新创建该对象。2.RDD中的闭包检查从计算的角度,算子以外的代码都是在Driver端执行，算子里面的代码都是在Executor端执行。那么在scala的
肥大毛·2024-01-11 07:33

Spark---行动算子RDD

1.1reduce1.2collect1.3first1.4count1.5take1.6takeOrdered1.7aggregate1.8fold1.9countByKey1.10countByValue1.11save相关算子1.12foreach1.行动算子Spark
肥大毛·2024-01-11 07:03

spark相关

提示：以下是本篇文章正文内容，下面案例可供参考一、算子1.1sample在调用spark的samp
晴山ぺ·2024-01-11 07:29

Spark SQL基础

一.Pandas简介1、基本介绍Pandas是Python的一个第三方包，也是商业和工程领域最流行的结构化数据工具集，用于数据清洗、处理以及分析Pandas和SparkSQL中很多功能都类似，甚至使用方法都是相同的
MSJ3917·2024-01-11 07:29

Spark八：Spark性能优化

Spark性能调优Spark调优的方法，包括RDD使用、文件读取，partition学习资料：https://mp.weixin.qq.com/s/caCk3mM5iXy0FaXCLkDwYQ一、Spark
eight_Jessen·2024-01-11 07:29

spark基础--学习笔记

1spark介绍1.1spark概念ApacheSpark是专为大规模数据处理而设计的快速通用的分布式计算引擎，是开源的类HadoopMapReduce的通用分布式计算框架。
祈愿lucky·2024-01-11 07:58

Python 与 PySpark数据分析实战指南：解锁数据洞见

Python和PySpark作为强大的工具，提供了丰富的库和功能，使得数据分析变得更加高效和灵活。
海拥✘·2024-01-11 07:58

程序员必备的面试技巧

**技术准备**：深入理解你的专业领域。复习基础知识，如数据结构、算法和编程语言特性。同时，熟悉你简历上提到的所有技术点。2.
命令执行·2024-01-11 07:43

hive sql 和 spark sql的区别

HiveSQL和SparkSQL都是用于在大数据环境中处理结构化数据的工具，但它们有一些关键的区别：底层计算引擎：HiveSQL：Hive是建立在Hadoop生态系统之上的，使用MapReduce作为底层计算引擎
深度学习研究员·2024-01-11 07:08

2024.1.10 SparkSQL ,函数分类, Spark on HIVE,底层执行流程

目录一.开窗函数二.SparkSQL函数定义1.HIVE_SQL用户自定义函数2.Spark原生UDF3.pandasUDF4.pandasUDAF三.SparkonHIVE四.SparkSQL的执行流程一
白白的wj·2024-01-11 07:08

spark分布式解压工具

spark分布式解压工具文章目录spark分布式解压工具一、目标二、详细设计三、操作说明1.提交模式2.压缩输出路径支持2种方式3.操作命令及说明3.1操作命令3.2命令说明四、操作案例4.1案例1一、
侠客刀·2024-01-11 06:56

数据结构单链表定义及例题(上)

以及单链表的头插法和尾插法的实现文章目录一、单链表数据结构的定义二、头插法建立单链表(带头节点)三、尾插法建立单链表(带头节点)四、打印单链表五、测试及全部代码总结前言单链表是学习,以及考研无论是408还是自命题都是很重要的,单链表只要深入理解了
笔写落去·2024-01-11 06:38

初探Spark SQL catalog缓存机制

先说结论：SparkSQLcatalog中对表结构的缓存一般不会自动更新。实验如下：在pg中新建一张表t1，其中只有一列c1int在SparkSQL中注册这张表，并从中查询数据.
archimekai·2024-01-11 06:54

【Kafka-3.x-教程】-【六】Kafka 外部系统集成 【Flume、Flink、SpringBoot、Spark】

【Kafka-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程】-【三】Kafka-Broker、Kafka-Kraft【Kafka-3.x-教程】-【四】Kafka-消费者-Consumer【Kafka-3.x-教程】-【五】Kafka-监控-Eagle【K
bmyyyyyy·2024-01-11 06:50

使用Springboot+websocket+kafka模拟实时数据传输

Springboot+websocket+kafka模拟实时数据传输环境准备数据源读取WebSocket服务器网页启动使用Springboot+websocket+kafka模拟实时数据传输环境准备环境：本地Spark
叶梦璃愁·2024-01-11 06:36

契约锁电子签章接口调用示例

下面通过介绍文件的关键组成元素和示例，帮助深入理解电子签章过程。名词解释1文件文件是契约锁电子签章的基本单位，下图展示了文件的关键组成元素。
Qiyuesuo电子签章·2024-01-11 05:16

Kubernetes RBAC：掌握权限管理的精髓

深入理解KubernetesRBAC对于构建安全、可维护的容器编排环境至关重要。本文将探讨RBAC的核心概念、工作原理以及最佳实践，并结合详细的场景案例进行阐述。
奔向理想的星辰大海·2024-01-11 03:42

深入理解 PHP7 内核之 Reference

转自：风雪之隅www.laruence.com/2018/04/08/3179.html//这是鸟哥的旧文，写于2018年问题上一章说过引用(REFERENCE)在PHP5的时候是一个标志位，而在PHP7以后我们把它变成了一种新的类型:IS_REFERNCE.然而引用是一种很常见的应用,所以这个变化带来了很多的变化,也给我们在做PHP7开发的时候,因为有的时候疏忽忘了处理这个类型,而带来不少的bu
码农小光·2024-01-11 03:43

《有效思考的5大元素》补充版（系统化）

理念：深刻理解简单的概念，近乎残忍的直面自己懂和不懂的内容深入理解简单十五意味着掌握其基本原则、理念和方法，打好这个坚实的基础然在此基础上构建知识体系。探究事物的本质，是支撑你全部理解的核心和骨架。
in可爱文化研究·2024-01-11 02:03

Hadoop与Spark：大数据处理框架的比较与选择

Hadoop与Spark：大数据处理框架的比较与选择在大数据的时代背景下，数据处理和分析的需求日益增长。
乌龙饼干·2024-01-11 01:14

Phoenix基本使用

1.2Phoenix特点容易集成：如Spark，Hive，Pig，Flume和MapReduce。
有语忆语·2024-01-10 22:30

81、Spark Streaming之DStream以及基本工作原理

SparkStreaming简介SparkStreaming是SparkCoreAPI的一种扩展，它可以用于进行大规模、高吞吐量、容错的实时数据流的处理。
ZFH__ZJ·2024-01-10 20:43

深入理解文件上传下载的原理及实现逻辑

文件上传下载原理及实现一、文件上传原理1.1、http请求格式1.2、服务器解析二、文件上传类型2.1、秒传2.2、分片上传2.3、大文件上传2.4、断点续传三、断点下载原理四、多线程下载逻辑总结一、文件上传原理1.1、http请求格式文件上传的是根据http协议的规范和定义，完成请求消息体的封装和消息体的解析，然后将二进制内容保存到文件。在上传一个文件时，需要把form标签的enctype设置为
Lion Long·2024-01-10 20:53

Hyperledger Fabric 核心概念与组件

弄清楚这些核心组件的功能，就可以准确把握Fabric的底层运行原理，深入理解其在架构上的设计初衷。知其然，进而可以知其所以然。
征尘bjajmd·2024-01-10 19:36

跟着习近平学党史

回望中国近代以来180多年的斗争史、我们党100年的奋斗史和新中国70多年的发展史，了解一个个推动中华民族朝着伟大复兴不断前进的重大事件、一次次指引方向的重要会议、一位位令人敬仰的革命先辈，就能更加深入理解我们党为中国人民谋幸福
溡洸_db55·2024-01-10 19:50

讯飞版大模型来了，现场发布四大行业应用成果

文章目录人工智能福利文章前言SparkDesk讯飞星火认知大模型简介语言理解知识问答逻辑推理数学题解答代码理解与编写亲自体验写在最后✍创作者：全栈弄潮儿个人主页：全栈弄潮儿的个人主页️个人社区，欢迎你的加入
全栈弄潮儿²⁰²⁴·2024-01-10 19:10

Spark - 升级版数据源JDBC2

>在spark的数据源中，只支持Append,Overwrite,ErrorIfExists,Ignore,这几种模式，但是我们在线上的业务几乎全是需要upsert功能的，就是已存在的数据肯定不能覆盖，
kikiki5·2024-01-10 17:53

基于JavaWeb+BS架构+SpringBoot+Vue+Spark的共享单车数据存储系统的设计和实现

基于JavaWeb+BS架构+SpringBoot+Vue+Spark的共享单车数据存储系统的设计和实现文末获取源码Lun文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例《500
FREE技术·2024-01-10 16:56

深入理解JVM虚拟机4：Java class介绍与解析实践

本文转自：https://juejin.im/post/589834a20ce4630056097a56本系列文章将整理到我在GitHub上的《Java面试指南》仓库，更多精彩内容请到我的仓库里查看https://github.com/h2pl/Java-Tutorial喜欢的话麻烦点下Star哈文章将同步到我的个人博客：www.how2playlife.com本文是微信公众号【Java技术江湖】
da3acf50377b·2024-01-10 16:50

java分析内存泄漏_Java中的内存泄漏分析说明

内存区域分析一Java程序的内存组成1Java堆2方法区含常量池3栈1Java虚拟机栈2本地方法栈4程序计数器5直接内存二各种OOM情形模拟一Java堆溢出二方法区含常量池溢出三栈溢出四直接内存溢出参考《深入理解
孙圈圈·2024-01-10 16:17

SparkCore阶段练习

阶段练习查看数据集格式明确需求明确步骤读取文件抽取需要的列以年月为基础，进行reduceByKey统计Dongsi地区的PM排序获取结果编码拷贝数据集data.rar（已上传资源——SparkCore阶段练习数据集
我像影子一样·2024-01-10 16:44

RDD算子——概念及部分操作

RDD的算子分类特点Spark中所有的Transformations是Lazy(惰性)的，它们不会立即执行获得结果，相反，它们只会记录在数据集上要应用的操作.只有当需要返回结果给Driver时，才会执行这些操作
我像影子一样·2024-01-10 15:06

《PySpark大数据分析实战》-26.数据可视化图表Seaborn介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-10 14:58

Spark Core--加强

主要作用:提升Spark程序的计算效率注意事项:RDD的缓存可以存储在内存或者是磁盘上，甚至可以存储在Executor进程的堆外内存中。主要是放在内存中，因此缓存的数据是不太稳定可靠。
小希 fighting·2024-01-10 14:06

Apache Doris (六十三）： Spark Doris Connector - (3)-配置型及列映射关系

个人主页：IT贫道-CSDN博客私聊博主：私聊博主加WX好友，获取更多资料哦~博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录1.Spark操作Doris配置项
IT贫道·2024-01-10 14:35

Spark避坑系列一（基础知识）

大家想了解更多大数据相关内容请移驾我的课堂：大数据相关课程剖析及实践企业级大数据数据架构规划设计大厂架构师知识梳理：剖析及实践数据建模剖析及实践数据资产运营平台Spark作为大数据领域离线计算的王者，在分布式数据处理计算领域有着极高的处理效率
garagong·2024-01-10 14:04

java选择排序冒泡排序_Java选择排序、冒泡排序、直接插入排序与二分查找

介绍一下四种Java的经典算法，这四种算法是非常基础的算法，学算法对我们深入理解程序有很大帮助。
weixin_39768917·2024-01-10 14:32

深入理解TF-IDF、BM25算法与BM25变种：揭秘信息检索的核心原理与应用

深入理解TF-IDF、BM25算法与BM25变种：揭秘信息检索的核心原理与应用1.文本特征表示方法:TF-IDF在信息检索,文本挖掘和自然语言处理领域,IF-IDF这个名字,从它在20世纪70年代初被发明
汀、人工智能·2024-01-10 14:00

5.MapReduce之Combiner-预聚合

目录概述本地预计算Combiner意义实践前提代码日志观察结束概述在MR、Spark、Flink中，常用的减少网络传输的手段。
流月up·2024-01-10 12:49

4.MapReduce 序列化

序列化序列化对象-->字节序例：存储到磁盘或者网络传输MR、Spark、Flink：分布式的执行框架必然会涉及到网络传输ja
流月up·2024-01-10 12:46

spark sql写入mysql报错：Caused by: java.lang.IllegalArgumentException: Can‘t get JDBC type for void

一、问题描述sparksql写入mysql报错：Causedby:java.lang.IllegalArgumentException:Can’tgetJDBCtypeforvoidCausedby:java.lang.IllegalArgumentException
RayBreslin·2024-01-10 09:31

Failed to execute goal org.scala-tools:maven-scala-plugin:2.15.2:compile (scala-compile-first

一、问题描述spark项目编译，报错Failedtoexecutegoalorg.scala-tools:maven-scala-plugin:2.15.2:compile(scala-compile-first
RayBreslin·2024-01-10 09:00

深入理解 Hadoop （五）YARN核心工作机制浅析

概述YARN的核心设计理念是服务化（Service）和事件驱动（Event+EventHandler）。服务化和事件驱动软件设计思想的引入，使得YARN具有低耦合、高内聚的特点，各个模块只需完成各自功能，而模块之间则采用事件联系起来，系统设计简单且维护方便。这种编程方式具有异步、并发等特点，更加高效，更适合大型分布式系统。YARNService服务对于生命周期较长的对象，YARN采用了基于服务的对
我很ruo·2024-01-10 08:20

深入理解 Hadoop （七）YARN资源管理和调度详解

资源调度解决方案探讨Hadoop最初是为批处理设计而生，对于资源管理和调度，仅仅支持FIFO的调度机制。随着Hadoop的发展和流行，单个Hadoop集群中的用户量和应用程序类型不断增加，适用于批处理场景的FIFO调度机制不能很好地利用集群资源，也不能够满足不同应用程序的服务质量要求，因此需要设计适用于多用户的资源调度器。HOD（HadoopOnDemand）调度器：将物理集群，虚拟成多个Hado
我很ruo·2024-01-10 08:20

深入理解 Flink（三）Flink 内核基础设施源码级原理详解

Hadoop生态各大常见组件的RPC技术实现FlinkRPC网络通信框架Akka详解1、ActorSystem是管理Actor生命周期的组件，Actor是负责进行通信的组件。2、每个Actor都有一个MailBox，别的Actor发送给它的消息都首先储存在MailBox中，通过这种方式可以实现异步通信。3、每个Actor是单线程的处理方式，不断的从MailBox拉取消息执行处理，所以对于Actor
我很ruo·2024-01-10 08:20

深入理解 Hadoop （三）HDFS文件系统设计实现

HDFSFileSystemNameNode端抽象实现HDFS磁盘元数据文件解读共有五种格式的文件：edits_0000000000000041912-0000000000000041913：该LogSegment记录了transactionid在41912-41913之间的事务日志。(最多保留50个)edits_inprogress_0000000000000041914：正在使用的编辑日志文件
我很ruo·2024-01-10 08:50
上一页 39 40 41 42 43 44 45 46 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他