图解Spark

SpringMVC 简介

接收所有请求(如果配置/不包含jsp)1.2HandlerMapping:解析请求格式的.判断希望要执行哪个具体的方法.1.3HandlerAdapter:负责调用具体的方法.1.4ViewResovler:视图解析器
路上捡只猫·2024-01-28 09:50

###C语言程序设计-----C语言学习（3）#

下图为两种语句的流程图图解：（1）用if-else语句实现，该语句的一般形式为：if（表达式）语句1；else语句2；执行流程
袁满满满满·2024-01-28 09:00

Spark 的宽依赖和窄依赖

ApacheSpark中的依赖关系指的是转换操作（transformations）之间的依赖类型。这些依赖关系决定了任务是如何在集群上分布执行的。
小湘西·2024-01-28 08:52

Spark——Spark SQL逻辑计划（Logical Plan）、物理计划（Physical Plan）和Catalyst优化器（Catalyst Optimizer）

文章目录TreesRulesSparkSQL中使用CatalystAnalysis逻辑优化（LogicalOptimizations）物理计划（PhysicalPlanning）代码生成（CodeGeneration
Southwest-·2024-01-28 08:18

Spark——Spark覆盖分区表中指定的分区

问题描述Spark中向分区表写数据的时候，如果写入模式为“overwrite”，那会将整个表覆盖掉；如果写入模式为“ap
Southwest-·2024-01-28 08:18

Spark——Spark OOM Error问题汇总分析

.广播了大变量Executor端OOMError1.低效的查询2.不合适的Driver端和Executor端内存3.不合适的YARNContainer内存4.内存中缓存大量数据5.不合适任务并行度参考Spark
Southwest-·2024-01-28 08:17

Spark——Spark写MySQL太慢、很慢、非常慢的原因分析及优化方法

文章目录问题背景原因分析解决方法参考问题背景有这样一个业务场景：需要将通过Spark处理之后的数据写入MySQL，并在在网页端进行可视化输出。
Southwest-·2024-01-28 08:17

Spark——Spark/Hive向量化查询执行原理分析（Vectorization Query Execution）

文章目录什么是向量化查询执行列式存储Spark向量化查询执行Hive向量化查询执行参考什么是向量化查询执行在标准的查询执行系统中，每次只处理一行数据，每次处理都要走过较长的代码路径和元数据解释，从而导致
Southwest-·2024-01-28 08:47

Spark——Spark缓存临时视图（View）

文章目录RDD/Dataset缓存复用纯SQL结果缓存复用RDD/Dataset缓存复用我们知道在使用RDD和DatasetAPI开发Spark应用程序的时候，如果要缓存某个RDD或Dataset来进行复用
Southwest-·2024-01-28 08:47

Spark——Spark DataFrame导出为Excel文件

文章目录问题背景实现1.Maven依赖2.代码实现3.参数详解1.'sheet_name'!B3:C35。2.sheet_name[#All]参考问题背景有时候我们在进行一些表的计算之后，会生成一些指标，需要导出来给其它同事用，虽说可以将DataFrame直接写成表，然后通过工具(比如Hue)导出为Excel，但是步骤就多了，而且如果要导出的表比较多的话，就更浪费时间了，那么这时候调用第三方插件就
Southwest-·2024-01-28 08:17

Spark —— JSON对象/数组转成Spark Dataset/DataFrame

JSON转DataFrame在日常使用Spark处理数据时,半结构化的JSON数据(JSONObject,JSONArray)可能是最常见的一种数据结构，那么能熟练并快速地处理JSON格式数据应该是数据开发人员的必备技能
Southwest-·2024-01-28 08:16

Spark——Spark读写MongoDB

文章目录Spark直连MongoDB1.通过SparkConf2.通过ReadConfig3.通过DataFrameReaderHive中创建映射表mongoexport导出文件参考如果我们要想通过Spark
Southwest-·2024-01-28 08:46

Spark——Spark读写Greenplum/Greenplum-Spark Connector高速写Greenplum

文章目录问题背景解决方式代码实现Spark写GreenplumSpark读Greenplum参考问题背景通过数据平台上的DataX把Hive表数据同步至Greenplum（因为DataX原生不支持GreenplumWriter
Southwest-·2024-01-28 08:42

Hive之set参数大全-18

指定在执行Spark上的动态分区裁剪时，用于评估分区数据大小的最大限制在Hive中，hive.spark.dynamic.partition.pruning.max.data.size是一个配置参数，用于指定在执行
OnePandas·2024-01-28 07:33

hive面试题

本质上是将SQL转换为MapReduce或者spark来进行计算，数据是存储在hdfs上，简单理解来说hive就是MapReduce的一个客户端工具。补充1：你可以说一下HQL转换为MR的任务流程吗？
韩顺平的小迷弟·2024-01-28 07:29

深入理解TCP网络协议,三次握手

目录1.TCP协议的段格式2.TCP原理2.1确认应答2.2超时重传3.三次握手(重点)1.TCP协议的段格式我们先来观察一下TCP协议的段格式图解:源/目的端口号:标识数据从哪个进程来,到哪个进程去32
老cu·2024-01-28 07:45

大数据——Flink 知识点整理

目录1.Flink的特点2.Flink和SparkStreaming的对比3.Flink和Blink、Alink之间的关系4.JobManager和TaskManager的职责5.Flink集群部署有哪些模式
Vicky_Tang·2024-01-28 06:17

NC开发客户端(前端)连接启动失败can‘t connect to server, please wait

效果图解决方法IP地址和端口要对应1-IP地址中间启动，肯定是这个127.0.0.12-端口号，要对应中间件启动在控制台输出的端口或者是在home目录-》bin-》sysConfig.bat这里面的服务器
LDG1998·2024-01-28 05:33

深度学习图解 安德鲁

网上一堆要付钱的，给予鄙视，没有套路，直接下载链接：https://pan.baidu.com/s/10Nbe2zg4KJWoRNjHW_KsZQ?pwd=an9e提取码：an9e–来自百度网盘超级会员V1的分享
中二骚年·2024-01-28 02:38

万字图解 | 深入揭秘TCP工作原理

大家好，我是「云舒编程」，今天我们来聊聊计算机网络面试之-(传输层tcp)工作原理。文章首发于微信公众号：云舒编程关注公众号获取：1、大厂项目分享2、各种技术原理分享3、部门内推前言想必不少同学在面试过程中，会遇到「在浏览器中输入www.baidu.com后，到网页显示，其间发生了什么」类似的面试题。本专栏将从该背景出发，详细介绍数据包从HTTP层->TCP层->IP层->网卡->互联网->目的地
云舒编程·2024-01-28 01:28

万字图解 | 深入揭秘IP层工作原理

大家好，我是「云舒编程」，今天我们来聊聊计算机网络面试之-(网络层ip)工作原理。文章首发于微信公众号：云舒编程关注公众号获取：1、大厂项目分享2、各种技术原理分享3、部门内推前言想必不少同学在面试过程中，会遇到「在浏览器中输入www.baidu.com后，到网页显示，其间发生了什么」类似的面试题。本专栏将从该背景出发，详细介绍数据包从HTTP层->TCP层->IP层->网卡->互联网->目的地服
云舒编程·2024-01-28 01:27

【SpringBoot篇】springboot的自动装配原理

框架的一个核心特性之一，它通过扫描应用程序的classpath和依赖关系，自动配置和装配Spring应用程序所需的各种组件在传统的Spring应用程序中，开发者需要手动配置大量的bean，例如数据源、事务管理器、视图解析器等
在下小吉.·2024-01-28 01:48

Apache Spark架构与特点

1.背景介绍ApacheSpark是一个开源的大数据处理框架，由AMLLabs公司开发，后被Apache软件基金会所支持。
OpenChat·2024-01-27 23:35

《拼图解论语》随事制宜04-[09·18]好色之徒

《论语》原【第09子罕篇第18章】子曰：“吾未见好德如好色者也。”【杨伯峻译文】孔子说：“我没见过喜欢美德如同喜欢美色的人。”【钱穆译文】先生说：“我没有见过好德能像好色般的人呀。”【李泽厚译文】孔子说：“我没有看见喜爱道德能像喜爱女色那样的人啊。”【注】三大家基本情况：杨伯峻——代表老式的考据，更多文言文解释的传统视角；钱穆——代表台湾最高水平，更多历史学家和宋明理学的视角；李泽厚——代表大陆最
游梦僧·2024-01-27 23:02

Spark-core

什么是SparkSpark是基于内存的快速，通用，可扩展的大数据分析引擎Spark的内置模块SparkCore是Spark可以离线处理的部分，实现了spark的基本功能，包含任务调度，错误恢复，与存储系统交互等模块
luckboy0000·2024-01-27 23:12

【MySQL】索引的认识

目录一、索引初识二、学习硬件（磁盘）三、MySQL存储数据图解四、page的结构理解1.page的数据结构2.多个page之间的数据结构3.简单介绍一下B+树4.索引的理解5.聚簇索引和非聚簇索引五、索引的操作创建索引查看索引删除索引适合设置索引的字段一
Insisting.·2024-01-27 23:07

Git图解：分支管理（二）

文章目录1.分支管理1.1.基本介绍1.2.创建分支1.3.分支切换1.4.分支合并1.5.删除分支1.6分支冲突1.7.分支管理策略这是继Git图解：安装与基本操作（一）的第二篇分享，分支管理。
希言JY·2024-01-27 22:58

数据结构：搜索二叉树 | 红黑树 | 验证是否为红黑树

文章目录1.红黑树的概述2.红黑树的性质3.红黑树的代码实现3.1.红黑树的节点定义3.2.红黑树的插入操作3.3.红黑树是否平衡黑红树是一颗特殊的搜索二叉树，本文在前文的基础上，图解红黑树插入：前文链接
希言JY·2024-01-27 22:58

教育日志185

美国心理学家、教育家，美国正面管教协会的创始人简·尼尔森博士在所著《正面管教》一书讲：永远不要在情绪之中试图解决问题。想要解决问题，必须先平复情绪。
马淑敏·2024-01-27 21:25

江大白 | 万字长文图解Numpy教程，看这一篇就够了！

本文来源公众号“江大白”，仅用于学术分享，侵权删，干货满满，有超级详细的图解。原文链接：万字长文图解Numpy教程，看这一篇就够了！
双木的木·2024-01-27 20:34

算法基础课-数据结构

单链表题目链接：826.单链表-AcWing题库思路：AcWing826.单链表---图解-AcWing需要注意的点在于理解ne[idx]=head，idx表示当前的点，意思是将当前的点链到头结点的后面
向来痴_·2024-01-27 20:11

独家解读 | 滴滴机器学习平台架构演进之路

所谓大同是指大家所要处理的问题都相似，技术架构和选型也差不太多，比如都会使用GPU集群、采用Spark或K8s平台等。
csdn产品小助手·2024-01-27 19:18

【正点原子STM32】STM32启动过程浅析（MAP文件、STM32启动过程、启动模式、Reset_Handler函数、__initial_sp堆栈的起始地址、堆栈）

STM32启动模式（F4）STM32启动模式（F7）STM32启动模式（H7）2.2、STM32启动过程（内部FLASH启动为例）启动文件介绍Reset_Handler函数介绍堆栈简介STM32启动过程图解三
咖喱年糕·2024-01-27 18:16

暴躁男，教父也治不了你?

时而抬头看看周边各个高耸入云的写字楼，呆呆的出神，时而观察下身边同样散步的人们，试图解析他们的生活。
Kobe_1d18·2024-01-27 17:25

apache 前30个开源项目

高性能Web服务器提供HTTP服务支持非常活跃2ApacheTomcatJava应用服务器部署JavaWeb应用程序非常活跃3ApacheHadoop分布式存储和计算框架大数据处理非常活跃4ApacheSpark
临水逸·2024-01-27 17:35

读书打卡<<算法图解>> day 1

1二分查找针对有序的元素列表defbinary_search(list,item):low=0heigh=len(list)-1whilelowitemheight=middle-1elselow=middle+1returnNone2运行时O(logn)对数时间O(n)线性时间O(n*logn)对数线性O(n^2)指数O(n!)阶乘3数组和链表数组连续的内存空间存储类型相同的元素,但是新增元素需
nhsf·2024-01-27 16:15

springmvc-dispatcherserlet

springmvcdispatcherselvet核心,负责截获请求分派给对应的处理器处理springmvc包括注解驱动控制器、请求及响应的信息处理、视图解析、本地化解析、上传文件解析、异常处理、表单标签绑定等内容从接收请求到相应
指尖‖舞者·2024-01-27 16:36

如何使用irsa将火花提交给亚马逊eks集群

Inpreviousarticle,IhaveintroducedhowwesubmitaSparkjobtoanEKScluster.Aslongaswe’reusingotherAWScomponentsforourpipelinestointeract
weixin_26755331·2024-01-27 15:26

Pyspark分类--LogisticRegression

LogisticRegression：逻辑回归分类classpyspark.ml.classification.LogisticRegression(featuresCol=‘features’,labelCol
Gadaite·2024-01-27 14:53

搭建大数据平台常用的端口号

journalnode默认的端口号9000：非高可用访问数rpc端口8020：高可用访问数据rpc8088：yarn的webUI的端口号8080：master的webUI，Tomcat的端口号7077：spark
修勾勾L·2024-01-27 13:51

Spark连接Hive的两种方式

一、使用hive-site.xml第一步：将集群中的hive-site.xml的内容复制出来，并放在idea项目的resources下，要求文件命名为：hive-site.xmldatanucleus.schema.autoCreateAlltruejavax.jdo.option.ConnectionURLjdbc:mysql://192.168.38.160:3306/hive_db?crea
修勾勾L·2024-01-27 13:50

项目中常用的utils

importcryptofrom'crypto'importSparkMD5from'spark-md5'importCryptoJsfrom'crypto-js'importJSEncryptfrom'jsencrypt'importstoragefrom
乐夫天命兮·2024-01-27 13:05

flume+kafka+SparkStreaming+mysql+ssm+高德地图热力图项目

第一步、编写python脚本，产生模拟数据#coding=UTF-8importrandomimporttimephone=["13869555210","18542360152","15422556663","18852487210","13993584664","18754366522","15222436542","13369568452","13893556666","1536669855
printf200·2024-01-27 12:24

【Scala-spark.mlib】分布式矩阵——分布式计算的基石与利器

分布式矩阵1.mlib.linalg.distributed包2.DistributedMatrix特质3.BlockMatrix类4.CoordinateMatrix类5.IndexedRowMatrix类6.RowMatrix类7.小结1.mlib.linalg.distributed包  矩阵计算是很多科学计算的重要步骤，而分布式矩阵存储则是分布式计算的基础。根据不同的计算需求，需要将用于计
JimmyShis·2024-01-27 10:12

3个要点1张图解析《关键对话》

一，对话不仅要关注内容，更要关注情绪和氛围，营造安全的对话环境。不逃避不沉默不暴力，观察双方的情绪，强调共同目的，保持尊重，必要时为不愉快的氛围道歉并坦诚自己的用意。二，控制自己的想法。解决问题最重要，公平与否是次要。多说事实+观点，少去评论和抱怨。调整情绪可以用对比说明“我的目的是……我不希望……”三，巧妙处理不同意见：寻找共同点“咱们有三点是一致的……”；找出对方盲点并补充“我想补充一个事实…
女侠展昭·2024-01-27 10:46

【JavaWeb】过滤器 Filter

一、过滤器概述二、过滤器工作位置图解三、Filter接口API四、过滤器使用4.1定义一个过滤器类,编写功能代码：4.2xml配置：4.3定义servletG目标资源模拟测试:4.4过滤图解五、过滤器生命周期六
道格维克·2024-01-27 08:24

2019年12月10日

今天在公司继续看spark教程，这么说来我已经快一个月没啥正事了（望向每日记录Excel文档），究竟说明公司药丸还是我药丸……反正先做好多手准备【今天明明温度不低办公室的三恒系统却还是开着高温，仿佛电费不要钱
真昼之月·2024-01-27 08:49

Spark-RDD持久化

(1)persist算子使用方法：varrdd=sc.textFile("test")rdd=rdd.persist(StorageLevel.MEMORY_ONLY)valcount=rdd.count()//或者其他操作StorageLevel说明：StorageLevel的构造函数：classStorageLevelprivate(privatevar_useDisk:Boolean,#是否
printf200·2024-01-27 08:02

Spark SQL中掌控sql语句的执行 - 了解你的查询计划

本文翻译自BeinchargeofQueryExcutioninSparkSQL背景自spark2.x的sql以及申明行DataFrameAPi以来，在spark查询数据越来越方便。
鸿乃江边鸟·2024-01-27 08:18

信息学奥赛书籍 提高篇 --- 2022.01.30

1、信息学奥赛一本通提高篇2、算法训练营：海量图解+竞赛刷题（进阶篇）-2021.043、算法竞赛进阶指南（第六版）4、《算法竞赛入门经典(第2版)》（推荐指数：5颗星）---2014-065、算法竞赛入门经典
dllglvzhenfeng·2024-01-27 08:40
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他