spark源码解读

Hive与ClickHouse的区别

Hive的存储引擎使用HDFS，计算引擎使用MapReduce或Spark。Hive本质上是一个元数据管理平台，通过对存储于HDFS上的数据文件附加元数据，赋予HDFS上的文件以数据库表的语义。
晓之以理的喵~~·2024-02-11 08:18

Spark编程题

数据格式如下：张三|男|23|未婚|北京|海淀李四|女|25|已婚|河北|石家庄求：1.数据中所有人的平均年龄2.数据中所有男性未婚的人数和女性未婚人数3.数据中20-30已婚数量前3的省份答案：packagespark08importorg.apache.spark.rdd.RDDimportorg.apache.spa
不愿透露姓名的李某某·2024-02-11 07:09

RabbitMQ详解以及spring对RabbitMQ的集成(附带部分源码解读)

一·简介1丶为什么要使用消息队列https://wenku.baidu.com/view/e297236f83c4bb4cf7ecd193.html①异步处理(高并发)②系统解耦③流量削锋2丶为什么使用RabbitMQ①给予AMQP协议②高并发③高可用④强大的社区支持，以及很多公司都在使用⑤高性能⑥支持插件(监控管理界面的插件，安装插件支持jms)⑦支持多语言(PHP,Python,.net)3丶
HAKUNA·MATATA·2024-02-11 06:04

死磕spark中的job、stage、task

写在前面台风夜的电话面试里被问到了spark运行任务的过程中stage的划分依据。一下子就给整懵了，支支吾吾答非所问。从事大数据的开发也有一年半光景，spark任务的运行原理依旧知之甚少。
NikolasNull·2024-02-11 06:11

国外现代并行计算课程CMU-15-418/15-618: Parallel Computer Architecture and Programming

这是与计算物理最相关的CS课程，计算物理方向很容易吃透作为项目写到简历上这部分主要包括多核计算OpenMPSIMD集群计算MPIGPU计算CUDA分布式计算MapReduceSpark互联网主要重视分布式计算
wwxy261·2024-02-11 05:03

vue3源码解读--组件更新

目录vue2源码vue3源码示例源码组件更新的前提是依赖能被正确收集到，经过上一节分析，我们知道trackEffects正是来做这件事情的，故将代码定位于此。核心看其收集的对象是谁。该方法的入参如下其中的activeEffect是在setupRenderEffect中使用newReactiveEffect后执行run创建的，核心是向其挂载了更新函数即componentUpdateFn接着将dep的
习惯水文的前端苏·2024-02-11 01:15

使用docker搭建spark(2.3.1)集群

使用Docker快速搭建Spark集群。
zealscott·2024-02-11 01:12

大数据毕业设计django+vue.js+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop spark 58同城租房爬虫 房源推荐系统 计算机毕业设计

博主介绍：✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久，选择我们就是选择放心、选择安心毕业✌由于篇幅限制，想要获取完整文章或者源码，或者代做，可以给我留言或者找我聊天。感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多的人。文章包含：项目选题+项目展示图片（必看）计算机毕业设计吊
B站计算机毕业设计超人·2024-02-10 20:52

报表任务治理计划

先给大家介绍我们我们公司的报表产出组件图：报表产出图底层平台由HDFS、Yarn分别提供存储和计算支持在这之上我们提供了一套支持MR、Spark任务开发、依赖执行的调度系统BI业务同学利用调
liujianhuiouc·2024-02-10 12:46

计算机毕业设计Python+Spark+LSTM微博大屏情感分析 微博大数据分析 微博情感分析 微博爬虫可视化 微博数据分析 微博采集分析平台

开发技术前端：vue.jsechartswebsocket后端API：springboot+spark+mybatis爬虫/算法：python、lstm情感分析(python实现)数据库：mysql创新点
计算机毕业设计大神·2024-02-10 12:42

spark键值对的链接

join连接frompysparkimportSparkContextif__name__=="__main__":master="local"iflen(sys.argv)==2:master=sys.argv
yanghedada·2024-02-10 09:27

SpringBoot源码解读与原理分析(六)WebMvc场景的自动装配

文章目录2.6WebMvc场景下的自动装配原理2.6.1WebMvcAutoConfiguration2.6.2Servlet容器的装配2.6.2.1EmbeddedTomcat、EmbeddedJetty、EmbeddedUndertow2.6.2.2BeanPostProcessorsRegistrar(后置处理器的注册器)2.6.2.3两个定制器的注册2.6.3DispatcherServl
灰色孤星A·2024-02-10 06:23

横扫Spark之 - 9个常见的行动算子

水善利万物而不争，处众人之所恶，故几于道文章目录1.collect()2.count()3.first()4.take()5.takeOrdered()6.countByKey()7.saveAS...()8.foreach()9.foreachPartition()***1.collect()  收集RDD每个分区的数据以数组封装之后发给Driver  如果RDD数据量比较大，Driver内存默
阿年、嗯啊·2024-02-10 06:04

横扫Spark之 - 22个常见的转换算子

水善利万物而不争，处众人之所恶，故几于道文章目录1.map()2.flatMap()3.filter()4.mapPartitions()5.mapPartitionsWithIndex()6.groupBy()7.distinct()8.coalesce()9.repartition()10.sortBy()11.intersection()12.union()13.subtract()14.z
阿年、嗯啊·2024-02-10 06:01

新人数据技术如何快速提升

对于数据平台和工具而言，一般情况下都是在Hadoop生态下做开发，但对于一些有特殊要求的团队，Spark和Flink已经得
晓阳的数据小站·2024-02-09 23:46

毕业设计：基于python的反爬虫系统

目录前言设计思路一、课题背景与意义二、算法理论技术2.1spark技术2.2反爬虫设计2.3黑名单设计三、检测的实现3.1数据集3.2实验环境最后前言大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备
Krin_IT·2024-02-09 22:54

ClickHouse-简谈OLAP与ClickHouse

在第一届易观OLAP大赛中，在用户行为分析转化漏斗场景里，ClickHouse比Spark快了近10倍。在随后几年的
adson1987·2024-02-09 18:00

Transformer实战-系列教程14：DETR 源码解读1

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读1、项目配置主要环境installPyTorch1.5+pipinstallpycocotoolspipinstallcythonpipinstallscipy需要下载coco数据集，这个数据集比较大，训练集8w图像，验证集4w图
机器学习杨卓越·2024-02-09 14:17

mysql源码解读——MVCC

一、什么是MVCCMVCC（Multi-VersionConcurrencyControl）多版本并发控制,这个玩意儿当初大意过，竟然理解成了源代码的版本控制。傻了巴唧的。MVCC其实是用来做数据安全性的，有过多线程的共享数据控制的编写经验的开发人员，理解起来会更容易一些。后来在区块链中的提高交易速度时，有一些链采用了并行交易，而这其中，对交易的控制管理也使用了MVCC的控制方式。在MySql数据
fpcc·2024-02-09 14:58

初识kafka

目前越来越多的开源分布式处理系统如Cloudera、Storm、Spark、Flink等都支持与Kafka集成。
tracy_668·2024-02-09 14:07

69.Kudu、Spark2、Kafka安装—CDH

69.1演示环境介绍CDH集群运行正常操作系统版本为：CentOS6.5CM和CDH版本为：5.12.1CM管理员为：admin用户操作系统用户为：root用户69.2操作演示Kudu安装Kudu的Parcel部署下载Kudu的Parcel包：http://archive.cloudera.com/kudu/parcels/5.12.1/KUDU-1.4.0-1.cdh5.12.1.p0.10-e
大勇任卷舒·2024-02-09 14:55

spark开发中的Zip算子灵活使用

本人开发中，需要聚合的文段举个栗子：RDD中有如下元素kv(（a,b）,List(7，8，9))(（a,b）,List(1，2，3))(（a,b）,List(4，5，6))(（c,d）,List(4，5，6))。。。。。。reducebyke后要对v操作原理将v中的list前后zip再map每个元素进行逐个元组元素（口，口）的累加。a代表v的前一个元素，b代表v的后一个元素如vala=List（7
Hero.Lin·2024-02-09 13:35

Spark是什么？与MapReduce的对比

Spark是一个基于内存的集群计算系统，是一个分布式的计算框架。Spark可以将计算任务分发到多个机器并行计算。
Tim在路上·2024-02-09 10:27

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2024-02-09 09:54

macos安装local模式spark

文章目录配置说明安装hadoop安装Spark测试安装成功配置说明Scala-3.18+Spark-3.5.0Hadoop-3.3.6安装hadoop从这里下载相应版本的hadoop下载后解压，配置系统环境变量
SparklingTheo·2024-02-09 08:52

SQL条件判断语句嵌套window子句的应用【易错点】--HiveSql面试题25

目录0需求分析1数据准备3数据分析4小结0需求分析需求：表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108
莫叫石榴姐·2024-02-09 06:00

HiveSQL——条件判断语句嵌套windows子句的应用

0需求分析需求：表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108
爱吃辣条byte·2024-02-09 06:58

Spark SQL（十一）：与Spark Core整合

每日top3热点搜索词统计Demo1、数据格式：日期用户搜索词城市平台版本2、需求：1、筛选出符合查询条件（城市、平台、版本）的数据2、统计出每天搜索uv排名前3的搜索词3、按照每天的top3搜索词的uv搜索总次数，倒序排序4、将数据保存到hive表中3、实现思路：1、针对原始数据（HDFS文件），获取输入的RDD2、使用filter算子，去针对输入RDD中的数据，进行数据过滤，过滤出符合查询条件
雪飘千里·2024-02-09 06:34

大数据 - Spark系列《五》- Spark常用算子

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-09 05:25

SQL、Hive中的SQL和Spark中的SQL三者联系与区别

SQL、Hive中的SQL和Spark中的SQL（即SparkSQL）都是用于处理和分析数据的查询语言，但它们在实现、性能、应用场景等方面存在一些明显的区别和联系。
大数据ＳＱＬｂｏｙ·2024-02-09 05:20

pyspark操作示例

前置pipinstallpyspark为了支持py4j的使用，需要进行如下设置，并修改了java_gateway.py中的env['_PYSPARK_DRIVER_CALLBACK_HOST']='127.0.0.1
佛系小懒·2024-02-09 05:15

spark从入门到放弃二十八:Spark Sql (1)Data Set

文章地址：http://www.haha174.top/article/details/257834项目源码：https://github.com/haha174/spark.git1.简介SparkSql
意浅离殇·2024-02-09 03:17

再聊阴影裁剪与高性能视锥剔除

【USparkle专栏】如果你深怀绝技，爱“搞点研究”，乐于分享也博采众长，我们期待你的加入，让智慧的火花碰撞交织，让知识的传递生生不息！
UWA·2024-02-09 03:24

spark原理总体介绍

拿到系统后，部署系统是第一件事，那么系统部署成功以后，各个节点都启动了哪些服务？部署图image.png从部署图中可以看到整个集群分为Master节点和Worker节点，相当于Hadoop的Master和Slave节点。Master节点上常驻Master守护进程，负责管理全部的Worker节点。Worker节点上常驻Worker守护进程，负责与Master节点通信并管理executors。Driv
tracy_668·2024-02-09 03:48

SpringBoot源码解读与原理分析(七)BeanFactory

文章目录3SpringBoot的IOC容器3.1SpringFramework的IOC容器3.1.1BeanFactory3.1.1.1BeanFactory根接口3.1.1.2HierarchicalBeanFactory3.1.1.3ListableBeanFactory3.1.1.4AutowireCapableBeanFactory3.1.1.5ConfigurableBeanFactor
灰色孤星A·2024-02-09 03:53

SpringBoot源码解读与原理分析(二十五)IOC容器的刷新(六)

文章目录7.12完成容器的创建工作7.12.1LifecycleProcessor7.12.2getLifecycleProcessor().onRefresh()7.13清除缓存7.14IOC容器初始化中的扩展点7.14.1invokeBeanFactoryPostProcessors7.14.1.1ImportSelector和ImportBeanDefinitionRegistrar7.14
灰色孤星A·2024-02-09 03:22

SpringBoot源码解读与原理分析(十四)SpringApplication的总体设计

文章目录4SpringBoot的核心引导：SpringApplication4.1总体设计4.1.1启动失败的错误报告4.1.2Bean的延迟初始化4.1.3SpringApplication的定制4.1.4Web类型推断4.1.5监听与回调1.核心监听类SpringApplicationRunListener2.SpringBoot新引入的事件4.1.6应用退出4SpringBoot的核心引导：
灰色孤星A·2024-02-09 03:52

SpringBoot源码解读与原理分析(二十二)IOC容器的刷新(三)ConfigurationClassPostProcessor

文章目录7.5.7ConfigurationClassPostProcessor7.5.7.1processConfigBeanDefinitions的主体逻辑7.5.7.2ConfigurationClassParser7.5.7.3ConfigurationClassParser的parse方法（1）处理@Component注解（2）处理@PropertySource注解（3）处理@Compo
灰色孤星A·2024-02-09 03:52

SpringBoot源码解读与原理分析(二十四)IOC容器的刷新(五)

文章目录7.11初始化所有剩下的单实例bean对象7.11.1beanFactory.preInstantiateSingletons7.11.2getBean7.11.2.1别名的解析处理7.11.2.2判断是否已注册过7.11.2.3创建前的检查7.11.2.4标记准备创建的bean对象7.11.2.5合并BeanDefinition7.11.2.6bean对象的创建7.11.2.7getSi
灰色孤星A·2024-02-09 03:52

SpringBoot源码解读与原理分析(十一)BeanDefinition

文章目录3.5BeanDefinition3.5.1BeanDefinition概述3.5.3BeanDefinition的结构与设计3.5.3.1AttributeAccessor3.5.3.2BeanMetadataElement3.5.3.3AbstractBeanDefinition3.5.3.4GenericBeanDefinition3.5.3.5ChildBeanDefinition
灰色孤星A·2024-02-09 03:51

SpringBoot源码解读与原理分析(十二)后置处理器

文章目录3.6后置处理器3.6.1后置处理器概述3.6.2BeanPostProcessor3.6.2.1BeanPostProcessor概述1.postProcessBeforeInitialization2.postProcessAfterInitialization3.6.2.2BeanPostProcessor的扩展1.InstantiationAwareBeanPostProcesso
灰色孤星A·2024-02-09 03:51

SpringBoot源码解读与原理分析(十三)IOC容器的启动流程

文章目录3.7IOC容器的启动流程1.prepareRefresh——初始化前的预处理2.obtainFreshBeanFactory——初始化BeanFactory3.prepareBeanFactory——BeanFactory的预处理动作4.postProcessBeanFactory——BeanFactory的后置处理5.invokeBeanFactoryPostProcessors——执
灰色孤星A·2024-02-09 03:51

SpringBoot源码解读与原理分析(九)SpringBoot对IOC容器的拓展

文章目录3.2SpringBoot对IOC容器的拓展3.2.1WebServerApplicationContext3.2.2AnnotationConfigServletWebServerApplicationContext3.2.3ReactiveWebApplicationContext3.3SpringBoot选择注解驱动的原因3.3.1配置方式的对比3.3.1.1历史背景的比较3.3.1
灰色孤星A·2024-02-09 03:50

SpringBoot源码解读与原理分析（入门）

SpringBoot源码解读与原理分析（入门）简介：由Pivotal团队提供的全新框架其设计目的是用来简化新Spring应用的初始搭建以及开发过程使用了特定的方式来进行配置快速应用开发领域运行原理以及特点特点
果办办·2024-02-09 03:49

SpringBoot源码解读与原理分析(八)ApplicationContext

文章目录3.1.2ApplicationContext3.1.2.1ApplicationContext根接口3.1.2.2ConfigurableApplicationContext3.1.2.3EnvironmentCapable3.1.2.4MessageSource3.1.2.5ApplicationEventPublisher3.1.2.6ResourcePatternResolver3
灰色孤星A·2024-02-09 03:18

PDF如何页面插入

操作软件：旋风PDF编辑器下载地址：http://www.679sparkle.com/pdfeditor1.运行旋风PDF编辑器，打开你想要编辑的文件。
六号_db7a·2024-02-09 00:18

Fate-Serving推理服务源码解读

https://fate-serving.readthedocs.io/en/develop/?query=guest什么是Fate-Servingfate-serving是FATE的在线部分，在使用FATE进行联邦建模完成之后，可以使用fate-serving进行包括单笔预测、多笔预测以及多host预测在内的在线联合预测。模型的初始化流程在FATE中建好模型之后，通过fate-flow的推送模型
SakamataZ·2024-02-08 22:20

secretflow推理服务源码解读

secretflow-serving（https://github.com/secretflow/serving）是隐语提供的一套aby3的推理服务，代码量只有clickhouse的百分之一（一万行不到），但是麻雀虽小，五脏俱全，有模型加载和推理的整套流程，还结合Prometheus实现了监控服务。secretflow-serving使用了C++17，代码也写的很清晰易懂，本文就结合它的架构解读一
SakamataZ·2024-02-08 22:20

Flink状态编程

SparkStreaming在状态管理这块做的不好,很多时候需要借助于外部存储(例如Redis)来手动管理状态,增加了编程的难度.访问redis需要通过网络访问，增大处理时间状态一致性问题，可能会造成数据的不一致
万事万物·2024-02-08 22:41

7.0 MapReduce编程实例教程

MapReduce主要是依靠开发者通过Spark来实现功能的，开发者可以通过实现Map和Reduce相关的方法来进行数据处理。为了简单的展示这个过程，我们将手工编写一个字数统计程序。
二当家的素材网·2024-02-08 18:11
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他