Spark大数据平台源码分析第6页

Amazon EFS：云端弹性文件系统的多元化应用场景

ivwdcwso·2024-08-22 04:51

Java并发编程：深入剖析ThreadLocal

首先，本文先谈一下对ThreadLocal的理解，然后根据ThreadLocal类的源码分析了其实现原理和使用需要注意的地方，最后给出了两个应用场景。

「已注销」·2024-08-22 04:21

Apache Paimon：实时湖仓架构构建工具

实时湖仓架构构建工具paimonApachePaimonisalakeformatthatenablesbuildingaRealtimeLakehouseArchitecturewithFlinkandSparkforbothstreamingandbatchoperations

乔如黎·2024-08-22 03:15

探索实时湖仓架构的新星：Apache Paimon

ApachePaimonpaimonApachePaimonisalakeformatthatenablesbuildingaRealtimeLakehouseArchitecturewithFlinkandSparkforbothstreamingandbatchoperations

幸愉旎Jasper·2024-08-22 03:39

MAP REDUCE

ApacheSpark：可以整合进Hadoop，取代MapReduce的框架

Xiao_die888·2024-08-22 01:58

Category实现的原理二:分类信息如何添加到本类中

Category实现的原理一:底层结构及源码分析中我们知道了category的底层数据结构,以及从runtime源码层面了解了category的本质.这篇文章我们研究一下runtime是如何把分类中的信息附加到本类中

小心韩国人·2024-08-21 22:18

Azkaban各种类型的Job编写

command：Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java任务hive：支持执行hiveSQLpig：pig脚本任务spark

__元昊__·2024-03-28 21:00

关于HDP的20道高级运维面试题

HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive

编织幻境的妖·2024-03-26 15:34

【Hadoop】使用Scala与Spark连接ClickHouse进行数据处理

风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域，ApacheSpark

音乐学家方大刚·2024-03-26 09:56

nginx upstream server主动健康监测模块添加https检测功能【上】

1缘起前面的《nginxupstreamserver主动健康检测模块ngx_http_upstream_check_module使用和源码分析》系列已经分析了ngx_http_upstream_check_module

码农心语·2024-03-26 05:50

Spark面试整理-Spark是什么？

ApacheSpark是一个开源的分布式计算系统，它提供了一个用于大规模数据处理的快速、通用、易于使用的平台。它最初是在加州大学伯克利分校的AMPLab开发的，并于2010年开源。

不务正业的猿·2024-03-24 13:02

Spark Q&A

A:从Spark2.1开始，你可以通过启用spark.sql.files.ignoreCorruptFiles选项来忽略损毁的文件。

耐心的农夫2020·2024-03-19 00:12

linux安装单机版spark3.5.0

一、spark介绍是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0

爱上雪茄·2024-03-17 18:57

[Django 0-1] Core.Checks 模块

Checks源码分析Django的checks模块提供了一系列的检查函数，用于检查Django项目的配置是否正确。文件结构.

sHlsy1995·2024-03-17 14:20

开源数据库 OpenGauss 的 SQL 解析源码分析

开源数据库OpenGauss的SQL解析源码分析openGauss数据库体系概述openGauss是关系型数据库，采用客户端/服务器，单进程多线程架构；支持单机和一主多备部署方式，同时支持备机可读、双机高可用等特性

openGaussMan·2024-03-17 05:39

《Docker源码分析》作者：孙宏亮

Docker源码分析（一）：Docker架构http://www.infoq.com/cn/articles/docker-source-code-analysis-part1/

易悠·2024-03-16 04:36

「连载」边缘计算（三十一）03-13：边缘部分源码（源码分析篇）

（接上篇）启动一个循环处理各种事件m.mainLoop()定义具体如下所示。KubeEdge/edge/pkg/metamanager/msg_processor.gofunc(m*metaManager)mainLoop(){gofunc(){for{ifmsg,err:=m.context.Receive(m.Name());err==nil{...m.process(msg)}else{..

十越科技·2024-03-15 18:21

Spark的数据结构——RDD

RDD的5个特征下面来说一下RDD这东西，它是ResilientDistributedDatasets的简写。咱们来看看RDD在源码的解释。Alistofpartitions:在大数据领域，大数据都是分割成若干个部分，放到多个服务器上，这样就能做到多线程的处理数据，这对处理大数据量是非常重要的。分区意味着，可以使用多个线程了处理。Afunctionforcomputingeachsplit：作用在

bluedraam_pp·2024-03-14 08:32

大数据开发（Spark面试真题-卷一）

大数据开发（Spark面试真题）1、什么是SparkStreaming？简要描述其工作原理。2、什么是Spark内存管理机制？请解释其中的主要概念，并说明其作用。

Key-Key·2024-03-13 07:58

基于HBase和Spark构建企业级数据处理平台

摘要：在中国HBase技术社区第十届Meetup杭州站上，阿里云数据库技术专家李伟为大家分享了如何基于当下流行的HBase和Spark体系构建企业级数据处理平台，并且针对于一些具体落地场景进行了介绍。

weixin_34071713·2024-03-12 22:44

深入理解nginx一致性哈希负载均衡模块[下]

上接深入理解nginx一致性哈希负载均衡模块[上]3.源码分析 nginx的一致性哈希功能是通过ngx_http_upstream_hash_module来提供的，下面来整体通过ngx_http_upstream_hash_module

码农心语·2024-03-12 19:10

lightGBM专题4:pyspark平台下lightgbm模型保存

之前的文章（pysparklightGBM1和pysparklightGBM2）介绍了pyspark下lightGBM算法的实现，本文将重点介绍下如何保存训练好的模型，直接上代码：frompyspark.sqlimportSparkSessionfrompyspark.ml.featureimportStringIndexer

I_belong_to_jesus·2024-03-12 12:30

大数据开发（Spark面试真题-卷六）

大数据开发（Spark面试真题）1、SparkHashPartitioner和RangePartitioner的实现？

Key-Key·2024-03-12 02:16

大数据开发（Hadoop面试真题-卷二）

6、Spark为什么比MapReduce更快？7、详细描述一

Key-Key·2024-03-12 02:15

Spark从入门到精通29:Spark SQL：工作原理剖析以及性能优化

SparkSQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面，例如MySQL、Oracle等，包括现在大数据领域的数据仓库，例如Hive。

勇于自信·2024-03-11 00:20

大数据开发（Hadoop面试真题-卷九）

3、Sparkmapjoin的实现原理？4、Spark的stage如何划分？在源码中是怎么判断属于ShuffleMapStage或ResultStage的？5、SparkreduceByKe

Key-Key·2024-03-09 10:06

Spark Streaming（二）：DStream数据源

1、输入DStream和Receiver输入（Receiver）DStream代表了来自数据源的输入数据流，在之前的wordcount例子中，lines就是一个输入DStream（JavaReceiverInputDStream），代表了从netcat（nc）服务接收到的数据流。除了文件数据流之外，所有的输入DStream都会绑定一个Receiver对象，该对象是一个关键的组件，用来从数据源接收数

雪飘千里·2024-03-09 01:28

DPDK源码分析之DPDK技术简介

Cache和内存技术1.Cache一致性多核处理器同时访问同一段cacheline时，会出现写回冲突的情况，操作系统解决这个问题会消耗一部分性能，DPDK采用了两个技术来解决这个问题：对于共享的数据，每个核都定义自己的备份lcore[RTE_MAX_LCORE]，这样多核处理事务时只处理自己的部分，lcore[idx]利用单网卡有着多队列的能力，当多核处理同一个网卡的数据包时，进行分队列处理，例如

lingshengxiyou·2024-03-09 00:23

Spark常见问题汇总

注意：如果Driver写好了代码，eclipse或者程序上传后，没有开始处理数据，或者快速结束任务，也没有在控制台中打印错误，那么请进入spark的web页面，查看一下你的任务，找到每个分区日志的stderr

midNightParis·2024-03-08 03:25

「连载」边缘计算（二十五）03-05：边缘部分源码（源码分析篇）

（接上篇）1）EdgehubConfig初始化具体如下所示。config.InitEdgehubConfig()config.InitEdgehubConfig()函数定义具体如下所示。KubeEdge/edge/pkg/edgehub/config/config.go//InitEdgehubConfiginitedgehubconfigfuncInitEdgehubConfig(){err:=

十越科技·2024-03-06 15:38

GO语言实战十二标准库 log

log包学习和源码分析测试代码packagemainimport("fmt""log")funcinit(){log.SetPrefix("Trace:")log.SetFlags(log.Ldate|

coder~·2024-03-05 16:10

SparkShop开源可商用，匹配小程序H5和PC端带分销功能！

SparkShop(星火商城)B2C商城是基于thinkphp6+elementui的开源免费可商用的高性能商城系统；包含小程序商城、H5商城、公众号商城、PC商城、App，支持页面diy、秒杀、优惠券

行动之上·2024-03-05 15:09

【Hadoop】在spark读取clickhouse中数据

clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties

方大刚233·2024-03-03 06:54

Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数

有时间为了解决小文件问题，我们把spark.sql.shuffle.partitions这个参数调整的很小，但是随着时间的推移，数据量越来越大，当初设置的参数就不合适了，那有没有一个可以自我伸缩的参数呢

不想起的昵称·2024-03-02 15:03

hive join中出现的数据暴增（数据重复）

我们来看一下案例：spark-sql>withtest1as>(select'10001'asuid,'xiaomi'asqid>unionall>select'10002'asuid,'huawei'asqid

不想起的昵称·2024-03-02 15:03

hive四种常见的join

1.左连接leftjoinspark-sql>withtest1as(>select1asuser_id,'xiaoming'asname>unionall>select2asuser_id,'xiaolan'asname

不想起的昵称·2024-03-02 15:33

Spark整合hive（保姆级教程）

准备工作：1、需要安装配置好hive，如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark，如果不会安装可以跳转到Spark安装与配置（单机版）3、需要安装配置好Hadoop

万家林·2024-02-29 09:47

深入理解ngx_http_proxy_connect_module模块（下）

目录5.源码分析5.1模块的初始化代码5.2请求入口点函数分析5.2.1ngx_http_proxy_connect_post_read_handler5.2.2ngx_http_proxy_connect_handler5.3

码农心语·2024-02-29 03:10

emacs 源码分析（七）

文章目录`emacs`源码分析（七）自己动手把`emacs`的`DEFUN`宏抠出来emacs源码分析（七）这DEFUN宏就像胶水一样，它把c代码和emacs-lisp代码给联系起来。

遍地是牛·2024-02-27 23:36

计算机设计大赛深度学习大数据物流平台 python

文章目录0前言1课题背景2物流大数据平台的架构与设计3智能车货匹配推荐算法的实现**1\.问题陈述****2\.算法模型**3\.模型构建总览**4司机标签体系的搭建及算法****1\.冷启动**2\.

iuerfee·2024-02-27 17:28

在 Spark 数据导入中的一些实践细节

best-practices-import-data-spark-nebula-graph本文由合合信息大数据团队柳佳浩撰写1.前言图谱业务随着时间的推移愈发的复杂化，逐渐体现出了性能上的瓶颈：单机不足以支持更大的图谱

NebulaGraph·2024-02-27 07:53

分布式scrapy_redis源码总结，及其架构

RedisSpider的调度队列实现过程及其源码》《scrapy中scrapy_redis分布式内置pipeline源码及其工作原理》《scrapy分布式调度源码及其实现过程》《scrapy分布式Spider源码分析及实现过程

Python之战·2024-02-27 05:11

Spark开发_简单DataFrame判空赋值逻辑

valtable1="实时转存数据"valtable2="历史存hdf数据"valdfin1=inputRDD(table1).asInstanceOf[org.apache.spark.sql.DataFrame

Matrix70·2024-02-26 22:06

Spark SQL编程指南

SparkSQL编程指南SparkSQL是用于结构化数据处理的一个模块。同SparkRDD不同地方在于SparkSQL的API可以给Spark计算引擎提供更多地信息，例如:数据结构、计算算子等。

<>=·2024-02-26 05:46

读TiDB源码聊设计：浅析HTAP的SQL优化器

版本日期备注1.02024.2.18文章首发本文的的源码分析全部基于TiDB6.5来做分析。1.引子如果让你做一个分布式数据库的优化器，面对以下的SQL，你会想到什么好的方法去执行他们呢？

·2024-02-24 03:52

鸿蒙源码分析（十三）

软总线模块中trans_service目录分析总结本文主要总结软总线模块下trans_service目录中个文件的作用和功能，宏观上把握trans_service在鸿蒙系统中发挥的作用。trans_service模块依赖于系统OS提供的网络socket服务，向认证模块提供认证通道管理和认证数据的收发；向业务模块提供session管理和基于session的数据收发功能，并且通过GCM模块的加密功能提

小生叫安辰·2024-02-20 22:03

xUtils源码分析 + 手写一个IOC注解框架

一、概念说说IOC，控制反转（InversionofControl）。概念的东西不做过多解释，比较典型的做法是使用了反射加注解。我们如果用过xUtils或者ButterKnife对这种形式应该不陌生，这些框架可以减少很多在开发过程当中的刻板代码的书写。而xUtils和ButterKnife的实现方式还不太一样，xUtils全面地使用了反射，而ButterKnife则主要使用了编译时注解轻量级反射。

碧云天EthanLee·2024-02-20 21:21

Spring AOP 源码分析

寻找入口Spring的AOP是通过接入BeanPostProcessor后置处理器开始的，它是SpringIOC容器经常使用到的一个特性，这个Bean后置处理器是一个监听器，可以监听容器触发的Bean声明周期事件。后置处理器向容器注册以后，容器中管理的Bean就具备了接收IOC容器事件回调的能力。1、BeanPostProcessor源码publicinterfaceBeanPostProcess

平凡的柚子·2024-02-20 21:04

Android之应用程序的安装过程源码分析

Package管理服务PackageManagerService在安装一个应用程序的过程中，会对这个应用程序的配置文件AndroidManifest.xml进行解析，以便可以获得它的安装信息。Android系统中每一个应用程序都有一个Linux用户ID，一个应用程序除了拥有一个Linux用户ID之外，还可以拥有若干个Linux用户组ID，以便可以在系统中获得更多的资源访问权限，如读取联系人信息、使

Helloooooworldddddd·2024-02-20 19:17

Camera2 createCaptureSession源码分析

当应用调用CameraManager#openCamera获取到已打开的camera设备后，会调用createCaptureSession方法来完成camerastream创建和stream的相关配置。在createCaptureSession方法中，首先将应用的surfaces信息封装成可跨binder传递的OutputConfiguration对象，然后调用createCaptureSessi

smile_sambery·2024-02-20 19:47

推荐频道

Spark大数据平台源码分析