partition

分布式事务-CAP定理与BASE理论

CAP定理Consistency数据一致性，分布式系统中各个服务节点的数据要一致，访问不同节点获取的数据要一致Availability可用性，分布式系统中每个服务都要保证可用Partitiontolerance
clear?color·2024-01-09 11:27

SQL常见函数以及使用

窗口函数：over()selectrank()over(partitionbyborderbya)–排序按照1134#需要先partition再order逻辑是先groupby再提取select所以要注意后面是否有
Chloris_·2024-01-09 09:39

[算法学习] 排序算法(二)——快速排序与优化

这里继续整理常见的排序算法.本文介绍快速排序以及对快速排序的优化typerightbyThomasAlan光风霁月023.XDU1.常规//1.对arr[l...r]部分进行partition操作//rtnp
光风霁月023·2024-01-09 09:44

flink1.17—关于TopN的测试

docs/dev/table/sql/queries/topn/TopN语法：SELECT[column_list]FROM(SELECT[column_list],ROW_NUMBER()OVER([PARTITIONBY
王糍粑的小夕·2024-01-09 07:10

pyspark mysql rdd_PySpark之RDD操作

一、什么是RDDAResilientDistributedDataset(RDD),thebasicabstractioninSpark.Representsanimmutable,partitionedcollectionofelementsthatcanbeoperatedoninparallel
辉月有话说·2024-01-09 07:40

reiserfs文件系统的磁盘布局

reiserfs文件系统分区的前64KB总是为分区标签（partitionlabels）或启动引导（bootloaders）而保留，接着是超级块（Superblock），同其他所有文件系统一样，需要超级块来保存分区相关重要信息
lenky0401·2024-01-08 14:44

mysql分区表详解_详解MySQL分区表

1.分区的目的及分区类型MySQL在创建表的时候可以通过使用PARTITIONBY子句定义
岳国强·2024-01-08 13:19

Topic和Partition

作用主题作为消息的一级分类,分区是对二级分类。分区是Kafka可伸缩性和水平扩展的关键,也是多副本机制保证可用性的基础。分区可以有一到多个副本,每个副本对应1个日志文件,每个日志文件对应1到多个日志分段。每个日志分段又可以细分为日志文件,索引文件和快照文件。创建主题参数有主题名称,分区数量,分区副本因子。显然主题名称是必须指定的,分区数量和副本因子如不指定,默认值都是1(测试玩玩可以,生产别这么敷
FA-117·2024-01-08 11:45

Maximize the Number of Partitions After Operations

Leetcode3003.MaximizetheNumberofPartitionsAfterOperations1.解题思路2.代码实现题目链接：10038.MaximizetheNumberofPartitionsAfterOperations1
Espresso Macchiato·2024-01-08 06:46

MYSQL--表分区、查看分区(转)

MYSQL的分区主要有两种形式：水平分区和垂直分区水平分区（HorizontalPartitioning）这种形式的分区是对根据表的行进行分区，通过这
只因妮泰妹·2024-01-08 06:58

Hive函数全解——思维导图 + 七种函数类型

思维导图：Hive函数全解1.窗口函数作用：扩展列，而行不会变少语法总览：func(F|func|expr)over([partitionbyF1[,F2,...]确定分区的边界(范围)[orderbyFa
Byyyi耀·2024-01-08 06:04

Spark_算子调优

算子调优一：mapPartitions普通的map算子对RDD中的每一个元素进行操作，而mapPartitions算子对RDD中每一个分区进行操作。
bigdata张凯翔·2024-01-08 02:23

DDIA 第六章：分区

对于非常大的数据集，或非常高的吞吐量，仅仅进行复制是不够的：我们需要将数据进行分区（partitions），也称为分片（sharding）。通常情况下，每条
负雪明烛·2024-01-07 22:32

Presto 之Hash Join的Partition

一.前言在Presto中，当两表Join为HashJoin并且join_distribution_type为PARTITIONED的时候，Presto会将Build表分区（Partition）后再进行Join
王飞活·2024-01-07 21:45

【mysql 窗口函数row_number】

使用方法：row_number()over(partitionby列名1orderby列名2desc)的使用表示根据列名1分组，然后在分组内部根据列名2排序，而此函数计算的值就表示每组内部排序后的顺序编号
doka+·2024-01-07 17:51

Kafka（六）消费者

bootstrap.serversgroup.idkey.deserializervalue.deserializergroup.instance.idfetch.min.bytes=1fetch.max.wait.msfetch.max.bytes=57671680(55mebibytes)max.poll.record=500max.partition.fetc
yunyun1886358·2024-01-07 16:55

大数据学习(31)-Spark非常用及重要特性

动态分区裁剪（DynamicPartitionPruning）：在查询过程中，Spark可以根据已经读取的数据动态地裁剪不需要的分区，从而减少数据的扫描量，提高查询效率。
viperrrrrrr·2024-01-07 07:44

分布式一致性理论和Nacos应用

分布式一致性理论1.CAP理论Cconsistency一致性分布式系统各节点数据强一致性Aavailability可用性对外保持可用不管数据是否一致Ppartitiontolerance分区容错性（节点网络分区
独木舟不过江·2024-01-07 06:24

Windows 10 uefi引导模式 GPT+UEFI Ghost系统备份还原步骤

备份还原软件还是使用Ghost，整个过程分为以下4个步骤：第1步：对母盘使用ghost备份（（Disk->Partition-Toimage；容易记忆的操作顺序流程：122），注意备份的时候同时备份esp
TREEGLORY·2024-01-07 00:15

PostgreSQL ERROR: no partition for partitioning key

问题：Errorupdatingdatabase.Cause:org.postgresql.util.PSQLException:ERROR:nopartitionforpartitioningkey(
lemon_linaa·2024-01-06 21:25

数据挖掘聚类算法--划分(partitioning)

数据挖掘--聚类算法简介聚类是对物理的或者抽象的对象集合分组的过程，聚类生成的组称为簇，而簇是数据对象的集合。所划分的簇有两个特征：(1)簇内部的任意两个对象之间具有较高的相似度（2）属于不同的簇的两个对象间具有较高的相异度。聚类算法--特征处理不同类型属性的能力；对大型数据集的可扩展性；处理高维数据的能力；发现任意形状簇的能力；处理孤立点或“噪声”数据的能力；对“噪声”数据具有较低的敏感性；合理
Mr_Peter_Hu·2024-01-06 21:55

H.266/VVC帧间预测技术学习:几何划分模式(Geometric partitioning mode, GPM)

几何划分模式(Geometricpartitioningmode,GPM)原理针对图像中运动物体的边界部分，VVC采用了几何划分模式进行帧间预测。
涵小呆·2024-01-06 21:24

如何实现：潜在空间划分（Partitioning the Latent Space）+ 将新数据表示放置在独立区域的潜在空间

wealignthenewlytrainedbandwithalreadyencodedknowledge.ThesimplestmethodtocircumventinterferencebetweenbandsistopartitionthelatentspaceofVAEandplacenewdatarepresenta
马鹏森·2024-01-06 21:53

数据结构和算法-交换排序中的快速排序（演示过程 算法实现 算法效率 稳定性）

quicksort的第一个quicksort到第二次quicksort的第二个quicksort到第一次quicksort的第二个quicksort到第一次quicksort的第二个quicksort的partition
Full Stack-LLK·2024-01-06 18:19

86. 分隔链表

示例:输入:head=1->4->3->2->5->2,x=3输出:1->2->2->4->3->5代码classSolution{public:ListNode*partition(ListNode*
vbuer·2024-01-06 15:32

使用 CompletableFuture 分批处理任务

一、无返回值任务函数//数据分批List>batches=Lists.partition(statisticsList,BATCH_SIZE);List>futures=newArrayListbatchData
呦，又写BUG呢·2024-01-06 13:32

排序算法——关于快速排序的详解

目录1.基本思想2.基本原理2.1划分思想2.2排序过程（1）选择基准值（2）分割过程（Partition）（3）递归排序（4）合并过程2.3具体实例2.4实现代码2.5关键要点3.性能分析3.1空间效率
Jc.MJ·2024-01-06 10:16

一篇文章认识微服务中Eureka的原理和服务注册与发现

CAP原则又称CAP定理，指的是在一个分布式系统中一致性（Consistency）可用性（Availability）分区容错性（Partitiont
cxzm_1024·2024-01-06 06:05

【力扣100】131.分割回文字符串

添加链接描述classSolution:defpartition(self,s:str)->List[List[str]]:#思路是回溯n=len(s)res=[]path=[]defbacktrack
红水母·2024-01-05 21:39

聚类分析-K-means、层次聚类、DBSCAN、簇评估

聚类类型划分聚类（PartitionalClustering）层次聚类（HierarchicalCl
norah2·2024-01-05 18:06

kafka消息队列安装以及整合springboot使用

**六、Kafka生产者自定义partition分区规则七、面试7.1【面
一路向北⁢·2024-01-05 17:24

RocksDB系列十四:Partitioned Index Filters

  随着DB/mem使用越来越多，filter/indexblock的内存空间变得不可忽视。虽然cache_index_and_filter_blocks配置只允许filter/indexblock数据的一部分cache在blockcache中，但是还是会因为数据量的庞大影响RocksDB的性能。占据了过多的blockcache空间，这些空间本来可以用于缓存data当访问cachemiss时需要l
薛少佳·2024-01-05 17:48

sql面试题 连续签到领金币（连续登录问题）

牛客面试题问题：计算每个用户2021年7月以来每月获得的金币数问题一：连续登录问题selectuid,date(in_time)asdt,row_number()over(partitionbyuidorderbydate
麻辣清汤·2024-01-05 17:09

统计sql中连续出现的次数

)的次数SQL语句selecta.uid,a.success,count(uid)astimesfrom(selectrecord_time,uid,success,row_number()over(partitionbyuid
与光同尘~追光者·2024-01-05 17:08

Kafka高级应用：如何配置处理MQ百万级消息队列？

本文，已收录于，我的技术网站ddkk.com，有大厂完整面经，工作技术，架构师成长之路，等经验分享1、合理配置分区//自定义分区策略publicclassCustomPartitionerimplementsPartitioner
架构师专栏·2024-01-05 13:59

Spark调优解析-spark数据倾斜优化2（七）

数据倾斜指的是，并行处理的数据集中，某一部分（如Spark或Kafka的一个Partition）的数据显著多于其它部分，从而使得该部分的处理速度成为整个数据集处理的瓶颈。
有语忆语·2024-01-05 12:53

分布式图文详解！

CAP原则又称CAP定理，指的是在一个分布式系统中，Consistency（一致性）、Availability（可用性）、Partitiontolerance（分区容错性）这3个基本需求，最多只能同时满足其中的
1b（￣▽￣）d　·2024-01-05 12:42

SparkCore基础解析（二）

1.2RDD的属性1)一组分区（Partition），即数据集的基本组成单位;2)一个计算每个分区的函数;3)RDD之间的依赖关系;4)一个Partitioner，即RDD的分片函
有语忆语·2024-01-05 10:58

分布式系统之CAP理论之详解

原本是一个猜想，2000年PODC大会的时候大牛Brewer提出的，他认为在设计一个大规模可扩放的网络服务时候会遇到三个特性：一致性（consistency）、可用性（Availability）、分区容错（partition-tolerance
weixin_33724659·2024-01-05 09:01

大数据开发者应该知道的分布式系统 CAP 理论

CAP理论概述CAP理论：一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partitiontolerance）这三项中的两项。
Hadoop技术博文·2024-01-05 09:51

分布式系统的CAP理论详解

介绍CP系统是指在CAP理论中偏向于一致性（Consistency）和分区容错性（Partitiontolerance），牺牲了可用性（Availability）。
Memory_2020·2024-01-05 08:18

【Spark精讲】性能优化：并行度

Reduce端并行度RDD：参数：spark.default.parallelism手动：groupByKey(10)，10即为并行度SparkSQL：参数：spark.sql.shuffle.partitionsHiveonSpark
话数Science·2024-01-05 07:58

[算法笔记]NPC问题证明sample

前言一些概念一些例子Reductionto3-ColoringNPBasicsreducevertexcovertodominatingset另一个解法：reducesetcovertodominatingsetpartition
Cplus_ruler·2024-01-05 03:18

Leetcode|中等|区间贪心|763. 划分字母区间（双指针+哈希表助力合并重叠区间）

大方向双指针思路是对的，不过没有优化，所以复杂度较高，但能ACclassSolution{public:vectorpartitionLabels(stringS){if(S.empty())r
SL_World·2024-01-05 00:06

Hive基本使用（2）

hiveDML数据操作一、数据导入1.向表中装载数据（Load）语法：hive>loaddata[local]inpath‘数据的path’[overwrite]intotablestudent[partition
DIY……·2024-01-04 22:42

CentOS7部署Kafka

、代码集成pom.xmlapplication.propertiesKafkaConfiguration.javaKafkaConsumer.javaKafkaProducer.javaVehiclePartitioner
技术宅老谢·2024-01-04 18:14

（十一）数据分片(Sharding)和数据分区(PARTITIONing)简述

即便是MariaDB，也有一个想要处理大数据的心。虽然可能跟其它的例如HBase、Hive之类的比有些差异和不足，但并不影响壮志。简单列举两个要处理大量数据的例子：1、IoTSensorNetworks存取特性:很少大量写入，但多大量读取事务需求:少资料量:累积数量庞大2、AIMachineLearning领域搜集大量数据进行分析使用MariaDB处理大量数据，先来了解一下这两点。DATAShar
紫狐挽诗·2024-01-04 14:36

Spark---RDD算子(单值类型Value)

文章目录1.RDD算子介绍2.转换算子2.1Value类型2.1.1map2.1.2mapPartitions2.1.3mapPartitionsWithIndex2.1.4flatMap2.1.5glom2.1.6groupBy2.1.7filter2.1.8sample2.1.9distinct2.1.10coalesce2.1.11repartition2.1.12sortBy1
肥大毛·2024-01-04 11:16

oracle 子查询和窗口函数

selectid,name,subject,gradefrom(selectid,name,subject,grade,row_number()over(partitionbyid,nameor
赵 XiaoQin·2024-01-04 08:12

【hive】报错累积

6.1创建新表错误1：FAILED:SemanticException[Error10006]:Line1:63Partitionnotfound'"20210919"'场景：在创建例行表时，报错。
零壹贰伍·2024-01-04 08:59
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他