Partition

Presto(Trino)分布式(物理)执行计划的生成和调度

文章目录1.前言2.物理执行生成(Stage)的生成2.1不同的调度分区策略2.1.1Connector自己提供的分区策略2.1.2Presto提供的Partition策略(SystemPartitioningHandle
小昌昌的博客·2023-12-28 13:37

Kafka

broker：Kafka服务器，负责消息存储和转发topic：消息类别，Kafka按照topic来分类消息partition：topic的分区，一个topic可以包含多个partition，topic消息保存在各个
武昌库里写JAVA·2023-12-28 11:29

分布式事务详解【分布式事务的几种解决方案】彻底搞懂分布式事务

文章目录一、基本概念什么是事务本地事务分布式事务分布式事务产生的场景二、分布式事务基础理论CAP理论CP-Consistency/PartitionToleranceAP-Availability/PartitionToleranceBASE
秃了也弱了。·2023-12-28 06:05

提升数据库性能的关键所在！Mysql执行计划解析

目录编辑简介使用执行计划信息idselect_typetablepartitionstypepossible_keyskeykey_lenrefrowsfilteredExtra简介在MySQL中，执行计划是指数据库系统根据查询语句和相关数据表的统计信息
瑶山·2023-12-28 06:59

Hive 在工作中的调优总结

总结了一下在以往工作中，对于HiveSQL调优的一些实际应用，是日常积累的一些优化技巧，如有出入，欢迎在评论区留言探讨~一、EXPLAIN查看执行计划二、建表优化2.1分区分区表基本操作，partitioned
fx67ll·2023-12-27 18:50

Oracle 中ROW_NUMBER() OVER()函数用法详解

select*from(selectt.datamaxdata,datatime,s.xlmc,ROW_NUMBER()OVER(PARTITIONBYs.xlmcORDERBYdatatime)ASrnfromHISTORY_FH_ONEDAYt
明天会更好fjy·2023-12-27 15:54

hive复合数据类型array

createtabletemp.array_test(namestring,active_datestring,active_numarray)partitionedby(dtstring)storedasorc
解脱了·2023-12-27 12:00

kafka推送消息失败的问题

项目用的kafka集群由3台机器ABC组成生产者使用的是kafka-client:1.0.0topic没有事先创建，直接使用生产者推送生成，默认创建的topic是1个replication和3个partition
weixin_39694116·2023-12-27 07:00

深入理解Kafka的原理

分区（Partition）：主题可以被划分为多个分区，每个分区在物理上对应一个日志文件。生产者（Producer）：负责将消息发布到
WdzDevops·2023-12-27 07:53

[spark] 存储到hdfs时指定分区

hive分区存储文章目录代码示例代码importorg.apache.spark.sql.SparkSessionvalspark=SparkSession.builder().appName("MultiPartitionedWriteExample
言之。·2023-12-27 06:33

Jtti：在Linux下怎么自动创建分区格式化且挂载硬盘的脚本

/bin/bash#要操作的磁盘设备DISK="/dev/sdb"#要创建的分区数量PARTITION_COUNT=2#分区大小百分比PARTITION1_SIZE_PERCENT=50PARTITION2
Jtti·2023-12-27 05:14

Kafka日志

首先消费者消费时会指定Topic和Partition，每个Partition对应物理上的Log文件夹，为了防止Log过大而带来的清理、删除困难，因此Partition分成多个LogSegment，每个LogSegment
HannahLi_9f1c·2023-12-27 05:45

Partition Equal Subset Sum(week9)

题目描述Givenanon-emptyarraycontainingonlypositiveintegers,findifthearraycanbepartitionedintotwosubsetssuchthatthesumofelementsinbothsubsetsisequal.Note
piubiupiu·2023-12-26 15:19

分布式系统CAP理论基础

它包含三个特性：1.一致性（Consistency）：数据一致性2.可用性（Availability）：服务可用性3.分区容错性（Partitiontolerance）：服务对网络分区故障的容错性也就是上图所示
金麟十三少·2023-12-26 15:28

分布式系统下的CAP理论

二、性质2.1Consistency（数据一致性）2.2Availability（可用性）2.3Partitiontolerance（分区容忍性）三、CAP如何选择四、CAP常见的误解五、CAP的不足一
HAOMINGS·2023-12-26 15:23

V、 Hive-DML

1、load数据LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2
一种依耐丶从未离开·2023-12-26 13:57

42代码随想录训练营day42|动态规划part04

背包问题——二维数组背包问题——一维数组1、分割等和子集分割等和子集classSolution{public:boolcanPartition(vector&nums){vectordp(10001,0
花的草·2023-12-26 09:04

Hive05_DML 操作

1DML数据操作1.1数据导入1.1.1向表中装载数据（Load）1）语法hive>loaddata[local]inpath'数据的path'[overwrite]intotablestudent[partition
程序喵猴·2023-12-26 08:02

Java guava partition方法拆分集合&自定义集合拆分方法

1.使用Guava包提供的集合操作工具栏Lists.partition()方法拆分首先，引入maven依赖com.google.guavaguava21.0部分源码publicstaticList>partition
zuihongyan518·2023-12-26 07:35

Leetcode—86.分隔链表【中等】

*structListNode{*intval;*structListNode*next;*};*/structListNode*partition(structListNode*head,intx){
源代码•宸·2023-12-26 06:39

map()、mapPartitions()和mapPartitionsWithIndex(func)的区别

map：强调每一个元素，所以传给算子的参数就是每一个数据mapPartitions()：强调的是每一个分区，所以传给算子的参数是分区类数据集mapPartitionsWithIndex()：强调的是每一个分区号
比格肖·2023-12-26 03:50

go语言检查磁盘分区使用情况

go语言检查磁盘分区使用情况利用系统调用syscall.Statfs获取磁盘分区使用情况packagemainimport("fmt""math""errors""syscall")funcPartitionUsage
CodingCode·2023-12-25 21:10

如何给开源项目发起提案

背景前段时间在使用Pulsar的adminAPI时，发现其中的一个接口响应非常慢：admin.topics().getPartitionedStats(topic);使用curl拿到的响应结果非常大，同时也非常耗时
crossoverJie·2023-12-25 19:15

学习笔记Hadoop（十四）—— MapReduce开发入门（2）—— MapReduce API介绍、MapReduce实例

Mapper程序一般完成键值对映射操作;Reducer程序一般完成键值对聚合操作;Main函数则负责组装Mapper，Reducer及必要的配置;高阶编程还涉及到设置输入输出文件格式、设置Combiner、Partitioner
别呀·2023-12-25 19:09

[HADOOP]数据倾斜的避免和处理

使用合适的Partitioner：自定义Partitioner，替换Hadoop默认的hash-basedpartitioner，来更均匀地分配数据。
wātɔ:h·2023-12-25 12:02

了解spark计算模型

Spark提供了“partitionBy”运算符，能够通过集群中多台机器之间对原始RDD进行数据再分配来创建一个
necessary653·2023-12-25 06:59

第14章 数据分区规则

all分区使用整型：按照整型的字符形式使用日期：toYYYYMMDDhhmmss其它类型：通过128位的hash算法作为分区的ID二、示例类型样例数据分区表达式分区ID无分区键无all整型18,19,20PARTITIONBYAge
边走边忘·2023-12-25 04:45

leetcode 131. 分割回文串

=“aab”输出：[[“a”,“a”,“b”],[“aa”,“b”]]示例2：输入：s=“a”输出：[[“a”]]提示：1>list=newArrayListsubList=newArrayList>partition
結城·2023-12-25 00:31

2020年第37周：postgresql 获取分组第一条数据 窗口函数

一、使用步骤第一步：给数据分组并排名使用row_number()over(partitionby分组的字段名orderby排序规则)as排名第二步：从上述第一步中取出，排名为第一的数据，即为第一条数据select
习惯研究所所长·2023-12-24 17:42

关于SQL去重的几种方法

1.distinctselectdistinct列名from表名2.row_numberselect*,row_number()over(partitionby想去重的列名orderby列名)asrow_numfrom
认真学习的兔子·2023-12-24 15:41

Hive分区表简介

1.静态分区:可以根据PARTITIONEDBY创建分区表，一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。
K_un·2023-12-24 12:39

kubernetes集群 应用实践 kafka部署

kubernetes集群应用实践kafka部署零.1、环境说明零.2、kafka架构说明zookeeper在kafka集群中的作用一、Broker注册二、Topic注册三、TopicPartition选主四
师范大学通信大怨总·2023-12-24 11:58

mysql(29) : mybatis分区管理(按天分区)

无分区初始化分区及创建明日分区,定时删除旧分区注意:分区字段必须为主键字段,联合主键,字段类型为datetimejobimportcom.alibaba.bkbox.pull.image.repository.mapper.PartitionManagerMapper
Lxinccode·2023-12-24 10:35

mysql(41) : 自动分区

创建分区初始化分区(时间字段需要设置为主键)altertabletest1partitionbyrange(TO_DAYS(create_time))(partitionp20210420valueslessthan
Lxinccode·2023-12-24 10:04

链表-oj题

show.valpublicintkthToLast(ListNodehead,intk){if(k=x2.定义bs、be记录=x，且bs和as永远都是两部分的头、3.处理一些特殊情况publicListNodepartition
m0__0·2023-12-24 08:52

Kafka日志

位置server.properties配置文件中通过log.dir指定日志存储目录log.dir/{topic}-{partition}核心文件.log存储消息的日志文件，固定大小为1G，写满后会新增一个文件
小淘淘喵的主人·2023-12-24 06:46

【kafka】在linux中安装并简单部署使用

文章目录简介优势消息模型JMS规范AMQP模型基本概念Topic主题Partition分区偏移量Record消息记录副本Broker消息代理下载本地伪分布式安装配置启动伪分布式集群创建主题消费者生产者简介分布式流处理平台
古枫桐·2023-12-24 05:35

【Kafka架构及应用】

Partition：每个主题可以被分成多个分区，分区是消息的物理顺序。每个分区在多个Broker之间进行复制，以实现数据冗余和高可用性。Producer：
Oo_Amy_oO·2023-12-24 00:25

HIVE 建表 插入数据 文件格式与压缩格式算法比较

shuffle端的–partition（分区）–sort（排序）–combine(合并)–compress(压缩)–group（分组）在mapreduce优化shuffle从本质上是解决磁盘的IO与网络
皮卡帅·2023-12-23 22:27

解决重装系统出现“无法安装到这个磁盘”

Dsikaprt程序）2.listdisk(查看电脑中有哪些硬盘)3.selectdisk0（选中编号为0的硬盘）4.clean(清除磁盘所有分区)5.covertgpt(将磁盘转换成GPT格式)6.listpartition
Softnothings·2023-12-23 22:05

ubuntu16.04 server安装

https://www.jianshu.com/p/febb39acabd21）【卸载vg】当发现有磁盘partition被占用且无法delete时，可通过U盘启动下的修复模式进行sudovgdisplaysudovgremove2
emergency_rose·2023-12-23 20:39

图数据库NebulaGraph学习

1.图空间(Space)操作1.1创建图空间，指定vid_type为整形CREATESPACEplay_space(partition_num=10,replica_factor=1,vid_type=
SimpleSimpleSimples·2023-12-23 16:49

FF-A架构精讲-目录

Introduction第三章Softwarearchitecture第四章Concepts第五章Setup第六章IdentificationandDiscovery第七章Messagepassin第八章Partitionruntimemodels
代码改变世界ctw·2023-12-23 09:10

hadoop(十二)——自定义分区Partitioner

我们学习Partitioner不用举那么复杂的例子，就举一个简单的例子就好了，在第十二节课学习了一个DataCount的小例子，地址：http://blog.csdn.net/u012453843/article
文子轩·2023-12-23 08:05

java访问分区表,google-bigquery – 如何在Java中创建分区的BigQuery表

https://cloud.google.com/bigquery/docs/creating-partitioned-tables显示了如何在Python中创建分区表.我去过那里,我做到了.现在的问题是
序雨·2023-12-23 07:23

Google Big Query 分区表去重问题与解决方法

在GoogleBigquery中，有一类表被称为分区表(PartitionedTable)。
loveapricot1314·2023-12-23 07:22

ORA-01502: index ‘xxx‘ or partition of such index is in unusable state

orclfile=/home/dmp/xxxxx.dmpfull=yignore=yIMP-00058:ORACLEerror1502encounteredORA-01502:index'XXXXXX'orpartitionofsuchindexisinunusablestateImportterminatedsuccessfullywithw
深藏bIue·2023-12-23 06:49

分布式数据库的CPA

来源于尚硅谷谷周阳C：Consistency（强一致性）P：Partitiontolerance（分区容忍性）A：Availability（可用性）ConsistencyAvailabilityPartitiontoleranceEveryreadreceivesthemostrecentwriteoranerror
水岸齐天·2023-12-23 03:27

CPA理论与Base理论

P:Partitiontolerance,分区容忍性。尽管网络上有部分消息丢失，但系统仍然可继续工作。A:Availability,可
dianbiao3588·2023-12-23 03:26

分布式系统的CAP原理

分布式系统的CAP原理CAP原理的定义CAP原理的定义分布式系统无法同时确保一致性（Consistency）、可用性（Availability）和分区容忍性（PartitionTolerance）。
William__J·2023-12-23 03:26
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他