partitions 第5页

Linux基础——磁盘管理、lvm管理

hd0#系统串口硬盘/dev/sda#系统并口硬盘/dev/cdrom/dev/sr0#系统光驱/dev/mapper/#系统当中虚拟出来的设备dfisk-l#显示系统当中真实存在的设备cat/proc/partitions

猕猴桃没有眼泪·2022-12-26 16:43

第八章 kafka专题之项目中SpringBoot整合Kafka

kafka集群进行测试（1）创建Topicbin/kafka-topics.sh--zookeeperhadoop102:2181/kafka--create--replication-factor3--partitions1

随缘清风殇·2022-12-24 17:30

java kafka 序列化_Kafka消息序列化和反序列化

序列化操作是在拦截器(Interceptor)执行之后并且在分配分区(partitions)之前执行的。

911ACE·2022-12-22 07:18

kafka producer 序列化& 反序列化 & 分区分配计算

KafkaProducer在调用send方法发送消息至broker的过程中，首先是经过拦截器Inteceptors处理，然后是经过序列化Serializer处理，之后就到了Partitions阶段，即分区分配计算阶段

weixin_30565199·2022-12-22 07:15

解决zookeeper is not a recognized option问题

/kafka-topics.sh--create--zookeeperlocalhost:2181--replication-factor1--partitions1--topichotitems后面发现用其他的命令也是报这个错

总写bug的程序员·2022-12-18 22:11

Kafka中无法创建新的topic

/kafka-topics.sh--create--zookeeper127.0.0.1:2181---partitions1--replication-factor1--topictest以后出现Exceptioninthread"main"joptsimple.UnrecognizedOptionException

m0_49195536·2022-12-18 22:54

kafka搭建报错01

搭建kafka后执行命令bin/kafka-topics.sh--create--zookeeperlocalhost:2181--replication-factor1--partitions1--opic-test

依着风睡_hcg·2022-12-18 22:49

flink消费kafka时topic partitions 和并行度间的分配源码详解

引言当我们消费kafka的一个topic时，我们知道kafkapartition是和我们设置的并行度是一一对应的；也就是说，假如我们的topic有12个分区，那我们就设置12个并行度，这样每个并行度都能接收到数据且数据均匀；那如果我们设置了15个并行度，那么就会有3个并行度是收不到数据的；这可以在webui上，点开sourceoperate查看SubTasks的BytesSent，就可以发现，有三

今天上上签·2022-12-18 16:00

Linux指令系统文件复制到U盘

1.建立U盘挂载点TOC2.查看U盘所在分区4.查看U盘类型3.挂载U盘5.复制文件6.移除U盘1.建立U盘挂载点TOC在挂载点处建立文件夹mkdir路径/文件夹2.查看U盘所在分区cat/proc/partitions4

长路可遥·2022-11-30 08:32

Hive入门基础理论

：1.2Hive和hadoop的关系2如何实现Hive功能3ApacheHive架构、组件4ApacheHive数据模型4.1DataModel4.2Databases数据库4.3Tables表4.4Partitions

火玄大数据·2022-11-26 13:38

Spark Shuffle FetchFailedException解决方案

某日遇到一个数据倾斜的SQL,首先想到的方法就是加大Partition看看数据hash之后会不会落得均匀,所以就将spark.sql.shuffle.partitions从原来的500加大到2700.结果反而失败了

南风知我意丿·2022-11-20 17:07

Spark 3.0参数详解之 spark.sql.files.maxPartitionBytes

1、对应源码位置在接口FileScan的partitions方法中org.apache.spark.sql.execution.datasources.v2.FileScan#partitions:2、

fir_dameng·2022-10-30 19:17

SpringCloud Stream 消息驱动

如常见的RabbitMQ和Kafka，由于这两个消息中间件的架构上的不同，向RabbitMQ有Exchange，Kafka有Topic，partitions分区，这些中间件的差异性给我们实际项目开发造成了一

喵先森爱吃鱼·2022-10-01 21:26

Spark算子详解

目录Spark常用算子详解1.mapPartitions2.mapPartitionsWithIndex3.getNumPartitions4.partitions5.foreachPartition6

李功林·2022-09-22 22:29

Kafka常用shell脚本命令

/bin/kafka-topics.sh--create--zookeeperlocalhost:2181--replication-factor1--partitions1--topictestTopicCreatedtopictestTopic

SimpleSimpleSimples·2022-09-12 10:39

Mysql的explain详解

expain出来的信息有12列，分别是，id，select_type，table，partitions，type，possible_keys，key，key_len，ref，rows，filtered，

月亮掉进海里了·2022-08-24 15:17

使用MySQL的Explain执行计划的方法(SQL性能调优)

目录前言1.explain的使用2.explain字段详解id列select_type列table列partitions列type列systemconsteq_refrefref_or_nullindex_mergerangeindexALLpossible_keys

·2022-08-05 11:58

Kafka架构

文章目录Kafka中的重要角色brokerzookeeper主题（Topic）producer(生产者)consumer(消费者)consumergroup(消费者组)分区(partitions)分区副本机制

大数据老人家i·2022-07-25 11:14

Apache Kafka 分区重分配的实现原理解析

目录一、前言二、工具的使用三、元数据管理及协调器3.1ZooKeeper3.2KafkaController四、分区重分配流程分析4.1kafka-reassign-partitions客户端4.2controller

·2022-07-13 09:25

数据库系统设计：分区

对大数据集或非常高吞吐量，仅复制还不够，还需将数据拆分成为分区（partitions），也称分片（sharding）[^i]。[^i]:分区是一

华为云开发者联盟·2022-07-12 17:00

MySQL 高级篇 -- EXPLAIN 分析

文章目录一、简介1.1语法形式1.2案例准备二、各列详解2.1table2.2id2.3select_type2.4partitions(了解)2.5type*2.6possible_keys、key2.7key_len

L小Ray想有腮·2022-07-06 12:16

sql是否走索引

table:输出结果集的表partitions:匹配的分区type:表示表的连接类型：ALL、index、range、ref、eq_ref、

响呼雷·2022-06-27 17:03

连接kafka报错:1 partitions have leader brokers without a matching listener

服务输出部分错误日志截图2020/12/25下午2:32:442020-12-2514:32:44.320WARN[tag-service,,,]1---[ntainer#4-0-C-1]org.apache.kafka.clients.NetworkClient:[ConsumerclientId=consumer-5,groupId=statistic-processor]1partition

荒-于嬉·2022-06-15 12:20

spark案例-词频统计：存储数据库

sparkSessionvalspark:SparkSession=SparkSession.builder().master("local").appName("getData").config("spark.sql.shuffle.partitions

玄月无疆·2022-06-14 22:16

MySQL性能分析工具——如何快速定位SQL执行慢的原因？

2.3.慢查询日志介绍模拟慢查询慢查询日志2.4.日志分析工具mysqldumpslow三、查询优化神器EXPLAIN命令3.1.id字段3.2.select_type字段3.3.table字段3.4.partitions

warybee·2022-06-01 22:15

spark 2.3 alter table partition 造成分区create_time丢失

ALTERTABLEPARTITIONspark.sql("""ALTERTABLEtest.testPARTITION(sdate='2021-12-24')RENAMETOPARTITION(sdate='2021-12-25')""")执行后，partitions

MasonMa.sy·2022-04-24 15:10

Kafka基本操作、整合代码自定义分区器、提高吞吐量

bootstrap-server192.168.6.101:9092--list#创建名为test的主题bin/kafka-topics.sh--bootstrap-server192.168.6.101:9092--create--partitions1

远走与梦游·2022-04-23 01:59

一文带你看懂MySQL执行计划

目录前言explain/desc用法explain/desc输出详解一、id，select查询序列号二、select_type，查询语句类型三、table，查询涉及的表或衍生表四、partitions查询涉及到的分区五

·2022-04-13 17:10

sql优化神器 explain

原力与你同在·2022-03-31 12:01

你真的会用Mysql的explain吗

目录引言explain基础1、id2、select_type3、table4、partitions5、typeexplain分析实战总结引言数据库性能优化是每个后端程序猿必备的基础技能之一，而Mysql

·2022-03-30 13:56

【Kafka｜常用CLI】Topic管理

本文介绍常用的topic管理命令，主要涉及kafka-topics脚本,kafka-reassign-partitions和kafka-config脚本，前者是专门的topic相关的脚本，中间的是分区重分配相关的脚本

只要你一直跑·2022-03-26 11:02

Hive介绍、架构、实践以及调优

、Hive连接方式交互模式命令行模式Hive启动脚本五、Hive库(Database)常用命令六、Hive表(Table)6.1内部表（管理表）6.2外部表（ExternalTables）6.3分区（Partitions

菜鸟也学大数据·2022-02-23 12:30

ZooKeeper应用：kafka

可以在不需要下线的情况下进行扩容这里只是简单说明，暂时没能力深入简单配置下载，hosts等略server.properties的配置broker.id=1（对应的id）log.dirs=日志路径num.partitions

dodo_lihao·2022-02-21 19:04

每日复习

回顾：lsb_release查看当前lsb的发行版cat/etc/issue查看当前系统的发行版本uname-r查看内核的版本cat/proc/partitions查看内核是否已经识别新的分区重读分区表

华炼·2022-02-16 07:55

kylin-stream source

概述在kylin中，一个cube对应的datasource中的topic会按照partitions进行划分。

qingshuiting·2022-02-13 09:20

kafka集群维护

/kafka-topics.sh--create--zookeeper192.168.1.224:2181--replication-factor1--partitions1--topictest创建一个主题

先生_吕·2022-02-05 09:56

SQL优化老出错,那是你没弄明白MySQL解释计划用法

目录1、准备工作2、初识解释计划3、字段详解4、partitions查询涉及到的分区5、type查询的类型6、possible_keys：预计可能使用的索引7、key：实际查询的过程中使用的索引8、key_len9

·2021-11-25 18:47

explain查看和分析执行计划

能看到什么表的读取顺序哪些数据索引可以使用数据读取操作的操作类型表之间的引用每张表有多少行被物理查询explain怎么玩explain+sql语句执行计划包含的信息id,select_type,table,partitions

昙花逐月·2021-10-01 21:57

C++实现LeetCode(769.可排序的最大块数)

可排序的最大块数Givenanarrayarrthatisapermutationof[0,1,...,arr.length-1],wesplitthearrayintosomenumberof"chunks"(partitions

·2021-09-12 16:40

【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议收藏!!!)

TopicCommand1.1.Topic创建bin/kafka-topics.sh--create--bootstrap-serverlocalhost:9092--replication-factor3--partitions

·2021-07-27 19:22

如何确定Kafka集群适当的topics/partitions数量

在一个Kafka集群中如何选择topics/partitions的数量翻译自Howtochoosethenumberoftopics/partitionsinaKafkacluster?

扫帚的影子·2021-06-26 15:55

kafka常用命令

/bin/kafka-topics.sh--list--zookeeperlocalhost:21811.2创建名称为topic_test的topic，partitions为1个，副本为1个.

freelamb·2021-06-25 17:26

KAFKA 常用命令解析

创建kafkatopicbin/kafka-topics.sh--zookeeperlocalhost:2181--create--topictopicname--partitions12--replication-factor2

生活的探路者·2021-06-25 17:15

Shell 操作 kafka command

/kafka-topics.sh--zookeeperlocalhost:2181--create--topictest--replication-factor1--partitions3说明：创建一个有

当当一丢丢·2021-06-22 05:12

使用Coalesce和Repartition管理Spark分区

来说明数据是如何分区的valx=(1to10).toListvalnumbersDf=x.toDF(“number”)实验机器上，这个numbersDf被分为2个分区scala>numbersDf.rdd.partitions.si

熊_看不见·2021-06-21 08:15

mysql-执行计划

1190000008131735image.png各列的含义如下:id:SELECT查询的标识符.每个SELECT都会自动分配一个唯一的标识符.select_type:SELECT查询的类型.table:查询的是哪个表partitions

飞翔的鲲·2021-06-15 01:03

kafka跟storm收集日志解决方案

/catshen/zsWing增加两个topicbin/kafka-topics.sh--create--zookeeper10.2.10.61:2181--replication-factor1--partitions1

zscat·2021-06-14 12:41

MySql优化

插入数据时减少索引变动，不会页分裂，性能更好1.不涉及到摞动其他记录，也不会触发叶子节点分裂2.如果用整形做主键，则只要4个字节，如果是长整形，则是8个字节主键越小，叶子节点越少全表扫描：对主键索引的全扫描partitions

huxiaofeng·2021-06-10 19:41

linux如何查看kafka消息队列,查看kafka消息队列的积压状况

建立topicnodekafka-topics--create--zookeepermaster:2181/kafka2--replication-factor2--partitions3--topicmydemo5

风口上的诸侯·2021-05-17 16:00

Working with Apache Spark-Or, How I Learned to Stop Worrying and Love the Shuffle

Partitions-区块Spark的基本抽象元素是RDD-弹性分

匿称也不行·2021-05-14 14:17

推荐频道

partitions