partitions 第16页

Kafka - Rebalance过程

coordinator（0.10特有的）条件4：topic的partition新加条件5：consumer调用unsubscrible()，取消topic的订阅当一个group中,有consumer加入或者离开时,会触发partitions

空谷微澜·2019-07-04 16:15

Linux 中挂载U盘

1、插入U盘之前，应先用fdisk–l或more/proc/partitions查看系统的硬盘和硬盘分区情况。

Allen101zhang·2019-07-03 17:33

Kafka学习笔记之Kafka日志删出策略

0x00概述kafka将topic分成不同的partitions，每个partition的日志分成不同的segments，最后以segment为单位将陈旧的日志从文件系统删除。

时光飞逝，逝者如斯·2019-07-01 13:00

好程序员大数据教程分享TextFile分区问题

valrdd1=sc.parallelize(List(2,3,4,1,7,5,6,9,8))获取分区的个数:rdd1.partitions.length,在spark-shell中没有指定分区的个数获取的是默认分区数

好程序员IT·2019-06-27 16:26

spark.sql.shuffle.partitions 和 spark.default.parallelism 区别

参数默认值说明spark.sql.shuffle.partitions200Configuresthenumberofpartitionstousewhenshufflingdataforjoinsoraggregations.spark.default.parallelismFordistributedshuffleoperationslikereduceByKeyandjoin

pcqlegend·2019-06-24 20:52

Kafka分区分配策略(Partition Assignment Strategy)

用过Kafka的同学应该都知道，每个Topic一般会有很多个partitions。

Alwaysdazz·2019-06-23 13:55

生产SparkStreaming数据零丢失最佳实践(含代码)

topicvarchar(32),groupidvarchar(50),partitionsint,fromoffsetbigint,untiloffsetbigint,primarykey(topic,groupid,partitions

Stitch_x·2019-06-22 09:33

Springcloud Stream详解与kafka整合实例

比方说我们用到了RabbitMQ和Kafka，由于这两个消息中间件的架构上的不同，像RabbitMQ有exchange，kafka有Topic，partitions分区，这些中间件的差异性导致我们实际项目开发给我们造成了一定的困扰

安小岩说他很忙·2019-06-04 22:30

SQL语句里会导致性能问题的3个场景

nineteens·2019-06-04 14:19

spark

怎么去配置Spark任务的executors，cores，memory，有如下几个因素需要考虑：数据量任务完成时间点静态或者动态的资源分配上下游应用Spark应用当中术语的基本定义：Partitions

xbyang18·2019-05-22 12:41

Kafka 分区分配计算(分区器 Partitions )

KafkaProducer在调用send方法发送消息至broker的过程中，首先是经过拦截器Inteceptors处理，然后是经过序列化Serializer处理，之后就到了Partitions阶段，即分区分配计算阶段

Java_老男孩·2019-05-14 14:47

Kafka生产者保证数据可靠传输

生产者将消息发送,但是不确保消息到达MQ中MQ接收到消息,但是消息丢失了...本文实验采用的Kafka是kafka_2.11-1.1.1版本Kafka发送消息模型考虑有一个Topic,只有一个分区(num.partitions

Wuv1Up·2019-05-14 00:00

Kafka 消息序列化和反序列化（上）

序列化操作是在拦截器（Interceptor）执行之后并且在分配分区(partitions)之前执行的。

Java_老男孩·2019-05-12 21:48

hive分区

1.分区（partitions）分区器partitionerhive=hdfs+mysql中的模板我们分区是将hdfs中的数据分为多份2.静态分区例子，单个分区字段创建一个temb表，分区字段month

zhangqi00·2019-05-12 16:00

【Spark2参数调优】submit Spark sql脚本并行度调优

spark2submitSparksql脚本并行度调优疑问：关于spark.default.parallelism现象：每个executor所分配的core小于activetask的数量解决：指定spark.sql.shuffle.partitions

Jack_Roy·2019-04-28 15:21

spark的DataFrame数据保存到hdfs产生过多小文件该怎么解决

写入过程产生过多小文件是因为多线程并行向hdfs写入造成的，所以可以再save之前设置dataframe的partitions设置为0，但是这样设置一定会影响spark写入的性能valresult:DataFrame

love_zy0216·2019-04-24 10:35

kafka创建会话，报Error while executing topic command : Replication factor: 1 larger than available brokers: 0.

bin/kafka-topics.sh--create--zookeeperes1:2181--replication-factor1--partitions1--topictopic1kafka创建会话

changjiangLi·2019-04-19 14:00

读取kafka数据通过SparkStreaming处理，数据零丢失--使用jdbc存储offset

topicvarchar(32),groupidvarchar(50),partitionsint,fromoffsetbigint,untiloffsetbigint,primarykey(topic,groupid,partitions

程序猿不加班·2019-04-15 17:56

Spark-SQL性能优化

性能优化1、设置Shuffle过程中的并行度：spark.sql.shuffle.partitions（SQLContext.setConf()）2、在Hive数据仓库建设过程中，合理设置数据类型，比如能设置为

S_Running_snail·2019-04-13 14:43

SQL Server利用sp_spaceused如何查看表记录存在不准确的情况

答案：个人测试以及统计来看，暂时发现多个索引的情况下，sys.partitions中的rows记录数都是一致的。暂时没有发现不一致的情况，当然也不排除有特殊情况。关于问题5:分区表的情况又是怎么样？

潇湘隐者·2019-04-13 09:44

kafka创建topic报错:replication factor: 3 larger than available brokers:0

0[hadoop@hadoop01001kafka]$kafka-topics.sh--create--zookeeperhadoop01001:2181--replication-factor3--partitions1

mo_yuanyy·2019-04-10 15:19

SQL Server使用sp_spaceused查看表记录存在不准确的情况

答案：个人测试以及统计来看，暂时发现多个索引的情况下，sys.partitions中的rows记录数都是一致的。暂时没有发现不一致的情况，当然也不排除有特殊情况。关于问题5:分区表的情况又是怎么样？

潇湘隐者·2019-04-09 09:00

磁盘及文件系统管理

partx-a重读分区表fdisk/dev/sdb进入交互的子命令m：打印菜单p：显示分区信息n：创建分区d：删除分区l：列出支持分区类型t：修改分区类型w：保存分区信息并退出q：不保存退出cat/proc/partitions

菜鸟爬坡·2019-03-27 17:31

kafka，flume的常用指令

/bin/kafka-topics.sh--create--zookeeper172.16.101.10:2181--replication-factor1--partitions1--topictest

哒哒0376·2019-03-27 10:29

proc, sys, dev, 内核模块, 文件系统, GPT, swap

/proc和/sys虚拟文件系统:/proc和/sys/proccpuinfomeminfo监控,watch-n1'cat/proc/meminfo'注意watch命令的用法partitions新分区在此文件中显示才说明有效

epiiplus1equal0·2019-03-21 09:42

Kafka在zookeeper中的存储

Kafka在zookeeper中的存储一、Kafka在zookeeper中存储结构图二、分析2.1topic注册信息/brokers/topics/[topic]:存储某个topic的partitions

Lv_Hulk·2019-03-19 18:22

Kafka 消费者消费消息的顺序性问题

，消费者需要消费顺序也必须为123456创建话题：bin/kafka-topics.sh--create--zookeeperlocalhost:2181--replication-factor1--partitions1

潘广宇 Leo·2019-03-11 22:38

spark.sql.shuffle.partitions 和 spark.default.parallelism 的区别

：http://www.cnblogs.com/lestatzhang/p/10611324.html在关于spark任务并行度的设置中，有两个参数我们会经常遇到，spark.sql.shuffle.partitions

abc33880238·2019-02-27 10:00

Spark RDD、DataFrame原理及操作详解

RDD内部可以有许多分区(partitions)，每个分区又拥有大量的记录(records)。

H.U.C.小黑·2019-02-26 21:19

hive多分区写入

setmapred.max.split.size=256000000;sethive.exec.dynamic.partition.mode=nonstrict;sethive.exec.max.dynamic.partitions

mulangren1988·2019-02-22 14:14

洛谷 P4656: LOJ 2484: [CEOI2017]Palindromic Partitions

菜菜只能靠写简单字符串哈希维持生活。题目传送门：LOJ#2484。题意简述：题面讲得很清楚了。题解：很显然从两边往中间推，能选的就选上这个贪心策略是对的。如何判断能不能选上，直接字符串哈希吧。有一个小细节：中间那块要不要选，即ans要不要加1？判一下串长即可。#include#includetypedefunsignedlonglongUL;constintB=79;intT,N;charstr[

粉兔·2019-02-08 22:00

Kafka入门教程其一消息队列基本概念及常用Producer Consumer配置详解学习笔记

文章目录1.综述2.消息队列(MessageQueue)2.1点对点2.2发布/订阅(pub-sub)3.Kafka基础术语解释3.1Broker3.2Partitions3.3Message4.Kafka

小鹅鹅·2019-01-27 18:19

Kafka的Topic的partitions数目设置最佳实践

前言翻译加整理~Howtochoosethenumberoftopics/partitionsinaKafkacluster如何确定Topic需要多少个Partitions一般情况是数据吞吐决定，这里的吞吐的单位是

懿行·2019-01-12 19:58

认识KafKa-数据一致性参数

partitions数据一致性KafKa中Producer发送消息到Broker，Broker有三种返回方式，分别为Noackleadercommit成功就ackleader和follower同时commit

@TangXin·2019-01-11 16:30

【kafka KSQL】游戏日志统计分析（3）

创建另一个topicbin/kafka-topics--create--zookeeperlocalhost:2181--replication-factor1--partitions4--topicpropnew-normalized

SnaiLiu·2019-01-09 00:00

如何使用kafka增加topic的备份数量，让业务更上一层楼

二、解决办法实际上，我们可以考虑一种“另类”的办法：可以利用kafka-reassign-partitions.sh命令对所有分区进行重新分布，在做分区重新分布的时候，通过增加每个

腾讯云加社区·2019-01-08 00:00

3.kafka主题、分区、副本关系

/kafka-topics.sh--create--topictopic2--replication-factor2--partitions4--zookeeper10.10.100.215:218topic

牧之.·2019-01-05 17:36

mysql调优

table:输出结果集的表partitions:匹配的分区type:表示表的连接类型possible_keys:表

IT小鑫·2019-01-04 10:00

Kafka实践之常用命令

Topic新建Topicbin/kafka-topics.sh--zookeeper--create--topic--replication-factor--partitions删除Topicbin/kafka-topics.sh

逸辰杳·2019-01-01 17:28

通过虚拟机给Linux添加一块磁盘，挂载到相应的目录下

1.在虚拟机中编辑虚拟机设置2.添加硬盘3.运行fdisk-l命令，查看当前的挂载信息4.fdisk/dev/sdb，创建分区5.fdisk-l可以查看到当前系统有一个空的分区6.cat/proc/partitions

yueding666·2018-12-22 08:44

spark查看DF的partition数目及每个partition中的数据量【集群模式】

partition的数目2valpartitions=data.rdd.glom().collect()//获取所有data下所有的partition，返回一个partition的集合3for(part<-partitions

云山之巅·2018-12-21 15:00

kafka的命令行操作

zookeepermaster:2181--list2)创建topicbin/kafka-topics.sh--zookeepermaster:2181--create--replication-factor3--partitions1

千雨猫·2018-12-16 14:31

kafka限制数据迁移期间的带宽使用

最简单，最安全的是在调用kafka-reassign-partitions.sh时应用节流，但kafka-configs.sh也可用于直接查看和更改节流值。因

54MD·2018-12-11 13:23

kafka之常用命令

功能命令备注创建topickafka_home/bin/kafka-topics.sh--create-zookeepernode1:2181--topictest--replication-factor1--partitions1zookeeper

tingtingding·2018-12-11 11:38

Kafka命令行详细介绍

usr/local/Cellar/kafka/2.0.0/bin相关命令：1.创建分区kafka-topics--alter--zookeeperlocalhost:2181--topictest--partitions32

火腿编程·2018-12-06 17:20

PostgreSQL 源码解读（100）- 分区表#6（数据查询路由#3-prune partition#1）

set_rel_size中，如RTE为分区表（rte->inh=T），则调用set_append_rel_size函数，在set_append_rel_size中通过prune_append_rel_partitions

EthanHe·2018-12-04 12:32

kafka工具包指南-翻译

ConsumerOffsetCheckerThistoolhasbeenremovedinKafka1.0.0.Usekafka-consumer-groups.shtogetconsumergroupdetails.Displaysthe:ConsumerGroup,Topic,Partitions

扎克begod·2018-11-25 16:53

Remove Ubuntu EFI partitions and startup items completely

本文主要针对UEFI和GPT双系统下UbuntuEFI分区及启动项的删除。1、查看电脑分区信息电脑分区信息如我上一篇博客所示，打开win10磁盘管理器，可以看到相应分区信息，具体如下图(根据个人分区方式会不同)：这里说明下，磁盘1中标红色的为Ubuntu下各分区信息，分别为：swap分区，EFI分区，/home分区，/usr分区和/分区。这里可以直接删除swap分区，/home分区，/usr分区和

爱傻笑的猪·2018-11-24 21:37

【译】Apache Kafka支持单集群20万分区

原贴地址：https://www.confluent.io/blog/apache-kafka-supports-200k-partitions-per-clusterKafka中topic可以设置多个分区

huxihx·2018-11-19 18:00

Ebaugh·2018-11-19 14:30

推荐频道

partitions