Partitions

使用kafka-reassign-partitions.sh重新对topic分区，ReplicationFactor由1变成3

topics-to-move.json用于--topics-to-move-json-file2、准备output.json用于--reassignment-json-file3、bin/kafka-reassign-partitions.sh
cpj63998·2020-08-23 05:37

kafka练习测试

kafka-topics.sh--zookeeperhd1.bigdata:2181,master1.bigdata:2181,master2.bigdata:2181--create--topicalbert--partitions30
wzw12315·2020-08-23 04:02

kafka-broker配置参数详解

1.num.partitions含义：指明了新创建的主题将会有多少个分区数量。**如何选择分区数量？1)：考虑主题吞吐量，100kor1G？
Scathon·2020-08-23 02:04

《探错笔记》之redis集群出现单节点宕机应用无法正常连接

集群出现单节点异常造成master迁移时，底层基于Lettuce实现的应用程序无法正常连接Redis分析分析了代码，发现默认Lettuce是不会刷新拓扑io.lettuce.core.cluster.models.partitions.Partitions
御前提笔小书童·2020-08-23 02:42

spark 学习记录 -- Spark中foreachPartition和partitions.foreach的区别

foreachPartition属于action运算操作，而mapPartitions是在Transformation中，所以是转化操作，此外在应用场景上区别是mapPartitions可以获取返回值，继续在返回RDD上做其他的操作，而foreachPartition因为没有返回值并且是action操作，所以使用它一般都是在程序末尾比如说要落地数据到存储系统中如mysql，es，或者hbase中，
fzh595408240·2020-08-23 01:32

RocketMQ与Kafka对比（18项差异）

原文链接：https://github.com/alibaba/RocketMQ/blob/master/wiki/kafka_partitions_problem.md淘宝内部的交易系统使用了淘宝自主研发的
千与千寻之前1·2020-08-23 01:43

Kafka之Producer API详解

先创建一个topic，拥有一个副本和一个分区kafka-topics.sh--create--zookeeperlocalhost:2181--replication-factor1--partitions1
天ヾ道℡酬勤·2020-08-23 00:09

Kafka之Consumer API详解

还是先创建一个topic，拥有一个副本和一个分区kafka-topics.sh--create--zookeeperlocalhost:2181--replication-factor1--partitions1
天ヾ道℡酬勤·2020-08-23 00:37

MySQL中Explain的用法总结

queryExecutionplan)语法explainselect*fromtableexplain中的列explain出来的信息有10列，分别是id，select_type，table，type，partitions
Antor Yao·2020-08-22 23:49

spark sql 性能优化

一设置shuffle的并行度我们可以通过属性spark.sql.shuffle.partitions设置shuffle并行度二Hive数据仓库建设的时候，合理设置数据类型，比如你设置成INT的就不要设置成
happy19870612·2020-08-22 20:22

Splitting Partitions 分裂分区

生产环境中，可能碰到由于业务量超出预期，使得某一分区数据过多，导致查询变慢的情况，这时候我们可以通过SplittingPartitions语句对分区表的分区或分区索引进行分裂，将一个分区变为2个，2个变4个...以下记录分裂range分区，list分区和hash分区以及相应sub_partition的语法，以备查用。1、SplittingaPartitionofaRange-Partitioned
Ellison·2020-08-22 16:58

sparkstreaming的参数解读

1：spark.default.parallelism设置sparkstreaming程序的并行度:2：spark.sql.shuffle.partitions设置spark-sql程序的并行度3：spark.scheduler.listenerbus.eventqueue.size
csy_666·2020-08-22 16:33

spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01

RDD源码的count方法：从上面代码可以看出来，count方法触发SparkContext的runJob方法的调用：进入runJob(rdd,func,0untilrdd.partitions.size
weixin_30387663·2020-08-22 15:13

kafka学习总结（处理多个consumer只消费topic数据一次）

使用3个producer同时对一个topic写入数据，其中使用2个group组来对数据进行读取，其中topic中的partitions定为2。在每个group下又
zhaishujie·2020-08-22 15:37

webRTC AEC 远场滤波器

staticvoidFilterFarSSE2(AecCore*aec,floatyf[2][PART_LEN1]){inti;//设置分块数constintnum_partitions=aec->num_partitions
半截木头渡海洋·2020-08-22 10:02

webRTC AEC 滤波器的自适应

staticvoidFilterAdaptationSSE2(AecCore*aec,float*fft,floatef[2][PART_LEN1]){inti,j;constintnum_partitions
半截木头渡海洋·2020-08-22 09:58

kafka的一些常用工具

kafka_2.11-2.2.0工具新建topicbin/kafka-topics.sh--create--zookeeper127.0.0.1:2181--replication-factor1--partitions2
犀牛饲养员·2020-08-20 23:25

kafka的一些常用工具

kafka_2.11-2.2.0工具新建topicbin/kafka-topics.sh--create--zookeeper127.0.0.1:2181--replication-factor1--partitions2
犀牛饲养员·2020-08-20 23:24

扩容刚烧录至sd卡的linux系统

参考链接https://elinux.org/RPi_Resize_Flash_Partitions。
bigsuperZX·2020-08-20 17:06

isEmpty类型的action算子需要cache吗？

进入isEmpty方法defisEmpty():Boolean=withScope{partitions.length==0||take(1).length==0}如果
Wish大人·2020-08-20 17:53

isEmpty类型的action算子需要cache吗？

进入isEmpty方法defisEmpty():Boolean=withScope{partitions.length==0||take(1).length==0}如果
Wish大人·2020-08-20 17:53

spark中各种数量的确定和查询(持续更新中)

数量决定/设置方式函数查询方式备注partition数量sqlContext.setConf("spark.sql.shuffle.partitions","300")rdd1.getNumPartitions
Applied Sciences·2020-08-20 09:34

Hive 动态分区和二级分区

sethive.exec.dynamic.partition.mode=nonstrict;其他相关参数调优每个mapper或者reducer可以允许创建的最大分区数，默认是100sethive.exec.max.dynamic.partitions.pernode
KK架构师·2020-08-20 03:07

ubuntu备份系统到U盘与恢复

第一步挂载u盘插入u盘之前查看当前分区cat/proc/partitions插入u盘后再次查看会发现多了一个sdb和一个sdb4，sdb比sdb4略大。
Ubuntu小可怜·2020-08-20 02:30

Android DT/DTO镜像简介

下图引自：https://source.android.com/devices/architecture/dto/partitions本文中所述工具和源码详见Google代码仓：gitclonehttps
Cheney_CHEN_JUN·2020-08-20 00:18

Presto查询Hive表最大分区数的两种方式

ods_parents_df$partitions";_col0------------2020-08-14(1row)----JDBC查询sel
zhengqiangtan·2020-08-19 20:46

磁盘管理命令之partx，lsblk，blkid，partprobe。

patrx：修改磁盘分区表后，无需重启，用partx命令告诉内核，分区已改动，内核可以读入新的分区表信息/proc/partitions记录了系统中所有硬盘及其上面的分区，包括已挂载和未挂载的。
南瓜啊·2020-08-19 19:49

BoneCP主要配置参数

为了减少锁竞争和改善性能，从当前线程分区(thread-affinity)中获取一个connection，也就是这个样子：partitions[Thread.curre
hzgzf·2020-08-19 17:45

kafka入门：简介、使用场景、设计原理、主要配置及集群搭建http://www.aboutyun.com/thread-9341-1-1.html

4.partitions设计的目的的根本原因是什么？一、入门1、简介Kafkaisadistributed,
lilyjoke·2020-08-19 10:29

Python 3.6 利用psutil 获取服务器磁盘信息

/usr/bin/envpythonimportpsutildisk=psutil.disk_partitions()#利用psutil模块的disk_partitions()方法printdisk执行查看结果
在奋斗的大道·2020-08-19 06:03

Python 查看服务器磁盘信息

查看磁盘信息，主要用到了两个方法psutil.disk_partitions()psutil.disk_usage()使用方法：1、安装psutilpipinstallpsutil2、进入pythonshell
大事龙·2020-08-19 00:45

MySQL 表分区的几种方法和注意

分区方法1：Hash分区例子：createtablethash(xint,yint)partitionbyhash(x)partitions4;就这么一句话表就分好区了。
weixin_33806300·2020-08-18 13:26

kafka linux 客户端操作命令

生产命令1.创建一个topicKAFKA_HOME/bin/kafka-topics.sh--create--zookeeper127.0.0.1:2181--replication-factor1--partitions1
xiwh·2020-08-18 12:19

kafka的partitions的offset值写入mysql

主类：packagecom.kafka.sourcesimportjava.sql.{Connection,ResultSet,Statement}importjava.utilimportjava.langimportjava.util.Propertiesimportcom.Test.{MysqlSourceDB,SourceDB}importcom.Utils.{DBConnManager}
微风凉·2020-08-18 12:51

kafka文件存储机制

message-folder为数据文件存储根目录，在Kafkabroker中server.properties文件配置(参数log.dirs=xxx/message-folder)，例如创建topic名称分别为test,partitions
weixin_33991418·2020-08-18 12:15

kafka模拟客户端发送、接受消息

/kafka-topics.sh--create--zookeeperlocalhost:2181\--replication-factor1\--partitions1\--topicfi
weixin_33970449·2020-08-18 12:13

110.Spark大型电商项目-各区域热门商品统计-Spark SQL数据倾斜解决方案

摘要内容聚合源数据过滤导致倾斜的key提高shuffle并行度：spark.sql.shuffle.partitions双重groupbyreducejoin转换为mapjoin：spark.sql.autoBroadcastJoinThreshold
StriveFarrell·2020-08-18 11:02

kafka工作流程分析-Broker保存消息

存储方式物理上把topic分成一个或多个patition（对应server.properties中的num.partitions=3配置），每个patition物理上对应一个文件夹（该文件夹存储该patition
小哇666·2020-08-18 11:04

hive dynamic partitions insert java.lang.OutOfMemoryError: Java heap space

动态分区问题，如果数据量大或者当动态分区大甚至只有十几个时，会出现如下异常：2015-10-2316:43:54,165INFO[fetcher#10]org.apache.hadoop.mapreduce.task.reduce.ShuffleSchedulerImpl:assigned20of34tospark-03:13562tofetcher#102015-10-2316:43:54,16
空中的鱼1987·2020-08-18 11:17

kafka搭建和基础知识

partitions需要备份的个数(replicas),每个partition
跟着爸爸走·2020-08-18 11:16

磁盘的分区及管理

###cat/proc/partitions###查看系统中存在的并且被系统识别的设备。
w___curtain·2020-08-17 15:23

Permutation Partitions 题解

题目链接：C.PermutationPartitions题目题意给你n个数，把这些数分成k组，每组里的最大值相加必须最大，也就是说：找到这n个树中最大的k个数，这些数必须各自存在于单独的一组解题思路这道题其实就是高中学Cnm的那种排列组合的分组问题，简单来说就是插卡插一张卡，分成两份，插两张卡，分成三份。。。而这道题更简单，分组的间隔已经明确告诉你了，你只需要求出每两个标值中间有几种插卡方式即可用
H_On·2020-08-17 06:35

CF1326C Permutation Partitions 题解

博客园同步原题链接简要题意：给定一个111~nnn的置换，将数组分为kkk个区间，使得每个区间的最大值之和最大。求这个值，和分区的方案数。关键在于111~nnn的置换。显然，你只要把从n−k+1n-k+1n−k+1到nnn这一段，每个区间分一个（其余的随便分）。显然可以得出第一个答案：(n−k+1)+(n−k+1)+⋯+(n−1)+n(n-k+1)+(n-k+1)+\cdots+(n-1)+n(n
bifanwen·2020-08-17 05:22

Permutation Partitions题解

昨天晚上做了Codeforces，被一题坑了很久，PermutationPartitions，排列分区，题意如下：添加链接描述给定一个从1到n的整数的排列p1p2…pn和一个整数k，使1≤k≤n。一个排列意味着从1到n的每一个数字在p中都只包含一次。让我们把这个排列的所有分区考虑成k个不相交的段。在形式上，一个分区是一组段{[l1,r1]，[l2,r2]，…，[lk,rk]}，这样:1≤li≤ri
天T.·2020-08-17 04:17

spark算子使用总结

sparkRDD通用编程接口之Partitions。scala>valp
DeepRLearner·2020-08-16 22:03

mysql的EXPLAIN关键字的sql优化

explain查询出来的信息有12条：id,select_type,table,partitions,type,possible_keys,key,key_len,ref,rows,filtered,Extra
smile-ls·2020-08-16 20:03

SparkStreaming+kafka保存offset的偏移量到mysql案例

topicvarchar(32),groupidvarchar(50),partitionsint,fromoffsetbigint,untiloffsetbigint,primarykey(topic,groupid,partitions
代码邪皇·2020-08-16 20:25

Linux（RadHat）基础学习—系统存储设备与系统分区

1.系统存储设备1.本地存储设备的识别fdisk-l##真实存在的设备，入插的u盘等cat/proc/partitions##系统识别的设备信息blkid##系统可使用的设备、df##系统正在挂载的设备
weixin_33932129·2020-08-16 09:38

通过shell脚本调用oracle存储过程并加入定时任务

实例文件名：add_tab_partitions.sh#!
岳麓丹枫001·2020-08-16 04:20

Kafka的Topic操作

Topichadoopkafka]#bin/kafka-topics.sh--create--topichadoop--zookeepermaster:2181,slave01:2181,slave02:2181--partitions1
王树民·2020-08-16 02:26
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他