Partitions

kafka入门：简介、使用场景、设计原理、主要配置及集群搭建

4.partitions设计的目的的根本原因是什么？一、入门  1、简介  Kafkaisadistributed,partitioned,replicatedcommitlogservice。
gaowenhui2008·2016-05-30 17:00

spark学习13之RDD的partitions数目获取

更多代码请见：https://github.com/xubo245/SparkLearningspark1.5.21解释获取RDD的partitions数目和index信息疑问：为什么纯文本的partitions
KeepLearningBigData·2016-05-22 16:24

spark 修改分区（存储结果需要）

修改分区就行了val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,8))#  查看分区数rdd1.partitions.length# 改成1个分区val rdd2
残阳飞雪·2016-04-18 10:00

Kafka常用操作

/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 10 --topic my-favourite-top
genuinecx·2016-04-15 13:58

Kafka常用操作

/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 10 --topic my-favourite-top
genuinecx·2016-04-15 13:58

如何为一个kafka集群选择topics/partitions的数量？

如何为一个kafka集群选择topics/partitions的数量？ 
kwengelie·2016-04-14 11:00

虚拟机Ubuntu Server（宿主Win7）挂载U盘

cat/proc/partitions 检查多了哪个盘fdisk-l/dev/sdb  检查新的U盘的文件系统格式mount-t vfat /dev/sdb1 /media/usb 挂在U盘mount-t
huang_yx005·2016-04-08 10:00

Kafka笔记--指定消息的partition规则

37697655http://developer.51cto.com/art/201501/464491.htm注意：在配置文件server.properties中指定了partition的数量num.partitions
流了个火·2016-03-25 09:00

Redis Cluster实践

  RedisCluster提供了在多个redis实例间数据自动分片（sharded）的特性，同时在partitions之间提供了一定程度的可用性保障，比如一些nodes失效时集群仍可以继续读写操作；不过当集群中较大规模的节点失效会导致集群停止服务
QING____·2016-03-21 22:00

jstorm源码之TransactionalState

阅读更多一、作用主要是通过结合zookeeper，在zookeeper指定的目录下创建不同的自己代表不同的transactionstate，并赋予不同的内容；通过zookeeper完成对partitions
dalan_123·2016-03-21 19:00

Kafka kafka-reassign-partitions.sh 命令使用

:[{"topic":"__consumer_offsets"},{"topic":"kafka_topic"}],"version":1}生成reassign结果：shkafka-reassign-partitions.sh
小胖头鱼·2016-03-21 15:05

Kafka学习之四 Kafka常用命令

/kafka-reassign-partitions.sh-zookeeper127.0.0.1:2181-reassignment-json-filejson/part
宝哥-NO1·2016-03-20 11:39

Apache Kafka编程入门指南：设置分区数和复制因子

都是有分区数和复制因子的，但是我们无法通过Producer相关的API设定分区数和复制因子的，因为Producer相关API创建topic的是通过读取server.properties文件中的num.partitions
LW_GHY·2016-03-18 21:00

linux 查看磁盘信息

more/proc/partitions查看所有分区信息more/proc/scsi          查看scsi设备（移动硬盘或U盘）信息more/proc/diskstats  查看磁盘io信息 
今天来找bug·2016-03-16 14:00

hive:[Fatal Error] Operator FS_14 (id=14): Number of dynamic partitions exceeded

向动态分区时，报错：hive:[FatalError]OperatorFS_14(id=14):Numberofdynamicpartitionsexceededhive.exec.max.dynamic.partitions.pernode
daizj·2016-03-12 19:04

hive:[Fatal Error] Operator FS_14 (id=14): Number of dynamic partitions exceeded

向动态分区时，报错：hive:[FatalError]OperatorFS_14(id=14):Numberofdynamicpartitionsexceededhive.exec.max.dynamic.partitions.pernode
duncandai·2016-03-10 10:47

hive:[Fatal Error] Operator FS_14 (id=14): Number of dynamic partitions exceeded

阅读更多向动态分区时，报错：hive:[FatalError]OperatorFS_14(id=14):Numberofdynamicpartitionsexceededhive.exec.max.dynamic.partitions.pernode
daizj·2016-03-10 10:00

kafka入门：简介、使用场景、设计原理、主要配置及集群搭建

4.partitions设计的目的的根本原因是什么？一、入门  1、简介  Kafkaisadistributed,partitioned,replicatedcommitlogservice。
Zero零_度·2016-03-07 11:00

如何挂载ubi文件系统

如何挂载ubi文件系统 Linux系统中有关mtd和ubi的接口： (1)cat/proc/mtd：可以看到当前系统的各个mtd情况， (2)cat/proc/partitions:分区信息，有上面的类似
fzs333·2016-03-07 09:00

spark源码学习(十):map端计算结果缓存处理(二)

当partitions的个数小于这个阈值的时候，不需要在executor执行聚合和排序操作，只需要把各个partition写到executor的
liyaohhh·2016-03-01 07:00

kafka入门：简介、使用场景、设计原理、主要配置及集群搭建

4.partitions设计的目的的根本原因是什么？一、入门  1、简介  Kafkaisadistributed,partitioned,rep
引鸩怼孑·2016-02-23 18:00

spark_3：spark的基础

partitioner接口RDD计算模式IterativeAlgorithmsRelationalQueriesMapRdecueStreamingRDD的四个核心方法getPartitions：返回一系列partitions
mijian1207mijian·2016-02-21 16:00

Easy Table Partitions with SQL Server 2008（转sql2008表分区）

IntroductionWeallknowwehavetoworkwithloadsofdataeverydayandoverthetimewiththegrowthoftheorganizationthedatabankalsogrowstremendously.Weseethereisaperformancedegradationafterfewyearsormonths.Isitthesam
QDuck·2016-02-20 14:47

backup a partition data to a file and retore the partition

1adbshell 2su3cat/proc/partitions----togetallthe partitionsforthehardwareemmcdevice.4ddif=/dev/block/
fu_shuwu·2016-02-19 19:00

跟我学Kafka之zookeeper的存储结构

consumersadminconfigcontrollerbrokerscontroller_epoch1、brokers节点结构说明1.1topic信息结构/brokers/topics/[topic]:存储某个topic的partitions
flychao88·2016-02-18 16:00

How Many Partitions Does An RDD Have

://databricks.gitbooks.io/databricks-spark-knowledge-base/content/performance_optimization/how_many_partitions_does_an_rdd_have.htmlFortuningandtroubleshooting
代码浮生·2016-02-17 16:00

【Kafka】运维

一、修改partitions(只能新增)[root@hftest0001 kafka_2.11-0.8.2.2]# pwd /opt/kafka_2.11-0.8.2.2 [root@hftest0001
wilbur·2016-02-15 10:00

kafka群集管理

usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh --create --zookeeper IP:2181 --replication-factor 2--partitions30
DearArvin·2016-01-28 15:57

kafka群集管理

topic模板：/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh--create--zookeeperIP:2181--replication-factor2--partitions30
DearArvin·2016-01-28 15:57

kafka数据迁移

/kafka-topics.sh--under-replicated-partitions--describe--zookeeperIP:2181二、创建文件/tmp/topics-to-move.jsonvim
DearArvin·2016-01-28 11:19

kafka数据迁移

/kafka-topics.sh--under-replicated-partitions--describe--zookeeperIP:2181二、创建文件/tmp/topics-to-move.jsonvim
DearArvin·2016-01-28 11:19

磁盘以及文件系统管理之四

假设有的文件系统把块组10M分成1Minode和9M[为了方便解释忽略其他字段]，而另一种文件系统分成2Minode和8M，那么假设这个块组原来存满数据，现在就要丢失1M数据，文件也就不完整了）/proc/partitions
biao007h·2016-01-27 15:59

kafka入门：简介、使用场景、设计原理、主要配置及集群搭建

4.partitions设计的目的的根本原因是什么？ 一、入门  1、简介  Kafkaisadistributed,partitioned
江中炼·2016-01-27 13:00

[Apache Kafka]Kafka运维

重分配工具kafka-reassign-partitions.sh用于在broker之间移动partition。Kafka将新服务器当成待迁移的par
#WU·2016-01-27 00:00

Spark API 详解/大白话解释 之 RDD、partition、count、collect

RDD分区一个RDD分区只在一个机器上一个机器可有多个RDD分区http://stackoverflow.com/questions/31359219/relationship-between-rdd-partitions-and-node
guotong1988·2016-01-21 11:00

C++11新特性应用--介绍几个新增的便利算法(用于分区的几个算法)

下面开始C++11新增的关于Partitions的算法：Partitions:即分区的意思。
wangshubo1989·2016-01-19 20:00

跟我学Kafka源码之LogManager分析

一、kafka文件系统存储机制 1、partition存储结构说明假如kafka集群中只有一个broker，数据文件目录为message-folder，例如创建一个topic名称为：testKJ1, partitions
flychao88·2016-01-09 23:00

linux系统磁盘分区及把磁盘挂载到系统中的方法

fdisk分区fdisk/dev/sdb-p查看当前分区-t改分区号-w将分区表写进磁盘-n创建分区-p主分区-e拓展分区partprobe让内核更新分区信息cat/proc/partitions查看磁盘分区创建文件系统
佚名·2016-01-04 16:08

Kafka 学习 -- Topic的创建

/kafka-topics.sh--create--zookeeperhadoop221:2181,hadoop222:2181--replication-factor2--partitions2--topicTEST_TTT
eyoulc123·2015-12-30 16:00

linux运维实战练习案例-2015年12月20日-12月31日

1、创建一个10G的文件系统，类型为ext4，要求开机可自动挂载至单独数据/data目录；[root@centos10/]#cat/proc/partitions majorminor #blocks 
eguotangseng·2015-12-28 17:10

linux运维实战练习案例-2015年12月20日-12月31日

1、创建一个10G的文件系统，类型为ext4，要求开机可自动挂载至单独数据/data目录；[root@centos10/]#cat/proc/partitions majorminor #blocks 
eguotangseng·2015-12-28 17:10

linux运维实战练习案例-2015年12月20日-12月31日（第一次）

2015年12月20日-12月31日（第一次）1、创建一个10G的文件系统，类型为ext4，要求开机可自动挂载至单独数据/data目录；    [root@localhost ~]# cat /proc/partitions
www1707·2015-12-27 23:03

linux运维实战练习案例-2015年12月20日-12月31日（第一次）

2015年12月20日-12月31日（第一次）1、创建一个10G的文件系统，类型为ext4，要求开机可自动挂载至单独数据/data目录；    [root@localhost ~]# cat /proc/partitions
www1707·2015-12-27 23:03

hive修改表模式

hive用户可以通过alter语句更改table属性AlterPartitions增加partitions：ALTERTABLEtable_name ADD[IFNOTEXISTS] PARTITIONpartition_spec
尧山少侠·2015-12-23 13:00

kafka学习笔记

Partitions：1、kafka基于文件存储.通过分区,可以将日志内容分散到多个server上,来避免文件尺寸达到单机磁盘的上限,每个partiton都会被当前server(kafka实例)保存；2
小雄bb·2015-12-20 19:00

Kafka使用

0.8.2.1/config/server.properties&2、创建topic：bin/kafka-topics.sh--create--topictest--replication-factor3--partitions2
u010022051·2015-12-14 09:00

Kafka常用命令行总结

/kafka-reassign-partitions.sh-zookeeper127.0.0.1:2181-reassignment-json-filejson/p
flychao88·2015-12-10 14:00

Informatica - Partitions & 并行抽取数据

目前已经有很多并行运行工具及系统，但是如何在传统BI中实现并行化也是非常重要的。在这里我将总结一下如何在Informatica中使用Partition来提高数据抽取的性能。在这里本人只贴图，忘有兴趣的同学自己好好揣摩。需要注意的是，并不是说分区越多越好，Informatica做SQL抽取的时候是依赖于源数据库的性能，因此分区越多，I/O也会相应增加，而且中间数据会放在缓存中，随着数据抽取的进行，速
Mike_H·2015-12-02 15:16

Informatica - Partitions & 并行抽取数据

目前已经有很多并行运行工具及系统，但是如何在传统BI中实现并行化也是非常重要的。在这里我将总结一下如何在Informatica中使用Partition来提高数据抽取的性能。在这里本人只贴图，忘有兴趣的同学自己好好揣摩。需要注意的是，并不是说分区越多越好，Informatica做SQL抽取的时候是依赖于源数据库的性能，因此分区越多，I/O也会相应增加，而且中间数据会放在缓存中，随着数据抽取的进行，速
Mike_H·2015-12-02 15:16

kafka入门：简介、使用场景、设计原理

4.partitions设计的目的的根本原因是什么？一、入门  1、简介  Kafkaisadistributed,partitioned,replicatedcommitlogservice。
LittlerBeans·2015-12-01 01:00
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他