PARTITON

Kafka如何保证at-least-once

考虑这样一个case，partiton_num=2，启动一个consumer进程订阅这个t
_BD攻城师_·2018-04-10 10:50

Spark 增量操作 insertInto() 与 mode(SaveMode.Append).saveAsTable() 的区别

insertInto()无关schema,只按数据的顺序插入,类似hive导入csv.mode(SaveMode.Append).saveAsTable()如果表已存在,需要匹配插入数据和已有数据的format,partiton
leoIsCoding·2017-10-12 10:12

理解高并发(7).编程过程中锁的优化技巧

分拆(段)锁把一个集合看分成若干partition,每个partiton一把锁。ConcurrentHashMap就是分了16个区域，这16个区域之间是可以并发的。
毛志荣·2017-08-01 12:46

Spark Streaming 中使用c3p0连接池操作mysql数据库

数据计算完成后，在foreachRDD中批量插入数据，因为是针对每一个partiton的数据操作，所以使用rdd.foreachPartition，这里是一个批量插入页面PV和UV的操作，代码如下//RDD
海纳百川_spark·2016-06-19 12:16

RDD的依赖关系

窄依赖是指每个父RDD的一个Patition最多被子RDD的一个Pation所使用，例如map、filter、union等都会产生窄依赖2.宽依赖就是指一个父RDD的Patition会被多个子RDD的Partiton
sundujing·2016-05-15 13:00

找出数组中第K个最小的数（快速排序）

算法思路：采用快速排序，分而治之的思想，根据主元，每次Partiton以主元为轴，比它小的数在左边，比它大的数在右边，判断tmp的位置，如果它的位置为k-1，那么它就是第k小的数，如果它的位置小于k-1
abc7845129630·2016-04-07 17:00

如何决定kafka集群中话题的分区的数量

分区多吞吐量更高一个话题topic的各个分区partiton之间是并行的。在producer和broker方面，写不同的分区是完全并行的。
greenappple·2016-03-19 23:56

Kafka文件存储机制那些事

Kafka是什么1.前言2.Kafka文件存储机制2.1topic中partition存储分布2.2partiton中文件存储方式2.3partiton中segment文件存储结构参数说明：2.4在partition
nysyxxg·2016-02-03 16:00

kafka学习笔记

Partitions：1、kafka基于文件存储.通过分区,可以将日志内容分散到多个server上,来避免文件尺寸达到单机磁盘的上限,每个partiton都会被当前server(kafka实例)保存；2
小雄bb·2015-12-20 19:00

【knowledgebase】如何知道partition数

常用的查看方法有如下几种： 1、通过SparkUI查看Task执行的partition数 当一个stage执行时，能通过SparkUI界面查看到指定stage的partiton数目 val someRDD
·2015-11-12 21:23

linux文件系统和mount（硬盘,win分区，光驱，U盘）

fdisk –l查看dos/win/ext2分区(partiton,不是slice,slice是solaris分区) [root@localhost etc]# /sbin/fdisk -l Disk
·2015-11-08 10:49

hive QL 插入语法解析

1.insert 语法格式为：基本的插入语法：INSERT OVERWRITE TABLE tablename [PARTITON(partcol1=val1,partclo2=val2)]select_statement
·2015-10-31 15:08

kafka存储机制

kafka存储机制@(博客文章)[storm|大数据]kafka存储机制一关键术语二topic中partition存储分布三partiton中文件存储方式四partiton中segment文件存储结构五在
lujinhong2·2015-08-11 16:00

算法导论--------快速排序

下面是python实现的快速排序算法:defquick_sort(ary,low,high): iflowpartiton(ary,low,high) quick_sort(ary,low
happyAnger6·2015-08-02 13:00

kafka consumer防止数据丢失

  考虑这样一个case，partiton_num=2
kane_xie·2015-07-07 23:00

kafka consumer防止数据丢失

  考虑这样一个case，partiton_num=2
kane_xie·2015-07-07 23:00

kafka consumer防止数据丢失

  考虑这样一个case，partiton_num=2
kane_xie·2015-07-07 23:00

hadoop Partiton中的字符串Hash函数改进

 最近的MapReduce端的Partition根据map生成的Key来进行哈希，导致哈希出来的Reduce端处理任务数量非常不均匀，有些Reduce端处理的数据量非常小（几分钟就执行完成，而最后的part-结果显示其输出文件为0，没有处理任何任务），而有些Reduce端需要执行大量的任务（大概1个多小时） 根据下面的这篇大牛所写的文章，字符串hash算法也有很多种：https://www.byv
brandNewUser·2014-09-26 22:00

linux之磁盘管理（一）

磁盘机械式硬盘：  U盘、光盘、软盘、硬件、磁带solid：固态硬盘硬盘的结构：  磁道  扇区 512bytes  磁头  柱面:不同盘面的相同磁道组成的筒低级格式化partiton（分区）是用来实现文件系统的
巫哲·2014-05-06 23:52

实战:查看指定分区表的每个子分区行数

---查看指定分区表的每个子分区行数createorreplaceprocedureshow_tabparcnt(partiton_tablenameinuser_tab_partitions.table_name
yangzhawen·2013-05-03 12:00

查看指定分区表的每个子分区行数

---查看指定分区表的每个子分区行数createorreplaceprocedureshow_tabparcnt (partiton_tablenameinuser_tab_partitions.table_name
ocpyang·2013-05-03 12:00

数据库sharding、partition

partiton是数据库对象级别的处理，由数据库软件来实现，但是还是单个数据库内的操作（强调单物理机器）；sharding是从数据库的前端（dbpro
daition·2012-07-21 21:00

【原创】添加nand的mtd驱动原理图

“分区mtd_partiton"                            "resource[]资源" |                                                               
lanmanck·2009-07-23 15:00

[算法问题]寻找一个序列中第n大的元素

[算法问题]寻找一个序列中第n大的元素问题描述:给定一个序列,以及指定这个序列的一个范围,寻找这个范围之内第n大的元素,如果n大于这个范围之内的元素数量那么就返回-1.这是快速排序算法中partiton
那谁的技术博客·2006-07-08 02:00

LINUX的一般安装方法

格式的要更好一些.现在的一些刚刚开始学习LINUX的朋友们一般采的是WINDOWS和LINUX共存的做法.所以我们常将LINUX安装在我们硬盘的最后个逻辑分区上.个人认为比较好的做法是我们可以在WINDOWS下面用partiton
mylxiaoyi·2005-04-22 22:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他