XiaoGuang-Xu
XiaoGuang-Xu

探讨kafka的分区数与多线程消费

若要转载，请标明出处，谢谢！

http://raising.iteye.com/blog/2252456

=========================================================

首先，容我吐一口老血。。。。。。叫喊

kafka算是很麻烦的一件事儿，起因是最近需要采集大量的数据，原先是只用了典型的high-level Consumer的API，最经典的不过如下：

 

Java代码   收藏代码
  1. Properties props = new Properties();      
  2.        props.put("zookeeper.connect", "xxxx:2181");      
  3.        props.put("zookeeper.connectiontimeout.ms", "1000000");      
  4.        props.put("group.id", "test_group");    
  5.        props.put("zookeeper.session.timeout.ms", "40000");    
  6.        props.put("zookeeper.sync.time.ms", "200");    
  7.        props.put("auto.commit.interval.ms", "1000");    
  8.      
  9.        ConsumerConfig consumerConfig = new ConsumerConfig(props);      
  10.        ConsumerConnector consumerConnector = Consumer.createJavaConsumerConnector(consumerConfig);      
  11.      
  12.       
  13.        Map topicCountMap = new HashMap();      
  14.        topicCountMap.put("test", new Integer(1));      
  15.        //key--topic      
  16.        Mapbyte[], byte[]>>> consumerMap =     
  17.                consumerConnector.createMessageStreams(topicCountMap);    
  18.        KafkaStream<byte[], byte[]> stream = consumerMap.get("test").get(0);    
  19.        ConsumerIterator<byte[], byte[]> it = stream.iterator();    
  20.        StringBuffer sb = new StringBuffer();    
  21.        while(it.hasNext()) {    
  22.            try {    
  23.                String msg = new String(it.next().message(), "utf-8").trim();    
  24.                System.out.println("receive:" + msg);    
  25.            } catch (UnsupportedEncodingException e) {    
  26.                e.printStackTrace();    
  27.            }    
  28.        }    

 这是典型的kafka消费端消费数据的代码，但可以看出这是十分典型的单线程消费。在本地玩玩熟悉kafka还行，（就跟入门java学会写main方法打印hello world一样~~~~），问题是学的东西必须真正应用到实际中，你不可能只在单线程采集里原地打转吧。。so，多线程采集迫在眉急啊！！

 

 

本人研究卡夫卡多线程消费还是耗了一段时间的，希望把过程尽可能完整地记录下来，以便各位同行有需要可以参考。。

 

首先，最好理解kafka的基本原理和一些基本概念，阅读官网文档很有必要，这样才会有一个比较清晰的概念，而不是跟无头苍蝇一样乱撞——出了错去网上查是灰常痛苦滴！！

http://kafka.apache.org/documentation.html

 

好了，大概说下卡夫卡的“分区·”的概念吧：



 这张图比较清晰地描述了“分区”的概念，对于某一个topic的消息来说，我们可以把这组消息发送给若干个分区，就相当于一组消息分发一样。

分区、Offset、消费线程、group.id的关系

1）一组（类）消息通常由某个topic来归类，我们可以把这组消息“分发”给若干个分区（partition），每个分区的消息各不相同；

2）每个分区都维护着他自己的偏移量（Offset），记录着该分区的消息此时被消费的位置；

3）一个消费线程可以对应若干个分区，但一个分区只能被具体某一个消费线程消费；

4）group.id用于标记某一个消费组，每一个消费组都会被记录他在某一个分区的Offset，即不同consumer group针对同一个分区，都有“各自”的偏移量。

 

说完概念，必须要注意的一点是，必须确认卡夫卡的server.properties里面的一个属性num.partitions必须被设置成大于1的值，否则消费端再怎么折腾，也用不了多线程哦。我这里的环境下，该属性值被设置成10了。

 

重构一下上述经典的消费端代码：

 

Java代码   收藏代码
  1. public class KafakConsumer implements Runnable {  
  2.       
  3.     private ConsumerConfig consumerConfig;  
  4.     private static String topic="blog";  
  5.     Properties props;  
  6.     final int a_numThreads = 6;  
  7.       
  8.     public KafakConsumer() {  
  9.         props = new Properties();      
  10.         props.put("zookeeper.connect", "xxx:2181,yyy:2181,zzz:2181");    
  11. //      props.put("zookeeper.connect", "localhost:2181");      
  12. //        props.put("zookeeper.connectiontimeout.ms", "30000");      
  13.         props.put("group.id", "blog");    
  14.         props.put("zookeeper.session.timeout.ms", "400");  
  15.         props.put("zookeeper.sync.time.ms", "200");  
  16.         props.put("auto.commit.interval.ms", "1000");   
  17.         props.put("auto.offset.reset", "smallest");  
  18.         consumerConfig = new ConsumerConfig(props);  
  19.     }  
  20.       
  21.   
  22.     @Override  
  23.     public void run() {  
  24.           
  25.         Map topicCountMap = new HashMap();  
  26.         topicCountMap.put(topic, new Integer(a_numThreads));  
  27.         ConsumerConfig consumerConfig = new ConsumerConfig(props);  
  28.         ConsumerConnector consumer = kafka.consumer.Consumer.createJavaConsumerConnector(consumerConfig);  
  29.         Mapbyte[], byte[]>>> consumerMap = consumer.createMessageStreams(topicCountMap);  
  30.         Listbyte[], byte[]>> streams = consumerMap.get(topic);  
  31.         ExecutorService executor = Executors.newFixedThreadPool(a_numThreads);  
  32.         for (final KafkaStream stream : streams) {  
  33.             executor.submit(new KafkaConsumerThread(stream));  
  34.         }  
  35.   
  36.     }  
  37.       
  38.   
  39.     public static void main(String[] args) {  
  40.         System.out.println(topic);  
  41.         Thread t = new Thread(new KafakConsumer());  
  42.         t.start();  
  43.     }  
  44. }  

 从这段重构的代码可以看出，KafkaStream stream = consumerMap.get("test").get(0); 这行代码已被废弃，得到List>之后不再是得到他的头元素get(0)就ok了，而且topicCountMap.put(topic, new Integer(a_numThreads));的第二个参数也不再是1.

 

 其中，具体消费线程KafkaConsumerThread代码为：

Java代码   收藏代码
  1. public class KafkaConsumerThread implements Runnable {  
  2.       
  3.     private KafkaStream<byte[], byte[]> stream;  
  4.       
  5.     public KafkaConsumerThread(KafkaStream<byte[], byte[]> stream) {  
  6.         this.stream = stream;  
  7.     }  
  8.   
  9.     @Override  
  10.     public void run() {  
  11.         ConsumerIterator<byte[], byte[]> it = stream.iterator();  
  12.         while (it.hasNext()) {  
  13.             MessageAndMetadata<byte[], byte[]> mam = it.next();  
  14.             System.out.println(Thread.currentThread().getName() + ": partition[" + mam.partition() + "],"   
  15.             + "offset[" + mam.offset() + "], " + new String(mam.message()));  
  16.   
  17.         }  
  18.     }  
  19.   
  20. }  

 

 

编写生产端（Producer）的代码：

 

Java代码   收藏代码
  1. public class KafkaProducer implements Runnable {  
  2.       
  3.     private Producer producer = null;  
  4.       
  5.     private ProducerConfig config = null;  
  6.       
  7.       
  8.     public KafkaProducer() {  
  9.         Properties props = new Properties();  
  10.         props.put("zookeeper.connect", "*****:2181,****:2181,****:2181");  
  11.           
  12. //      props.put("zookeeper.connect", "localhost:2181");  
  13.           
  14.         // 指定序列化处理类，默认为kafka.serializer.DefaultEncoder,即byte[]  
  15.         props.put("serializer.class", "kafka.serializer.StringEncoder");  
  16.   
  17.         // 同步还是异步，默认2表同步，1表异步。异步可以提高发送吞吐量，但是也可能导致丢失未发送过去的消息  
  18.         props.put("producer.type", "sync");  
  19.   
  20.         // 是否压缩，默认0表示不压缩，1表示用gzip压缩，2表示用snappy压缩。压缩后消息中会有头来指明消息压缩类型，故在消费者端消息解压是透明的无需指定。  
  21.         props.put("compression.codec", "1");  
  22.   
  23.         // 指定kafka节点列表，用于获取metadata(元数据)，不必全部指定  
  24.         props.put("broker.list", "****:6667,***:6667,****:6667");  
  25.           
  26.         config = new ProducerConfig(props);  
  27.     }  
  28.   
  29.     @Override  
  30.     public void run() {  
  31.         producer = new Producer(config);  
  32. //      for(int i=0; i<10; i++) {  
  33. //          String sLine = "I'm number " + i;  
  34. //          KeyedMessage msg = new KeyedMessage("group1", sLine);  
  35. //          producer.send(msg);  
  36. //      }  
  37.         for(int i = 1; i <= 6; i++){ //往6个分区发数据   
  38.               List> messageList = new ArrayList>();    
  39.               for(int j = 0; j < 6; j++){ //每个分区6条讯息   
  40.                   messageList.add(new KeyedMessage  
  41.                   //String topic, String partition, String message  
  42.                     ("blog", "partition[" + i + "]", "message[The " + i + " message]"));  
  43.               }    
  44.               producer.send(messageList);    
  45.             }    
  46.       
  47.     }  
  48.       
  49.     public static void main(String[] args) {  
  50.         Thread t = new Thread(new KafkaProducer());  
  51.         t.start();  
  52.     }  
  53. }  

 上述生产端代码相对传统的发送端代码也做了改进，首先是用了批量发送（源码）：

 

 

Java代码   收藏代码
  1. public void send(List> messages)  
  2.   {  
  3.     underlying().send(JavaConversions..MODULE$.asScalaBuffer(messages).toSeq());  
  4.   }  

 而不是：

 

 

Java代码   收藏代码
  1. public void send(KeyedMessage message)  
  2.   {  
  3.     underlying().send(Predef..MODULE$.wrapRefArray((Object[])new KeyedMessage[] { message }));  
  4.   }  

 第二，KeyedMessage用的构造函数：

 

 

Java代码   收藏代码
  1. public KeyedMessage(String topic, K key, V message) { this(topic, key, key, message); }  

第二个参数表示分区的key。 

 

而非：

 

Java代码   收藏代码
  1. public KeyedMessage(String topic, V message) {  
  2.     this(topic, null, null, message);  
  3.   }  

 

 

分别run一下生产和消费的代码，可以看到消费端打印结果：

pool-2-thread-5: partition[5],offset[0], message[The 5 message]

pool-2-thread-1: partition[2],offset[0], message[The 2 message]

pool-2-thread-2: partition[1],offset[0], message[The 1 message]

pool-2-thread-5: partition[4],offset[0], message[The 4 message]

pool-2-thread-1: partition[3],offset[0], message[The 3 message]

pool-2-thread-4: partition[6],offset[0], message[The 6 message]

 

可以看到，6个分区的数据全部被消费了，但是不妨看下消费线程：pool-2-thread-1线程同时消费了partition[2]和partition[3]的数据；pool-2-thread-2消费了partiton[1]的数据；pool-2-thread-4消费了partiton[6]的数据；而pool-2-thread-5则消费了partitoin[4]和partition[5]的数据。

 

从上述消费情况来看，验证了消费线程和分区的对应情况——即：一个分区只能被一个线程消费，但一个消费线程可以消费多个分区的数据！虽然我指定了线程池的线程数为6，但并不是所有的线程都去消费了，这当然跟线程池的调度有关系了。并不是一个消费线程对应地去消费一个分区的数据。

 

我们不妨仔细看下消费端启动日志部分，这对我们理解kafka的启动生成和消费的原理有益：

【限于篇幅，启动日志略，只分析关键部分】

 

消费端的启动日志表明：

1）Consumer happy_Connor-PC-1445916157267-b9cce79d rebalancing the following partitions: ArrayBuffer(0, 1, 2, 3, 4, 5, 6, 7, 8, 9) for topic blog with consumers: List(happy_Connor-PC-1445916157267-b9cce79d-0, happy_Connor-PC-1445916157267-b9cce79d-1, happy_Connor-PC-1445916157267-b9cce79d-2, happy_Connor-PC-1445916157267-b9cce79d-3, happy_Connor-PC-1445916157267-b9cce79d-4, happy_Connor-PC-1445916157267-b9cce79d-5)

happy_Connor-PC-1445916157267-b9cce79d表示一个消费组，该topic可以使用10个分区：the following partitions: ArrayBuffer(0, 1, 2, 3, 4, 5, 6, 7, 8, 9) for topic blog。然后定义了6个消费线程，List(happy_Connor-PC-1445916157267-b9cce79d-0, happy_Connor-PC-1445916157267-b9cce79d-1, happy_Connor-PC-1445916157267-b9cce79d-2, happy_Connor-PC-1445916157267-b9cce79d-3, happy_Connor-PC-1445916157267-b9cce79d-4, happy_Connor-PC-1445916157267-b9cce79d-5)。消费线程的个数由topicCountMap.put(String topic, Integer count)的第二个参数决定。但真正去消费的线程还是由线程池的调度机制来决定；

2）线程由zookeeper来声明它拥有1个或多个分区；

3）真正有数据存在的分区是由生产发送端来决定，即使你的kafka设置了10个分区，消费端在消费的时候，消费线程虽然会根据zookeeper的某种机制来声明它所消费的分区，但实际消费过程中，还是会消费真正存在数据的分区。（本例中，你只往6个分区push了数据，所以即使你声明了10个分区，你也只能消费6个分区的数据）。

 

如果把topicCountMap的第二个参数Integer值改成1，发送端改成往7个分区发数据再测试，可得到消费端的打印结果：

Java代码   收藏代码
  1. pool-2-thread-1: partition[6],offset[0], message[The 6 message]  
  2. pool-2-thread-1: partition[3],offset[0], message[The 3 message]  
  3. pool-2-thread-1: partition[2],offset[0], message[The 2 message]  
  4. pool-2-thread-1: partition[5],offset[0], message[The 5 message]  
  5. pool-2-thread-1: partition[4],offset[0], message[The 4 message]  
  6. pool-2-thread-1: partition[7],offset[0], message[The 7 message]  
  7. pool-2-thread-1: partition[1],offset[0], message[The 1 message]  

 可以看出，如果你topicCountMap的值改成1，而 List>的size由Integer值决定，此时为1，可以看出，线程池中只能使用一个线程来发送，还是单线程的效果。若要用多线程消费，Integer的值必须大于1.

 

下面再来模拟一些状况：

状况一：往大于实际分区数的分区发数据，比如发送端的第一层循环设为11：

可看到消费端此时虽能正常的完全消费这10个分区的数据，但生产端会报异常：

No partition metadata for topic blog4 due to kafka.common.LeaderNotAvailableException}] for topic [blog4]: class kafka.common.LeaderNotAvailableException 

这说明，你往partition11发送失败，因为卡夫卡已经设置了10个分区，你再往不存在的分区数发当然会报错了。

 

状况二：发送端用传统的发送方法，即KeyedMessage的构造函数只有topic和Message

 

Java代码   收藏代码
  1. //针对topic创建一个分区并发送数据  
  2.         List> messageList = new ArrayList>();  
  3.         for(int i = 1; i <= 10; i++){  
  4.             messageList.add(new KeyedMessage("blog6",  "我是发送的内容message"+i));  
  5.         }   
  6.         producer.send(messageList);   

 

消费端打印结果：

pool-2-thread-1: partition[7],offset[0], 我是发送的内容message1

pool-2-thread-1: partition[7],offset[1], 我是发送的内容message2

pool-2-thread-1: partition[7],offset[2], 我是发送的内容message3

pool-2-thread-1: partition[7],offset[3], 我是发送的内容message4

pool-2-thread-1: partition[7],offset[4], 我是发送的内容message5

pool-2-thread-1: partition[7],offset[5], 我是发送的内容message6

pool-2-thread-1: partition[7],offset[6], 我是发送的内容message7

pool-2-thread-1: partition[7],offset[7], 我是发送的内容message8

pool-2-thread-1: partition[7],offset[8], 我是发送的内容message9

pool-2-thread-1: partition[7],offset[9], 我是发送的内容message10

 

这表明，只用了1个消费线程消费1个分区的数据。这说明，如果发送端发送数据没有指定分区，即用的是

Java代码   收藏代码
  1. public KeyedMessage(String topic,V message) { this(topic, key, key, message); }  
  2. sendMessage(KeyedMessage(String topic,V message))  

的话，同样达不到多线程消费的效果！

 

状况三：将线程池的大小设置成比topicCountMap的value值小？

Java代码   收藏代码
  1. topicCountMap.put(topic, new Integer(7));  
  2. //......................  
  3. ExecutorService executor = Executors.newFixedThreadPool(5);  

 发送端往9个分区发送数据，run一下，会发现消费端打印结果：

pool-2-thread-3: partition[7],offset[0], message[The 7 message]

pool-2-thread-5: partition[1],offset[0], message[The 1 message]

pool-2-thread-4: partition[4],offset[0], message[The 4 message]

pool-2-thread-2: partition[3],offset[0], message[The 3 message]

pool-2-thread-4: partition[5],offset[0], message[The 5 message]

pool-2-thread-1: partition[8],offset[0], message[The 8 message]

pool-2-thread-2: partition[2],offset[0], message[The 2 message]

你会发现：虽然我生产发送端往9个分区发送了数据，但实际上只消费掉了7个分区的数据。（如果你再跑一边，可能又是6个分区的数据）——这说明，有的分区的数据没有被消费，原因只可能是线程不够。so，当线程池中的大小小于分区数时，会出现有的分区没有被采集的情况。建议设置：实际发送分区数（一般就等于设置的分区数）= topicCountMap的value = 线程池大小  否则极易出现reblance的异常！！！

 

好了，折腾这么久。我们可以看出，卡夫卡如果想要多线程消费提高效率的话，就可以从分区数上下手，分区数就是用来做并行消费的而且生产端的发送代码也很有讲究。（这只是针对某一个topic而言，当然实际情况中，你可以一个topic一个线程，同样达到多线程效果，当然这是后话了）

 

========================The end=====================

    博客分类： 
  • kafka
kafka group.partition offset 多线程消费 痛苦 

若要转载，请标明出处，谢谢！

http://raising.iteye.com/blog/2252456

=========================================================

首先，容我吐一口老血。。。。。。叫喊

kafka算是很麻烦的一件事儿，起因是最近需要采集大量的数据，原先是只用了典型的high-level Consumer的API，最经典的不过如下：

 

Java代码   收藏代码
  1. Properties props = new Properties();      
  2.        props.put("zookeeper.connect", "xxxx:2181");      
  3.        props.put("zookeeper.connectiontimeout.ms", "1000000");      
  4.        props.put("group.id", "test_group");    
  5.        props.put("zookeeper.session.timeout.ms", "40000");    
  6.        props.put("zookeeper.sync.time.ms", "200");    
  7.        props.put("auto.commit.interval.ms", "1000");    
  8.      
  9.        ConsumerConfig consumerConfig = new ConsumerConfig(props);      
  10.        ConsumerConnector consumerConnector = Consumer.createJavaConsumerConnector(consumerConfig);      
  11.      
  12.       
  13.        Map topicCountMap = new HashMap();      
  14.        topicCountMap.put("test", new Integer(1));      
  15.        //key--topic      
  16.        Mapbyte[], byte[]>>> consumerMap =     
  17.                consumerConnector.createMessageStreams(topicCountMap);    
  18.        KafkaStream<byte[], byte[]> stream = consumerMap.get("test").get(0);    
  19.        ConsumerIterator<byte[], byte[]> it = stream.iterator();    
  20.        StringBuffer sb = new StringBuffer();    
  21.        while(it.hasNext()) {    
  22.            try {    
  23.                String msg = new String(it.next().message(), "utf-8").trim();    
  24.                System.out.println("receive:" + msg);    
  25.            } catch (UnsupportedEncodingException e) {    
  26.                e.printStackTrace();    
  27.            }    
  28.        }    

 这是典型的kafka消费端消费数据的代码，但可以看出这是十分典型的单线程消费。在本地玩玩熟悉kafka还行，（就跟入门java学会写main方法打印hello world一样~~~~），问题是学的东西必须真正应用到实际中，你不可能只在单线程采集里原地打转吧。。so，多线程采集迫在眉急啊！！

 

 

本人研究卡夫卡多线程消费还是耗了一段时间的，希望把过程尽可能完整地记录下来，以便各位同行有需要可以参考。。

 

首先，最好理解kafka的基本原理和一些基本概念，阅读官网文档很有必要，这样才会有一个比较清晰的概念，而不是跟无头苍蝇一样乱撞——出了错去网上查是灰常痛苦滴！！

http://kafka.apache.org/documentation.html

 

好了，大概说下卡夫卡的“分区·”的概念吧：



 这张图比较清晰地描述了“分区”的概念，对于某一个topic的消息来说，我们可以把这组消息发送给若干个分区，就相当于一组消息分发一样。

分区、Offset、消费线程、group.id的关系

1）一组（类）消息通常由某个topic来归类，我们可以把这组消息“分发”给若干个分区（partition），每个分区的消息各不相同；

2）每个分区都维护着他自己的偏移量（Offset），记录着该分区的消息此时被消费的位置；

3）一个消费线程可以对应若干个分区，但一个分区只能被具体某一个消费线程消费；

4）group.id用于标记某一个消费组，每一个消费组都会被记录他在某一个分区的Offset，即不同consumer group针对同一个分区，都有“各自”的偏移量。

 

说完概念，必须要注意的一点是，必须确认卡夫卡的server.properties里面的一个属性num.partitions必须被设置成大于1的值，否则消费端再怎么折腾，也用不了多线程哦。我这里的环境下，该属性值被设置成10了。

 

重构一下上述经典的消费端代码：

 

Java代码   收藏代码
  1. public class KafakConsumer implements Runnable {  
  2.       
  3.     private ConsumerConfig consumerConfig;  
  4.     private static String topic="blog";  
  5.     Properties props;  
  6.     final int a_numThreads = 6;  
  7.       
  8.     public KafakConsumer() {  
  9.         props = new Properties();      
  10.         props.put("zookeeper.connect", "xxx:2181,yyy:2181,zzz:2181");    
  11. //      props.put("zookeeper.connect", "localhost:2181");      
  12. //        props.put("zookeeper.connectiontimeout.ms", "30000");      
  13.         props.put("group.id", "blog");    
  14.         props.put("zookeeper.session.timeout.ms", "400");  
  15.         props.put("zookeeper.sync.time.ms", "200");  
  16.         props.put("auto.commit.interval.ms", "1000");   
  17.         props.put("auto.offset.reset", "smallest");  
  18.         consumerConfig = new ConsumerConfig(props);  
  19.     }  
  20.       
  21.   
  22.     @Override  
  23.     public void run() {  
  24.           
  25.         Map topicCountMap = new HashMap();  
  26.         topicCountMap.put(topic, new Integer(a_numThreads));  
  27.         ConsumerConfig consumerConfig = new ConsumerConfig(props);  
  28.         ConsumerConnector consumer = kafka.consumer.Consumer.createJavaConsumerConnector(consumerConfig);  
  29.         Mapbyte[], byte[]>>> consumerMap = consumer.createMessageStreams(topicCountMap);  
  30.         Listbyte[], byte[]>> streams = consumerMap.get(topic);  
  31.         ExecutorService executor = Executors.newFixedThreadPool(a_numThreads);  
  32.         for (final KafkaStream stream : streams) {  
  33.             executor.submit(new KafkaConsumerThread(stream));  
  34.         }  
  35.   
  36.     }  
  37.       
  38.   
  39.     public static void main(String[] args) {  
  40.         System.out.println(topic);  
  41.         Thread t = new Thread(new KafakConsumer());  
  42.         t.start();  
  43.     }  
  44. }  

 从这段重构的代码可以看出，KafkaStream stream = consumerMap.get("test").get(0); 这行代码已被废弃，得到List>之后不再是得到他的头元素get(0)就ok了，而且topicCountMap.put(topic, new Integer(a_numThreads));的第二个参数也不再是1.

 

 其中，具体消费线程KafkaConsumerThread代码为：

Java代码   收藏代码
  1. public class KafkaConsumerThread implements Runnable {  
  2.       
  3.     private KafkaStream<byte[], byte[]> stream;  
  4.       
  5.     public KafkaConsumerThread(KafkaStream<byte[], byte[]> stream) {  
  6.         this.stream = stream;  
  7.     }  
  8.   
  9.     @Override  
  10.     public void run() {  
  11.         ConsumerIterator<byte[], byte[]> it = stream.iterator();  
  12.         while (it.hasNext()) {  
  13.             MessageAndMetadata<byte[], byte[]> mam = it.next();  
  14.             System.out.println(Thread.currentThread().getName() + ": partition[" + mam.partition() + "],"   
  15.             + "offset[" + mam.offset() + "], " + new String(mam.message()));  
  16.   
  17.         }  
  18.     }  
  19.   
  20. }  

 

 

编写生产端（Producer）的代码：

 

Java代码   收藏代码
  1. public class KafkaProducer implements Runnable {  
  2.       
  3.     private Producer producer = null;  
  4.       
  5.     private ProducerConfig config = null;  
  6.       
  7.       
  8.     public KafkaProducer() {  
  9.         Properties props = new Properties();  
  10.         props.put("zookeeper.connect", "*****:2181,****:2181,****:2181");  
  11.           
  12. //      props.put("zookeeper.connect", "localhost:2181");  
  13.           
  14.         // 指定序列化处理类，默认为kafka.serializer.DefaultEncoder,即byte[]  
  15.         props.put("serializer.class", "kafka.serializer.StringEncoder");  
  16.   
  17.         // 同步还是异步，默认2表同步，1表异步。异步可以提高发送吞吐量，但是也可能导致丢失未发送过去的消息  
  18.         props.put("producer.type", "sync");  
  19.   
  20.         // 是否压缩，默认0表示不压缩，1表示用gzip压缩，2表示用snappy压缩。压缩后消息中会有头来指明消息压缩类型，故在消费者端消息解压是透明的无需指定。  
  21.         props.put("compression.codec", "1");  
  22.   
  23.         // 指定kafka节点列表，用于获取metadata(元数据)，不必全部指定  
  24.         props.put("broker.list", "****:6667,***:6667,****:6667");  
  25.           
  26.         config = new ProducerConfig(props);  
  27.     }  
  28.   
  29.     @Override  
  30.     public void run() {  
  31.         producer = new Producer(config);  
  32. //      for(int i=0; i<10; i++) {  
  33. //          String sLine = "I'm number " + i;  
  34. //          KeyedMessage msg = new KeyedMessage("group1", sLine);  
  35. //          producer.send(msg);  
  36. //      }  
  37.         for(int i = 1; i <= 6; i++){ //往6个分区发数据   
  38.               List> messageList = new ArrayList>();    
  39.               for(int j = 0; j < 6; j++){ //每个分区6条讯息   
  40.                   messageList.add(new KeyedMessage  
  41.                   //String topic, String partition, String message  
  42.                     ("blog", "partition[" + i + "]", "message[The " + i + " message]"));  
  43.               }    
  44.               producer.send(messageList);    
  45.             }    
  46.       
  47.     }  
  48.       
  49.     public static void main(String[] args) {  
  50.         Thread t = new Thread(new KafkaProducer());  
  51.         t.start();  
  52.     }  
  53. }  

 上述生产端代码相对传统的发送端代码也做了改进，首先是用了批量发送（源码）：

 

 

Java代码   收藏代码
  1. public void send(List> messages)  
  2.   {  
  3.     underlying().send(JavaConversions..MODULE$.asScalaBuffer(messages).toSeq());  
  4.   }  

 而不是：

 

 

Java代码   收藏代码
  1. public void send(KeyedMessage message)  
  2.   {  
  3.     underlying().send(Predef..MODULE$.wrapRefArray((Object[])new KeyedMessage[] { message }));  
  4.   }  

 第二，KeyedMessage用的构造函数：

 

 

Java代码   收藏代码
  1. public KeyedMessage(String topic, K key, V message) { this(topic, key, key, message); }  

第二个参数表示分区的key。 

 

而非：

 

Java代码   收藏代码
  1. public KeyedMessage(String topic, V message) {  
  2.     this(topic, null, null, message);  
  3.   }  

 

 

分别run一下生产和消费的代码，可以看到消费端打印结果：

pool-2-thread-5: partition[5],offset[0], message[The 5 message]

pool-2-thread-1: partition[2],offset[0], message[The 2 message]

pool-2-thread-2: partition[1],offset[0], message[The 1 message]

pool-2-thread-5: partition[4],offset[0], message[The 4 message]

pool-2-thread-1: partition[3],offset[0], message[The 3 message]

pool-2-thread-4: partition[6],offset[0], message[The 6 message]

 

可以看到，6个分区的数据全部被消费了，但是不妨看下消费线程：pool-2-thread-1线程同时消费了partition[2]和partition[3]的数据；pool-2-thread-2消费了partiton[1]的数据；pool-2-thread-4消费了partiton[6]的数据；而pool-2-thread-5则消费了partitoin[4]和partition[5]的数据。

 

从上述消费情况来看，验证了消费线程和分区的对应情况——即：一个分区只能被一个线程消费，但一个消费线程可以消费多个分区的数据！虽然我指定了线程池的线程数为6，但并不是所有的线程都去消费了，这当然跟线程池的调度有关系了。并不是一个消费线程对应地去消费一个分区的数据。

 

我们不妨仔细看下消费端启动日志部分，这对我们理解kafka的启动生成和消费的原理有益：

【限于篇幅，启动日志略，只分析关键部分】

 

消费端的启动日志表明：

1）Consumer happy_Connor-PC-1445916157267-b9cce79d rebalancing the following partitions: ArrayBuffer(0, 1, 2, 3, 4, 5, 6, 7, 8, 9) for topic blog with consumers: List(happy_Connor-PC-1445916157267-b9cce79d-0, happy_Connor-PC-1445916157267-b9cce79d-1, happy_Connor-PC-1445916157267-b9cce79d-2, happy_Connor-PC-1445916157267-b9cce79d-3, happy_Connor-PC-1445916157267-b9cce79d-4, happy_Connor-PC-1445916157267-b9cce79d-5)

happy_Connor-PC-1445916157267-b9cce79d表示一个消费组，该topic可以使用10个分区：the following partitions: ArrayBuffer(0, 1, 2, 3, 4, 5, 6, 7, 8, 9) for topic blog。然后定义了6个消费线程，List(happy_Connor-PC-1445916157267-b9cce79d-0, happy_Connor-PC-1445916157267-b9cce79d-1, happy_Connor-PC-1445916157267-b9cce79d-2, happy_Connor-PC-1445916157267-b9cce79d-3, happy_Connor-PC-1445916157267-b9cce79d-4, happy_Connor-PC-1445916157267-b9cce79d-5)。消费线程的个数由topicCountMap.put(String topic, Integer count)的第二个参数决定。但真正去消费的线程还是由线程池的调度机制来决定；

2）线程由zookeeper来声明它拥有1个或多个分区；

3）真正有数据存在的分区是由生产发送端来决定，即使你的kafka设置了10个分区，消费端在消费的时候，消费线程虽然会根据zookeeper的某种机制来声明它所消费的分区，但实际消费过程中，还是会消费真正存在数据的分区。（本例中，你只往6个分区push了数据，所以即使你声明了10个分区，你也只能消费6个分区的数据）。

 

如果把topicCountMap的第二个参数Integer值改成1，发送端改成往7个分区发数据再测试，可得到消费端的打印结果：

Java代码   收藏代码
  1. pool-2-thread-1: partition[6],offset[0], message[The 6 message]  
  2. pool-2-thread-1: partition[3],offset[0], message[The 3 message]  
  3. pool-2-thread-1: partition[2],offset[0], message[The 2 message]  
  4. pool-2-thread-1: partition[5],offset[0], message[The 5 message]  
  5. pool-2-thread-1: partition[4],offset[0], message[The 4 message]  
  6. pool-2-thread-1: partition[7],offset[0], message[The 7 message]  
  7. pool-2-thread-1: partition[1],offset[0], message[The 1 message]  

 可以看出，如果你topicCountMap的值改成1，而 List>的size由Integer值决定，此时为1，可以看出，线程池中只能使用一个线程来发送，还是单线程的效果。若要用多线程消费，Integer的值必须大于1.

 

下面再来模拟一些状况：

状况一：往大于实际分区数的分区发数据，比如发送端的第一层循环设为11：

可看到消费端此时虽能正常的完全消费这10个分区的数据，但生产端会报异常：

No partition metadata for topic blog4 due to kafka.common.LeaderNotAvailableException}] for topic [blog4]: class kafka.common.LeaderNotAvailableException 

这说明，你往partition11发送失败，因为卡夫卡已经设置了10个分区，你再往不存在的分区数发当然会报错了。

 

状况二：发送端用传统的发送方法，即KeyedMessage的构造函数只有topic和Message

 

Java代码   收藏代码
  1. //针对topic创建一个分区并发送数据  
  2.         List> messageList = new ArrayList>();  
  3.         for(int i = 1; i <= 10; i++){  
  4.             messageList.add(new KeyedMessage("blog6",  "我是发送的内容message"+i));  
  5.         }   
  6.         producer.send(messageList);   

 

消费端打印结果：

pool-2-thread-1: partition[7],offset[0], 我是发送的内容message1

pool-2-thread-1: partition[7],offset[1], 我是发送的内容message2

pool-2-thread-1: partition[7],offset[2], 我是发送的内容message3

pool-2-thread-1: partition[7],offset[3], 我是发送的内容message4

pool-2-thread-1: partition[7],offset[4], 我是发送的内容message5

pool-2-thread-1: partition[7],offset[5], 我是发送的内容message6

pool-2-thread-1: partition[7],offset[6], 我是发送的内容message7

pool-2-thread-1: partition[7],offset[7], 我是发送的内容message8

pool-2-thread-1: partition[7],offset[8], 我是发送的内容message9

pool-2-thread-1: partition[7],offset[9], 我是发送的内容message10

 

这表明，只用了1个消费线程消费1个分区的数据。这说明，如果发送端发送数据没有指定分区，即用的是

Java代码   收藏代码
  1. public KeyedMessage(String topic,V message) { this(topic, key, key, message); }  
  2. sendMessage(KeyedMessage(String topic,V message))  

的话，同样达不到多线程消费的效果！

 

状况三：将线程池的大小设置成比topicCountMap的value值小？

Java代码   收藏代码
  1. topicCountMap.put(topic, new Integer(7));  
  2. //......................  
  3. ExecutorService executor = Executors.newFixedThreadPool(5);  

 发送端往9个分区发送数据，run一下，会发现消费端打印结果：

pool-2-thread-3: partition[7],offset[0], message[The 7 message]

pool-2-thread-5: partition[1],offset[0], message[The 1 message]

pool-2-thread-4: partition[4],offset[0], message[The 4 message]

pool-2-thread-2: partition[3],offset[0], message[The 3 message]

pool-2-thread-4: partition[5],offset[0], message[The 5 message]

pool-2-thread-1: partition[8],offset[0], message[The 8 message]

pool-2-thread-2: partition[2],offset[0], message[The 2 message]

你会发现：虽然我生产发送端往9个分区发送了数据，但实际上只消费掉了7个分区的数据。（如果你再跑一边，可能又是6个分区的数据）——这说明，有的分区的数据没有被消费，原因只可能是线程不够。so，当线程池中的大小小于分区数时，会出现有的分区没有被采集的情况。建议设置：实际发送分区数（一般就等于设置的分区数）= topicCountMap的value = 线程池大小  否则极易出现reblance的异常！！！

 

好了，折腾这么久。我们可以看出，卡夫卡如果想要多线程消费提高效率的话，就可以从分区数上下手，分区数就是用来做并行消费的而且生产端的发送代码也很有讲究。（这只是针对某一个topic而言，当然实际情况中，你可以一个topic一个线程，同样达到多线程效果，当然这是后话了）

 

========================The end=====================

你可能感兴趣的:(Kafka)

  • Kafka 消息丢失如何处理？ 架构文摘JGWZ 学习
    今天给大家分享一个在面试中经常遇到的问题：Kafka消息丢失该如何处理？这个问题啊，看似简单，其实里面藏着很多“套路”。来，咱们先讲一个面试的“真实”案例。面试官问：“Kafka消息丢失如何处理？”小明一听，反问：“你是怎么发现消息丢失了？”面试官顿时一愣，沉默了片刻后，可能有点不耐烦，说道：“这个你不用管，反正现在发现消息丢失了，你就说如何处理。”小明一头雾水：“问题是都不知道怎么丢的，处理起来
  • 【六】阿伟开始搭建Kafka学习环境 能源恒观 中间件学习kafkaspring
    阿伟开始搭建Kafka学习环境概述上一篇文章阿伟学习了Kafka的核心概念，并且把市面上流行的消息中间件特性进行了梳理和对比，方便大家在学习过程中进行对比学习，最后梳理了一些Kafka使用中经常遇到的Kafka难题以及解决思路，经过上一篇的学习我相信大家对Kafka有了初步的认识，本篇将继续学习Kafka。一、安装和配置学习一项技术首先要搭建一套服务，而Kafka的运行主要需要部署jdk、zook
  • Java面试题精选：消息队列(二) 芒果不是芒 Java面试题精选javakafka
    一、Kafka的特性1.消息持久化：消息存储在磁盘，所以消息不会丢失2.高吞吐量：可以轻松实现单机百万级别的并发3.扩展性：扩展性强，还是动态扩展4.多客户端支持：支持多种语言（Java、C、C++、GO、）5.KafkaStreams（一个天生的流处理）:在双十一或者销售大屏就会用到这种流处理。使用KafkaStreams可以快速的把销售额统计出来6.安全机制：Kafka进行生产或者消费的时候会
  • Kafka是如何保证数据的安全性、可靠性和分区的 喜欢猪猪 kafka分布式
    Kafka作为一个高性能、可扩展的分布式流处理平台，通过多种机制来确保数据的安全性、可靠性和分区的有效管理。以下是关于Kafka如何保证数据安全性、可靠性和分区的详细解析：一、数据安全性SSL/TLS加密：Kafka支持SSL/TLS协议，通过配置SSL证书和密钥来加密数据传输，确保数据在传输过程中不会被窃取或篡改。这一机制有效防止了中间人攻击，保护了数据的安全性。SASL认证：Kafka支持多种
  • Kafka详细解析与应用分析 芊言芊语 kafka分布式
    Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），由LinkedIn公司最初采用Scala语言开发，并基于ZooKeeper协调管理。如今，Kafka已经被Apache基金会纳入其项目体系，广泛应用于大数据实时处理领域。Kafka凭借其高吞吐量、持久化、分布式和可靠性的特点，成为构建实时流数据管道和流处理应用程序的重要工具。Kafka架构Kafka的架构主要由
  • Kafka 基础与架构理解 StaticKing KAFKAkafka
    目录前言Kafka基础概念消息队列简介：Kafka与传统消息队列（如RabbitMQ、ActiveMQ）的对比Kafka的组件Kafka的工作原理：消息的生产、分发、消费流程Kafka系统架构Kafka的分布式架构设计Leader-Follower机制与数据复制Log-basedStorage和持久化Broker间通信协议Zookeeper在Kafka中的角色总结前言Kafka是一个分布式的消息系
  • 全面指南：用户行为从前端数据采集到实时处理的最佳实践 数字沉思 营销流量运营系统架构前端内容运营大数据
    引言在当今的数据驱动世界，实时数据采集和处理已经成为企业做出及时决策的重要手段。本文将详细介绍如何通过前端JavaScript代码采集用户行为数据、利用API和Kafka进行数据传输、通过Flink实时处理数据的完整流程。无论你是想提升产品体验还是做用户行为分析，这篇文章都将为你提供全面的解决方案。设计一个通用的ClickHouse表来存储用户事件时，需要考虑多种因素，包括事件类型、时间戳、用户信
  • Docker安装Kafka和Kafka-Manager 阿靖哦
    本文介绍如何通过Docker安装kafka与kafka界面管理界面一、拉取zookeeper由于kafka需要依赖于zookeeper，因此这里先运行zookeeper1、拉取镜像dockerpullwurstmeister/zookeeper2、启动dockerrun-d--namezookeeper-p2181:2181-eTZ="Asia/Shanghai"--restartalwayswu
  • 主流行架构 rainbowcheng 架构架构
    nexus，gitlab,svn,jenkins,sonar,docker，apollo，catteambition，axure，蓝湖，禅道,WCP；redis，kafka，es，zookeeper，dubbo，shardingjdbc，mysql，InfluxDB，Telegraf，Grafana，Nginx，xxl-job，Neo4j,NebulaGraph是一个高性能的,NOSQL图形数据库
  • 月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线 「已注销」 个人总结hadoop
    一、时间线梳理3月3日，寻找到同专业的就业伙伴3月5日，着手准备Java八股文，决定先走Java后端路线3月8月，申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka的视频，同时在准备实习的项目3月20日，退
  • 分布式消息队列Kafka 叶域 大数据分布式kafkascalaspark
    分布式消息队列Kafka简介：Kafka是一个分布式消息队列系统，用于处理实时数据流。消息按照主题（Topic）进行分类存储，发送消息的实体称为Producer，接收消息的实体称为Consumer。Kafka集群由多个Kafka实例（Server）组成，每个实例称为Broker。主要用途：广泛应用于构建实时数据管道和流应用程序，适用于需要高吞吐量和低延迟的数据处理场景依赖：Kafka集群和消费者依
  • K8S学习之PV&&PVC david161
    部署mysql之前我们需要先了解一个概念有状态服务。这是一种特殊的服务，简单的归纳下就是会产生需要持久化的数据，并且有很强的I/O需求，且重启需要依赖上次存储到磁盘的数据。如典型的mysql，kafka，zookeeper等等。在我们有比较优秀的商业存储的前提下，非常推荐使用有状态服务进行部署，计算和存储分离那是相当的爽的。在实际生产中如果没有这种存储，localPV也是不错的选择，当然local
  • Kafka系列之：kafka命令详细总结 快乐骑行^_^ 日常分享专栏KafkaKafka系列kafka命令详细总结
    Kafka系列之：kafka命令详细总结一、添加和删除topic二、修改topic三、平衡领导者四、检查消费者位置五、管理消费者群体一、添加和删除topicbin/kafka-topics.sh--bootstrap-serverbroker_host:port--create--topicmy_topic_name\--partitions20--replication-factor3--con
  • 搭建Kafka+zookeeper集群调度 krb___ kafka分布式
    前言硬件环境172.18.0.5kafkazk1Kafka+zookeeperKafkaBroker集群172.18.0.6kafkazk2Kafka+zookeeperKafkaBroker集群172.18.0.7kafkazk3Kafka+zookeeperKafkaBroker集群软件环境zookeeper3.5.9资源调度、写作Kafka2.8.0消息通信中间件安装JDK1.8安装搭建zo
  • Kafka和Pulsar深入解析 jasen91 大数据开发kafka分布式
    Kafka多租户：单租户系统数据迁移：依赖MirrorMaker，需要额外维护。市场上也有ConfluentReplicator等供应商工具。分层存储：由供应商提供商业使用。组件依赖：KafkaRaft（KRaft）从Kafka2.8开始处于早期访问模式，允许Kafka在没有ZooKeeper的情况下工作。这对Kafka来说是一个显著的优势，因为它简化了Kafka的体系结构并降低了学习成本。云原生
  • Linux系统部署Kafka教学 情书学长 linux学习笔记kafka
    第一步：Zookeeper安装（准备工作）1、解压安装将安装包上传到/opt/software目录下，解压并修改名称tar-zxvfapache-zookeeper-3.5.7-bin.tar.gz-C/opt/module/mvapache-zookeeper-3.5.7-bin/zookeeper2、配置服务器编号1)在/opt/module/zookeeper-3.5.7/这个目录下创建zk
  • 数仓开发之DWD层完整使用 (第五章) 小坏讲微服务 数据仓库hadoopscalakafka
    数仓开发之DWD层完整使用一、流量域未精加工的事务事实表1、主要任务1）数据清洗（ETL）2）新老访客状态标记修复3）分流2、思路1）数据清洗（ETL）2）新老访客状态标记修复（1）前端埋点新老访客状态标记设置规则（2）新老访客状态标记修复思路3）利用侧输出流实现数据拆分（1）埋点日志结构分析（2）分流日志分类（3）分流思路3、图解4、代码1）在KafkaUtil工具类中补充getKafkaPro
  • Kafka 应用场景 zinuxer kafka分布式
    数据流处理：Kafka支持实时数据流处理，能够在数据流动时进行处理和分析，确保应用程序与最新信息保持同步！日志聚合：可以将来自不同来源的日志集中和聚合，简化应用程序的调试和监控！消息队列：Kafka充当高性能的消息队列，确保不同系统组件之间可靠且可扩展的通信！网络活动追踪：Kafka可以追踪网络活动，改进用户体验和推动业务增长！数据复制：Kafka允许在多个集群之间实现无缝数据复制，确保高可用性和
  • Kafka的ack机制 香山上的麻雀
    ack=0/1/-1的不同情况：0：producer不等待broker的ack，broker一接收到还没有写入磁盘就已经返回，当broker故障时有可能丢失数据；1：producer等待broker的ack，partition的leader落盘成功后返回ack，如果在follower同步成功之前leader故障，那么将会丢失数据；-1：producer等待broker的ack，partition的
  • Kafka 实战 - Kafka分区和副本机制理解 用心去追梦 kafka分布式
    ApacheKafka的分区（Partition）和副本（Replica）机制是其核心架构和可靠性保证的关键组成部分。以下是对其理解的详细解释：分区（Partition）分区概念：在Kafka中，每个主题（Topic）可以被划分为多个分区。分区是一个有序的、不可变的消息序列。这意味着消息在分区中按生成顺序存储，每个消息都有一个唯一的偏移量（Offset）。目的：分区的主要目的是为了水平扩展和并行处
  • 编程常用命令总结 Yellow0523 LinuxBigData大数据
    编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令kafka命令Hibench命令MySQL命令3.Linux常用命令Git命令conda命令pip命令查看Linux系统的详细信息查看Linux系统架构(X86还是ARM，两种方法都可)端口号命令L
  • zookeeper+kafka消息队列部署 TBF610218 zookeeperkafka分布式
    消息队列的概念什么是消息队列消息是指在应用间传送的数据消息队列是一种应用间的通信方式解决方法，确保消息的可靠传递专门为消息做缓存的消息队列的特征存储将消息存储在某个类型的缓冲区中，指导目标进读取这些消息或者将其从消息队列中显示移除为止异步消息队列通过缓冲消息可以在应用程序当中公开一定程度的异步性，允许源进程发送消息并在队列当中累积消息，而且目标进程可以挑选消息并进行处理为什么需要消息队列解耦冗余扩
  • 分布式中间件-几个常用的消息中间件 问道飞鱼 分布式技术分布式中间件
    文章目录常见消息中间件1.RabbitMQ2.ApacheKafka3.RedisPub/Sub4.ActiveMQ5.AmazonSimpleNotificationService(SNS)和SimpleQueueService(SQS)6.RocketMQ差异总结消息协议1.AMQP(AdvancedMessageQueuingProtocol)2.STOMP(SimpleTextOrient
  • kafka php 教程,php 使用kafka weixin_39713841 kafkaphp教程
    准备工作gitclonehttps://github.com/edenhill/librdkafka.git./configuremakesudomakeinstall$gitclonehttps://github.com/arnaud-lb/php-rdkafka.git#生成configure文件$/Users/shiyibo/LNMP/php/bin/phpize#编译安装$./config
  • Kafka快速入门 G丶AEOM 速成学习区kafkalinq分布式
    讲一下什么是Kafka首先引入这样一个场景：A服务可以发送200qps（QueriesPerSecond，是指每秒查询率），而B服务可以处理100qps。很显然，B服务很可能会被A服务压垮掉。怎么为了保证B不被压垮的同时还能处理A消息，没有什么是不能通过一层中间件解决的，如果有，那就再加一层。开始很容易想到，可以在B服务中增加一个队列，其实就是个链表，B服务根据自己的消费能力，消费链表中的消息。每
  • 【Python系列】异步任务的终止 Kwan的解忧杂货铺@新空间代码工作室 s2Pythonpython开发语言
    欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,Git,
  • 老版本kafka查询topic消费情况(python查询) 代码是谁 kafkapython分布式
    由于老版本的kafka缺少shell，导致无法通过命令直接进行查询，所以通过python代码，实现消费情况查询安装必须的包#pyhon2.5pipinstallkafka-python==1.4.7python脚本#!/usr/bin/envpythonimportsysfromkafkaimportKafkaConsumer,TopicPartitioniflen(sys.argv)!=2:pr
  • 【Python系列】使用切片移动元素位置 Kwan的解忧杂货铺@新空间代码工作室 s2Pythonpython开发语言
    欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,Git,
  • 字节架构师：来说说 Kafka 的消费者客户端详解，你都搞懂了吗？ 2401_84049200 程序员kafkalinq分布式
    点对点模式基于队列，类似于同一个消费者组中的数据，由生产者发送数据到分区，然后消费者拉取分区的消息进行消费，此时消息只能被同一个消费者组的消费者消费一次。发布订阅模式模式就是kafka中的分区消息可以被不同消费者组的消费者消费。这就是一对多的广播模式应用。当然，消费者组是一个逻辑的概念，通过客户端参数group.id来配置，默认值为空字符串。而消费者并不是逻辑的概念，它是真正消费数据的实体，可以是
  • Java Kafka生产者实现 stormsha Javawebjavakafkalinq
    欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐：「stormsha的主页」，「stormsha的知识库」持续学习，不断总结，共同进步，为了踏实，做好当下事儿~专栏导航Python系列:Python面试题合集，剑指大厂Git系列:Git操作技巧GO系列:记录博主学习GO语言的笔记，该笔记专栏
  • 解读Servlet原理篇二---GenericServlet与HttpServlet 周凡杨 javaHttpServlet源理GenericService源码
    在上一篇《解读Servlet原理篇一》中提到，要实现javax.servlet.Servlet接口（即写自己的Servlet应用），你可以写一个继承自javax.servlet.GenericServletr的generic Servlet ，也可以写一个继承自java.servlet.http.HttpServlet的HTTP Servlet（这就是为什么我们自定义的Servlet通常是exte
  • MySQL性能优化 bijian1013 数据库mysql
            性能优化是通过某些有效的方法来提高MySQL的运行速度，减少占用的磁盘空间。性能优化包含很多方面，例如优化查询速度，优化更新速度和优化MySQL服务器等。本文介绍方法的主要有：         a.优化查询         b.优化数据库结构  
  • ThreadPool定时重试 dai_lm javaThreadPoolthreadtimertimertask
    项目需要当某事件触发时，执行http请求任务，失败时需要有重试机制，并根据失败次数的增加，重试间隔也相应增加，任务可能并发。 由于是耗时任务，首先考虑的就是用线程来实现，并且为了节约资源，因而选择线程池。 为了解决不定间隔的重试，选择Timer和TimerTask来完成 package threadpool; public class ThreadPoolTest {
  • Oracle 查看数据库的连接情况 周凡杨 sqloracle 连接
    首先要说的是，不同版本数据库提供的系统表会有不同，你可以根据数据字典查看该版本数据库所提供的表。 select * from dict where table_name like '%SESSION%'; 就可以查出一些表，然后根据这些表就可以获得会话信息 select sid,serial#,status,username,schemaname,osuser,terminal,ma
  • 类的继承 朱辉辉33 java
    类的继承可以提高代码的重用行，减少冗余代码；还能提高代码的扩展性。Java继承的关键字是extends 格式:public class 类名（子类）extends 类名（父类）{ } 子类可以继承到父类所有的属性和普通方法，但不能继承构造方法。且子类可以直接使用父类的public和 protected属性，但要使用private属性仍需通过调用。 子类的方法可以重写，但必须和父类的返回值类
  • android 悬浮窗特效 肆无忌惮_ android
    最近在开发项目的时候需要做一个悬浮层的动画，类似于支付宝掉钱动画。但是区别在于，需求是浮出一个窗口，之后边缩放边位移至屏幕右下角标签处。效果图如下：   一开始考虑用自定义View来做。后来发现开线程让其移动很卡，ListView+动画也没法精确定位到目标点。   后来想利用Dialog的dismiss动画来完成。   自定义一个Dialog后，在styl
  • hadoop伪分布式搭建 林鹤霄 hadoop
    要修改4个文件    1: vim hadoop-env.sh  第九行    2: vim core-site.xml            <configuration>     &n
  • gdb调试命令 aigo gdb
    原文：http://blog.csdn.net/hanchaoman/article/details/5517362   一、GDB常用命令简介   r run 运行.程序还没有运行前使用 c             cuntinue 
  • Socket编程的HelloWorld实例 alleni123 socket
    public class Client { public static void main(String[] args) { Client c=new Client(); c.receiveMessage(); } public void receiveMessage(){ Socket s=null; BufferedRea
  • 线程同步和异步 百合不是茶 线程同步异步
    多线程和同步 : 如进程、线程同步，可理解为进程或线程A和B一块配合，A执行到一定程度时要依靠B的某个结果，于是停下来，示意B运行；B依言执行，再将结果给A；A再继续操作。 所谓同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不返回，同时其它线程也不能调用这个方法   多线程和异步:多线程可以做不同的事情,涉及到线程通知     &
  • JSP中文乱码分析 bijian1013 javajsp中文乱码
            在JSP的开发过程中，经常出现中文乱码的问题。         首先了解一下Java中文问题的由来：         Java的内核和class文件是基于unicode的，这使Java程序具有良好的跨平台性，但也带来了一些中文乱码问题的麻烦。原因主要有两方面，
  • js实现页面跳转重定向的几种方式 bijian1013 JavaScript重定向
            js实现页面跳转重定向有如下几种方式： 一.window.location.href <script language="javascript"type="text/javascript"> window.location.href="http://www.baidu.c
  • 【Struts2三】Struts2 Action转发类型 bit1129 struts2
     在【Struts2一】 Struts Hello World http://bit1129.iteye.com/blog/2109365中配置了一个简单的Action，配置如下   <!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configurat
  • 【HBase十一】Java API操作HBase bit1129 hbase
    Admin类的主要方法注释：   1. 创建表 /** * Creates a new table. Synchronous operation. * * @param desc table descriptor for table * @throws IllegalArgumentException if the table name is res
  • nginx gzip ronin47 nginx gzip
    Nginx GZip 压缩 Nginx GZip 模块文档详见：http://wiki.nginx.org/HttpGzipModule 常用配置片段如下： gzip on; gzip_comp_level 2; # 压缩比例，比例越大，压缩时间越长。默认是1 gzip_types text/css text/javascript; # 哪些文件可以被压缩 gzip_disable &q
  • java-7.微软亚院之编程判断俩个链表是否相交 给出俩个单向链表的头指针，比如 h1 ， h2 ，判断这俩个链表是否相交 bylijinnan java
    public class LinkListTest { /** * we deal with two main missions: * * A. * 1.we create two joined-List(both have no loop) * 2.whether list1 and list2 join * 3.print the join
  • Spring源码学习-JdbcTemplate batchUpdate批量操作 bylijinnan javaspring
    Spring JdbcTemplate的batch操作最后还是利用了JDBC提供的方法，Spring只是做了一下改造和封装 JDBC的batch操作： String sql = "INSERT INTO CUSTOMER " + "(CUST_ID, NAME, AGE) VALUES (?, ?, ?)";
  • [JWFD开源工作流]大规模拓扑矩阵存储结构最新进展 comsci 工作流
        生成和创建类已经完成,构造一个100万个元素的矩阵模型,存储空间只有11M大,请大家参考我在博客园上面的文档"构造下一代工作流存储结构的尝试",更加相信的设计和代码将陆续推出.........     竞争对手的能力也很强.......,我相信..你们一定能够先于我们推出大规模拓扑扫描和分析系统的....
  • base64编码和url编码 cuityang base64url
    import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintWriter; import java.io.StringWriter; import java.io.UnsupportedEncodingException;
  • web应用集群Session保持 dalan_123 session
    关于使用 memcached 或redis 存储 session ，以及使用 terracotta 服务器共享。建议使用 redis，不仅仅因为它可以将缓存的内容持久化，还因为它支持的单个对象比较大，而且数据类型丰富，不只是缓存 session，还可以做其他用途，一举几得啊。1、使用 filter 方法存储这种方法比较推荐，因为它的服务器使用范围比较多，不仅限于tomcat ，而且实现的原理比较简
  • Yii 框架里数据库操作详解-[增加、查询、更新、删除的方法 'AR模式'] dcj3sjt126com 数据库
        public function getMinLimit () {        $sql = "...";        $result = yii::app()->db->createCo
  • solr StatsComponent（聚合统计） eksliang solr聚合查询solr stats
    StatsComponent 转载请出自出处：http://eksliang.iteye.com/blog/2169134 http://eksliang.iteye.com/ 一、概述        Solr可以利用StatsComponent 实现数据库的聚合统计查询，也就是min、max、avg、count、sum的功能   二、参数
  • 百度一道面试题 greemranqq 位运算百度面试寻找奇数算法bitmap 算法
    那天看朋友提了一个百度面试的题目：怎么找出{1,1,2,3,3,4,4,4,5,5,5,5}  找出出现次数为奇数的数字.   我这里复制的是原话，当然顺序是不一定的，很多拿到题目第一反应就是用map,当然可以解决，但是效率不高。   还有人觉得应该用算法xxx,我是没想到用啥算法好...！   还有觉得应该先排序...   还有觉
  • Spring之在开发中使用SpringJDBC ihuning spring
      在实际开发中使用SpringJDBC有两种方式：   1. 在Dao中添加属性JdbcTemplate并用Spring注入；     JdbcTemplate类被设计成为线程安全的，所以可以在IOC 容器中声明它的单个实例，并将这个实例注入到所有的 DAO 实例中。JdbcTemplate也利用了Java 1.5 的特定(自动装箱，泛型，可变长度
  • JSON API 1.0 核心开发者自述 | 你所不知道的那些技术细节 justjavac json
    2013年5月，Yehuda Katz 完成了JSON API(英文，中文) 技术规范的初稿。事情就发生在 RailsConf 之后，在那次会议上他和 Steve Klabnik 就 JSON 雏形的技术细节相聊甚欢。在沟通单一 Rails 服务器库—— ActiveModel::Serializers 和单一 JavaScript 客户端库——&
  • 网站项目建设流程概述 macroli 工作
    一.概念 网站项目管理就是根据特定的规范、在预算范围内、按时完成的网站开发任务。 二.需求分析 项目立项 　　我们接到客户的业务咨询，经过双方不断的接洽和了解，并通过基本的可行性讨论够，初步达成制作协议，这时就需要将项目立项。较好的做法是成立一个专门的项目小组，小组成员包括：项目经理，网页设计，程序员，测试员，编辑/文档等必须人员。项目实行项目经理制。 客户的需求说明书 　　第一步是需
  • AngularJs 三目运算 表达式判断 qiaolevip 每天进步一点点学习永无止境众观千象AngularJS
    事件回顾：由于需要修改同一个模板，里面包含2个不同的内容，第一个里面使用的时间差和第二个里面名称不一样，其他过滤器，内容都大同小异。希望杜绝If这样比较傻的来判断if-show or not，继续追究其源码。 var b = "{{", a = "}}"; this.startSymbol = function(a) {
  • Spark算子：统计RDD分区中的元素及数量 superlxw1234 sparkspark算子Spark RDD分区元素
    关键字：Spark算子、Spark RDD分区、Spark RDD分区元素数量     Spark RDD是被分区的，在生成RDD时候，一般可以指定分区的数量，如果不指定分区数量，当RDD从集合创建时候，则默认为该程序所分配到的资源的CPU核数，如果是从HDFS文件创建，默认为文件的Block数。   可以利用RDD的mapPartitionsWithInd
  • Spring 3.2.x将于2016年12月31日停止支持 wiselyman Spring 3
                  Spring 团队公布在2016年12月31日停止对Spring Framework 3.2.x（包含tomcat 6.x）的支持。在此之前spring团队将持续发布3.2.x的维护版本。          请大家及时准备及时升级到Spring
  • fis纯前端解决方案fis-pure zccst JavaScript
    作者：zccst FIS通过插件扩展可以完美的支持模块化的前端开发方案，我们通过FIS的二次封装能力，封装了一个功能完备的纯前端模块化方案pure。 1，fis-pure的安装 $ fis install -g fis-pure $ pure -v 0.1.4 2，下载demo到本地 git clone https://github.com/hefangshi/f
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他