kafka2.9.2的伪分布式集群安装和demo(java api)测试

目录：
　　一、什么是kafka?
　　二、kafka的官方网站在哪里？
　　三、在哪里下载？需要哪些组件的支持？
　　四、如何安装？
　　五、FAQ
　　六、扩展阅读
 
　　一、什么是kafka?
　　kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）。
　　kafka目前支持多种客户端语言：java，python，c++，php等等。
　　kafka集群的简要图解如下，producer写入消息，consumer读取消息：
 
　　kafka设计目标
    • 高吞吐量是其核心设计之一。
    • 数据磁盘持久化：消息不在内存中cache，直接写入到磁盘，充分利用磁盘的顺序读写性能。
    • zero-copy：减少IO操作步骤。
    • 支持数据批量发送和拉取。
    • 支持数据压缩。
    • Topic划分为多个partition，提高并行处理能力。
 
　　kafka名词解释和工作方式：
    • Producer ：消息生产者，就是向kafka broker发消息的客户端。
    • Consumer ：消息消费者，向kafka broker取消息的客户端
    • Topic ：可以理解为一个队列。
    • Consumer Group （CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手段。一个topic可以有多个CG。topic的消息会复制（不是真的复制，是概念上的）到所有的CG，但每个CG只会把消息发给该CG中的一个consumer。如果需要实现广播，只要每个consumer有一个独立的CG就可以了。要实现单播只要所有的consumer在同一个CG。用CG还可以将consumer进行自由的分组而不需要多次发送消息到不同的topic。
    • Broker ：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。
    • Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。kafka只保证按一个partition中的顺序将消息发给consumer，不保证一个topic的整体（多个partition间）的顺序。
    •  Offset：kafka的存储文件都是按照offset.kafka来命名，用offset做名字的好处是方便查找。例如你想找位于2049的位置，只要找到2048.kafka的文件即可。当然the first offset就是00000000000.kafka
 
　　kafak系统扩展性：
    • kafka使用zookeeper来实现动态的集群扩展，不需要更改客户端（producer和consumer）的配置。broker会在zookeeper注册并保持相关的元数据（topic，partition信息等）更新。
    • 而客户端会在zookeeper上注册相关的watcher。一旦zookeeper发生变化，客户端能及时感知并作出相应调整。这样就保证了添加或去除broker时，各broker间仍能自动实现负载均衡。
 
　　kafak和zookeeper的关系：
    • Producer端使用zookeeper用来"发现"broker列表,以及和Topic下每个partition leader建立socket连接并发送消息.
    • Broker端使用zookeeper用来注册broker信息,已经监测partition leader存活性.
    • Consumer端使用zookeeper用来注册consumer信息,其中包括consumer消费的partition列表等,同时也用来发现broker列表,并和partition leader建立socket连接,并获取消息.
 
　　二、kafka的官方网站在哪里？
 
　　三、在哪里下载？需要哪些组件的支持？
　　kafka2.9.2在下面的地址可以下载：
 
　　需要zookeeper的支持，相关安装及下载，可以参考这篇文章《 ubuntu12.04+hadoop2.2.0+zookeeper3.4.5+hbase0.96.2+hive0.13.1分布式环境部署》
 
　　四、如何安装？
　　1、解压kafka_2.9.2-0.8.1.1.tgz，本文中解压到/home/hadoop目录下
?
1
2
root@m1: /home/hadoop/kafka_2 .9.2-0.8.1.1 # pwd
/home/hadoop/kafka_2 .9.2-0.8.1.1
　　2、修改server.properties配置文件。这里使用zookeeper的部分，请参考可以参考这篇文章《 ubuntu12.04+hadoop2.2.0+zookeeper3.4.5+hbase0.96.2+hive0.13.1分布式环境部署》中的配置，见下方第123行：
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
root@m1: /home/hadoop/kafka_2 .9.2-0.8.1.1 # cat config/server.properties
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#    http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# see kafka.server.KafkaConfig for additional details and defaults
 
############################# Server Basics #############################
 
# The id of the broker. This must be set to a unique integer for each broker.
#整数，建议根据ip区分,这里我是使用zookeeper中的id来设置
broker. id =1
 
############################# Socket Server Settings #############################
 
# The port the socket server listens on
#broker用于接收producer消息的端口
port=9092
#port=44444
 
# Hostname the broker will bind to. If not set, the server will bind to all interfaces
#broker的hostname
host.name=m1
 
# Hostname the broker will advertise to producers and consumers. If not set, it uses the
# value for "host.name" if configured.  Otherwise, it will use the value returned from
# java.net.InetAddress.getCanonicalHostName().
#这个是配置PRODUCER/CONSUMER连上来的时候使用的地址
advertised.host.name=m1
 
# The port to publish to ZooKeeper for clients to use. If this is not set,
# it will publish the same port that the broker binds to.
#advertised.port=<port accessible by clients>
 
# The number of threads handling network requests
num.network.threads=2
  
# The number of threads doing disk I/O
num.io.threads=8
 
# The send buffer (SO_SNDBUF) used by the socket server
socket.send.buffer.bytes=1048576
 
# The receive buffer (SO_RCVBUF) used by the socket server
socket.receive.buffer.bytes=1048576
 
# The maximum size of a request that the socket server will accept (protection against OOM)
socket.request.max.bytes=104857600
 
 
############################# Log Basics #############################
 
# A comma seperated list of directories under which to store log files
#kafka存放消息文件的路径
log. dirs = /home/hadoop/kafka_2 .9.2-0.8.1.1 /kafka-logs
 
# The default number of log partitions per topic. More partitions allow greater
# parallelism for consumption, but this will also result in more files across
# the brokers.
#topic的默认分区数
num.partitions=2
 
############################# Log Flush Policy #############################
 
# Messages are immediately written to the filesystem but by default we only fsync() to sync
# the OS cache lazily. The following configurations control the flush of data to disk.
# There are a few important trade-offs here:
#    1. Durability: Unflushed data may be lost if you are not using replication.
#    2. Latency: Very large flush intervals may lead to latency spikes when the flush does occur as there will be a lot of data to flush.
#    3. Throughput: The flush is generally the most expensive operation, and a small flush interval may lead to exceessive seeks.
# The settings below allow one to configure the flush policy to flush data after a period of time or
# every N messages (or both). This can be done globally and overridden on a per-topic basis.
 
# The number of messages to accept before forcing a flush of data to disk
#log.flush.interval.messages=10000
 
# The maximum amount of time a message can sit in a log before we force a flush
#log.flush.interval.ms=1000
 
############################# Log Retention Policy #############################
 
# The following configurations control the disposal of log segments. The policy can
# be set to delete segments after a period of time, or after a given size has accumulated.
# A segment will be deleted whenever *either* of these criteria are met. Deletion always happens
# from the end of the log.
 
# The minimum age of a log file to be eligible for deletion
#kafka接收日志的存储目录(目前我们保存7天数据log.retention.hours=168)
log.retention.hours=168
 
# A size-based retention policy for logs. Segments are pruned from the log as long as the remaining
# segments don't drop below log.retention.bytes.
#log.retention.bytes=1073741824
 
# The maximum size of a log segment file. When this size is reached a new log segment will be created.
log.segment.bytes=536870912
 
# The interval at which log segments are checked to see if they can be deleted according
# to the retention policies
log.retention.check.interval.ms=60000
 
# By default the log cleaner is disabled and the log retention policy will default to just delete segments after their retention expires.
# If log.cleaner.enable=true is set the cleaner will be enabled and individual logs can then be marked for log compaction.
log.cleaner. enable = false
 
############################# Zookeeper #############################
 
# Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=m1:2181,m2:2181,s1:2181,s2:2181
 
# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=1000000
　　3、启动zookeeper和kafka
　　　　1)zookeeper的启动，请参考这篇文章《 ubuntu12.04+hadoop2.2.0+zookeeper3.4.5+hbase0.96.2+hive0.13.1分布式环境部署》
　　　　启动后可以用以下命令在每台机器上查看状态：
?
1
2
3
4
root@m1: /home/hadoop # /home/hadoop/zookeeper-3.4.5/bin/zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/zookeeper-3 .4.5 /bin/ .. /conf/zoo .cfg
Mode: leader
　　　　2)在m1,m2,m3,m4的机器上启动kafka，在这之前请先将m1上的kafka复制到另外三台机器上，复制后，记得更改server.properties配置文件中的host名称为当前所在机器。以下代码是在m1上执行后的效果：
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
root@m1: /home/hadoop # /home/hadoop/kafka_2.9.2-0.8.1.1/bin/kafka-server-start.sh /home/hadoop/kafka_2.9.2-0.8.1.1/config/server.properties &
[1] 31823
root@m1: /home/hadoop # [2014-08-05 10:03:11,210] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,261] INFO Property advertised.host.name is overridden to m1 (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,261] INFO Property broker. id is overridden to 1 (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,264] INFO Property host.name is overridden to m1 (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,264] INFO Property log.cleaner. enable is overridden to false (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,264] INFO Property log. dirs is overridden to /home/hadoop/kafka_2 .9.2-0.8.1.1 /kafka-logs (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,265] INFO Property log.retention.check.interval.ms is overridden to 60000 (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,265] INFO Property log.retention.hours is overridden to 168 (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,265] INFO Property log.segment.bytes is overridden to 536870912 (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,265] INFO Property num.io.threads is overridden to 8 (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,266] INFO Property num.network.threads is overridden to 2 (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,266] INFO Property num.partitions is overridden to 2 (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,267] INFO Property port is overridden to 9092 (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,267] INFO Property socket.receive.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,268] INFO Property socket.request.max.bytes is overridden to 104857600 (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,268] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,268] INFO Property zookeeper.connect is overridden to m1:2181,m2:2181,s1:2181,s2:2181 (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,269] INFO Property zookeeper.connection.timeout.ms is overridden to 1000000 (kafka.utils.VerifiableProperties)
[2014-08-05 10:03:11,302] INFO [Kafka Server 1], starting (kafka.server.KafkaServer)
[2014-08-05 10:03:11,303] INFO [Kafka Server 1], Connecting to zookeeper on m1:2181,m2:2181,s1:2181,s2:2181 (kafka.server.KafkaServer)
[2014-08-05 10:03:11,335] INFO Starting ZkClient event thread. (org.I0Itec.zkclient.ZkEventThread)
[2014-08-05 10:03:11,348] INFO Client environment:zookeeper.version=3.3.3-1203054, built on 11 /17/2011 05:47 GMT (org.apache.zookeeper.ZooKeeper)
[2014-08-05 10:03:11,348] INFO Client environment:host.name=m1 (org.apache.zookeeper.ZooKeeper)
[2014-08-05 10:03:11,349] INFO Client environment:java.version=1.7.0_65 (org.apache.zookeeper.ZooKeeper)
[2014-08-05 10:03:11,349] INFO Client environment:java.vendor=Oracle Corporation (org.apache.zookeeper.ZooKeeper)
[2014-08-05 10:03:11,349] INFO Client environment:java.home= /usr/lib/jvm/java-7-oracle/jre (org.apache.zookeeper.ZooKeeper)
[2014-08-05 10:03:11,349] INFO Client environment:java.class.path=.: /usr/lib/jvm/java-7-oracle/lib/tools .jar: /usr/lib/jvm/java-7-oracle/lib/dt .jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /core/build/dependant-libs-2 .8.0/*.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /perf/build/libs//kafka-perf_2 .8.0*.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /clients/build/libs//kafka-clients *.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /examples/build/libs//kafka-examples *.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /contrib/hadoop-consumer/build/libs//kafka-hadoop-consumer *.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /contrib/hadoop-producer/build/libs//kafka-hadoop-producer *.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /libs/jopt-simple-3 .2.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /libs/kafka_2 .9.2-0.8.1.1.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /libs/kafka_2 .9.2-0.8.1.1-javadoc.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /libs/kafka_2 .9.2-0.8.1.1-scaladoc.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /libs/kafka_2 .9.2-0.8.1.1-sources.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /libs/log4j-1 .2.15.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /libs/metrics-core-2 .2.0.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /libs/scala-library-2 .9.2.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /libs/slf4j-api-1 .7.2.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /libs/snappy-java-1 .0.5.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /libs/zkclient-0 .3.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /libs/zookeeper-3 .3.4.jar: /home/hadoop/kafka_2 .9.2-0.8.1.1 /bin/ .. /core/build/libs/kafka_2 .8.0*.jar (org.apache.zookeeper.ZooKeeper)
[2014-08-05 10:03:11,350] INFO Client environment:java.library.path=: /usr/local/lib : /usr/java/packages/lib/amd64 : /usr/lib64 : /lib64 : /lib : /usr/lib (org.apache.zookeeper.ZooKeeper)
[2014-08-05 10:03:11,350] INFO Client environment:java.io.tmpdir= /tmp (org.apache.zookeeper.ZooKeeper)
[2014-08-05 10:03:11,350] INFO Client environment:java.compiler=<NA> (org.apache.zookeeper.ZooKeeper)
[2014-08-05 10:03:11,350] INFO Client environment:os.name=Linux (org.apache.zookeeper.ZooKeeper)
[2014-08-05 10:03:11,350] INFO Client environment:os.arch=amd64 (org.apache.zookeeper.ZooKeeper)
[2014-08-05 10:03:11,351] INFO Client environment:os.version=3.11.0-15-generic (org.apache.zookeeper.ZooKeeper)
[2014-08-05 10:03:11,351] INFO Client environment:user.name=root (org.apache.zookeeper.ZooKeeper)
[2014-08-05 10:03:11,351] INFO Client environment:user.home= /root (org.apache.zookeeper.ZooKeeper)
[2014-08-05 10:03:11,351] INFO Client environment:user. dir = /home/hadoop (org.apache.zookeeper.ZooKeeper)
[2014-08-05 10:03:11,352] INFO Initiating client connection, connectString=m1:2181,m2:2181,s1:2181,s2:2181 sessionTimeout=6000 watcher=org.I0Itec.zkclient.ZkClient@51f782b8 (org.apache.zookeeper.ZooKeeper)
[2014-08-05 10:03:11,380] INFO Opening socket connection to server m2 /192 .168.1.51:2181 (org.apache.zookeeper.ClientCnxn)
[2014-08-05 10:03:11,386] INFO Socket connection established to m2 /192 .168.1.51:2181, initiating session (org.apache.zookeeper.ClientCnxn)
[2014-08-05 10:03:11,398] INFO Session establishment complete on server m2 /192 .168.1.51:2181, sessionid = 0x247a3e09b460000, negotiated timeout = 6000 (org.apache.zookeeper.ClientCnxn)
[2014-08-05 10:03:11,400] INFO zookeeper state changed (SyncConnected) (org.I0Itec.zkclient.ZkClient)
[2014-08-05 10:03:11,652] INFO Loading log 'test-1' (kafka.log.LogManager)
[2014-08-05 10:03:11,681] INFO Recovering unflushed segment 0 in log test -1. (kafka.log.Log)
[2014-08-05 10:03:11,711] INFO Completed load of log test -1 with log end offset 137 (kafka.log.Log)
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder" .
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http: //www .slf4j.org /codes .html #StaticLoggerBinder for further details.
[2014-08-05 10:03:11,747] INFO Loading log 'idoall.org-0' (kafka.log.LogManager)
[2014-08-05 10:03:11,748] INFO Recovering unflushed segment 0 in log idoall.org-0. (kafka.log.Log)
[2014-08-05 10:03:11,754] INFO Completed load of log idoall.org-0 with log end offset 5 (kafka.log.Log)
[2014-08-05 10:03:11,760] INFO Loading log 'test-0' (kafka.log.LogManager)
[2014-08-05 10:03:11,765] INFO Recovering unflushed segment 0 in log test -0. (kafka.log.Log)
[2014-08-05 10:03:11,777] INFO Completed load of log test -0 with log end offset 151 (kafka.log.Log)
[2014-08-05 10:03:11,779] INFO Starting log cleanup with a period of 60000 ms. (kafka.log.LogManager)
[2014-08-05 10:03:11,782] INFO Starting log flusher with a default period of 9223372036854775807 ms. (kafka.log.LogManager)
[2014-08-05 10:03:11,800] INFO Awaiting socket connections on m1:9092. (kafka.network.Acceptor)
[2014-08-05 10:03:11,802] INFO [Socket Server on Broker 1], Started (kafka.network.SocketServer)
[2014-08-05 10:03:11,890] INFO Will not load MX4J, mx4j-tools.jar is not in the classpath (kafka.utils.Mx4jLoader$)
[2014-08-05 10:03:11,919] INFO 1 successfully elected as leader (kafka.server.ZookeeperLeaderElector)
[2014-08-05 10:03:12,359] INFO New leader is 1 (kafka.server.ZookeeperLeaderElector$LeaderChangeListener)
[2014-08-05 10:03:12,387] INFO Registered broker 1 at path /brokers/ids/1 with address m1:9092. (kafka.utils.ZkUtils$)
[2014-08-05 10:03:12,392] INFO [Kafka Server 1], started (kafka.server.KafkaServer)
[2014-08-05 10:03:12,671] INFO [ReplicaFetcherManager on broker 1] Removed fetcher for partitions [idoall.org,0],[ test ,0],[ test ,1] (kafka.server.ReplicaFetcherManager)
[2014-08-05 10:03:12,741] INFO [ReplicaFetcherManager on broker 1] Removed fetcher for partitions [idoall.org,0],[ test ,0],[ test ,1] (kafka.server.ReplicaFetcherManager)
[2014-08-05 10:03:25,327] INFO Partition [ test ,0] on broker 1: Expanding ISR for partition [ test ,0] from 1 to 1,2 (kafka.cluster.Partition)
[2014-08-05 10:03:25,334] INFO Partition [ test ,1] on broker 1: Expanding ISR for partition [ test ,1] from 1 to 1,2 (kafka.cluster.Partition)
[2014-08-05 10:03:26,905] INFO Partition [ test ,1] on broker 1: Expanding ISR for partition [ test ,1] from 1,2 to 1,2,3 (kafka.cluster.Partition)
　　4、测试kafka的状态
　　　　1)在m1上创建一个idoall_testTopic主题
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
#KAFKA有几个，replication-factor就填几个
root@m1: /home/hadoop # /home/hadoop/kafka_2.9.2-0.8.1.1/bin/kafka-topics.sh --create --topic idoall_testTopic --replication-factor 4 --partitions 2 --zookeeper m1:2181
Created topic "idoall_testTopic" .
[2014-08-05 10:08:29,315] INFO [ReplicaFetcherManager on broker 1] Removed fetcher for partitions [idoall_testTopic,0] (kafka.server.ReplicaFetcherManager)
[2014-08-05 10:08:29,334] INFO Completed load of log idoall_testTopic-0 with log end offset 0 (kafka.log.Log)
[2014-08-05 10:08:29,373] INFO Created log for partition [idoall_testTopic,0] in /home/hadoop/kafka_2 .9.2-0.8.1.1 /kafka-logs with properties {segment.index.bytes -> 10485760, file .delete.delay.ms -> 60000, segment.bytes -> 536870912, flush.ms -> 9223372036854775807, delete.retention.ms -> 86400000, index.interval.bytes -> 4096, retention.bytes -> -1, cleanup.policy -> delete, segment.ms -> 604800000, max.message.bytes -> 1000012, flush.messages -> 9223372036854775807, min.cleanable.dirty.ratio -> 0.5, retention.ms -> 604800000}. (kafka.log.LogManager)
[2014-08-05 10:08:29,384] WARN Partition [idoall_testTopic,0] on broker 1: No checkpointed highwatermark is found for partition [idoall_testTopic,0] (kafka.cluster.Partition)
[2014-08-05 10:08:29,415] INFO Completed load of log idoall_testTopic-1 with log end offset 0 (kafka.log.Log)
[2014-08-05 10:08:29,416] INFO Created log for partition [idoall_testTopic,1] in /home/hadoop/kafka_2 .9.2-0.8.1.1 /kafka-logs with properties {segment.index.bytes -> 10485760, file .delete.delay.ms -> 60000, segment.bytes -> 536870912, flush.ms -> 9223372036854775807, delete.retention.ms -> 86400000, index.interval.bytes -> 4096, retention.bytes -> -1, cleanup.policy -> delete, segment.ms -> 604800000, max.message.bytes -> 1000012, flush.messages -> 9223372036854775807, min.cleanable.dirty.ratio -> 0.5, retention.ms -> 604800000}. (kafka.log.LogManager)
[2014-08-05 10:08:29,422] WARN Partition [idoall_testTopic,1] on broker 1: No checkpointed highwatermark is found for partition [idoall_testTopic,1] (kafka.cluster.Partition)
[2014-08-05 10:08:29,430] INFO [ReplicaFetcherManager on broker 1] Removed fetcher for partitions [idoall_testTopic,1] (kafka.server.ReplicaFetcherManager)
[2014-08-05 10:08:29,438] INFO Truncating log idoall_testTopic-1 to offset 0. (kafka.log.Log)
[2014-08-05 10:08:29,473] INFO [ReplicaFetcherManager on broker 1] Added fetcher for partitions ArrayBuffer([[idoall_testTopic,1], initOffset 0 to broker id :2,host:m2,port:9092] ) (kafka.server.ReplicaFetcherManager)
[2014-08-05 10:08:29,475] INFO [ReplicaFetcherThread-0-2], Starting  (kafka.server.ReplicaFetcherThread)
　　　　2)在m1上查看刚才创建的idoall_testTopic主题
?
1
2
root@m1: /home/hadoop # /home/hadoop/kafka_2.9.2-0.8.1.1/bin/kafka-topics.sh --list --zookeeper m1:2181  
idoall_testTopic
　　　　3)在m2上发送消息至kafka（m2模拟producer），发送消息“hello idoall.org”
?
1
2
3
4
5
root@m2: /home/hadoop # /home/hadoop/kafka_2.9.2-0.8.1.1/bin/kafka-console-producer.sh --broker-list m1:9092 --sync --topic idoall_testTopic
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder" .
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http: //www .slf4j.org /codes .html #StaticLoggerBinder for further details.
hello idoall.org
　　　　4)在s1上开启一个消费者（s1模拟consumer），可以看到刚才发送的消息
?
1
2
3
4
5
root@s1: /home/hadoop # /home/hadoop/kafka_2.9.2-0.8.1.1/bin/kafka-console-consumer.sh --zookeeper m1:2181 --topic idoall_testTopic --from-beginning
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder" .
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http: //www .slf4j.org /codes .html #StaticLoggerBinder for further details.
hello idoall.org
　　　　5)删除掉一个Topic，这里我们测试创建一个idoall的主题，再删除掉
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
root@m1: /home/hadoop # /home/hadoop/kafka_2.9.2-0.8.1.1/bin/kafka-topics.sh --create --topic idoall --replication-factor 4 --partitions 2 --zookeeper m1:2181         
Created topic "idoall" .
[2014-08-05 10:38:30,862] INFO Completed load of log idoall-1 with log end offset 0 (kafka.log.Log)
[2014-08-05 10:38:30,864] INFO Created log for partition [idoall,1] in /home/hadoop/kafka_2 .9.2-0.8.1.1 /kafka-logs with properties {segment.index.bytes -> 10485760, file .delete.delay.ms -> 60000, segment.bytes -> 536870912, flush.ms -> 9223372036854775807, delete.retention.ms -> 86400000, index.interval.bytes -> 4096, retention.bytes -> -1, cleanup.policy -> delete, segment.ms -> 604800000, max.message.bytes -> 1000012, flush.messages -> 9223372036854775807, min.cleanable.dirty.ratio -> 0.5, retention.ms -> 604800000}. (kafka.log.LogManager)
[2014-08-05 10:38:30,870] WARN Partition [idoall,1] on broker 1: No checkpointed highwatermark is found for partition [idoall,1] (kafka.cluster.Partition)
[2014-08-05 10:38:30,878] INFO [ReplicaFetcherManager on broker 1] Removed fetcher for partitions [idoall,1] (kafka.server.ReplicaFetcherManager)
[2014-08-05 10:38:30,880] INFO Truncating log idoall-1 to offset 0. (kafka.log.Log)
[2014-08-05 10:38:30,885] INFO [ReplicaFetcherManager on broker 1] Added fetcher for partitions ArrayBuffer([[idoall,1], initOffset 0 to broker id :3,host:s1,port:9092] ) (kafka.server.ReplicaFetcherManager)
[2014-08-05 10:38:30,887] INFO [ReplicaFetcherThread-0-3], Starting  (kafka.server.ReplicaFetcherThread)
root@m1: /home/hadoop # /home/hadoop/kafka_2.9.2-0.8.1.1/bin/kafka-topics.sh --list --zookeeper m1:2181
idoall
idoall_testTopic
root@m1: /home/hadoop # /home/hadoop/kafka_2.9.2-0.8.1.1/bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic idoall --zookeeper m2:2181   
deletion succeeded!
root@m1: /home/hadoop # /home/hadoop/kafka_2.9.2-0.8.1.1/bin/kafka-topics.sh --list --zookeeper m1:2181                  idoall_testTopic
root@m1: /home/hadoop #
　　　　同样也可以进入到zookeeper中查看主题是否已经删除掉。
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
root@m1: /home/hadoop # /home/hadoop/zookeeper-3.4.5/bin/zkCli.sh
Connecting to localhost:2181
2014-08-05 10:15:21,863 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.5-1392090, built on 09 /30/2012 17:52 GMT
2014-08-05 10:15:21,871 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=m1
2014-08-05 10:15:21,871 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.7.0_65
2014-08-05 10:15:21,872 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2014-08-05 10:15:21,872 [myid:] - INFO  [main:Environment@100] - Client environment:java.home= /usr/lib/jvm/java-7-oracle/jre
2014-08-05 10:15:21,873 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path= /home/hadoop/zookeeper-3 .4.5 /bin/ .. /build/classes : /home/hadoop/zookeeper-3 .4.5 /bin/ .. /build/lib/ *.jar: /home/hadoop/zookeeper-3 .4.5 /bin/ .. /lib/slf4j-log4j12-1 .6.1.jar: /home/hadoop/zookeeper-3 .4.5 /bin/ .. /lib/slf4j-api-1 .6.1.jar: /home/hadoop/zookeeper-3 .4.5 /bin/ .. /lib/netty-3 .2.2.Final.jar: /home/hadoop/zookeeper-3 .4.5 /bin/ .. /lib/log4j-1 .2.15.jar: /home/hadoop/zookeeper-3 .4.5 /bin/ .. /lib/jline-0 .9.94.jar: /home/hadoop/zookeeper-3 .4.5 /bin/ .. /zookeeper-3 .4.5.jar: /home/hadoop/zookeeper-3 .4.5 /bin/ .. /src/java/lib/ *.jar: /home/hadoop/zookeeper-3 .4.5 /bin/ .. /conf :.: /usr/lib/jvm/java-7-oracle/lib/tools .jar: /usr/lib/jvm/java-7-oracle/lib/dt .jar
2014-08-05 10:15:21,874 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=: /usr/local/lib : /usr/java/packages/lib/amd64 : /usr/lib64 : /lib64 : /lib : /usr/lib
2014-08-05 10:15:21,874 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir= /tmp
2014-08-05 10:15:21,874 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>
2014-08-05 10:15:21,875 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux
2014-08-05 10:15:21,875 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64
2014-08-05 10:15:21,876 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=3.11.0-15-generic
2014-08-05 10:15:21,876 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=root
2014-08-05 10:15:21,877 [myid:] - INFO  [main:Environment@100] - Client environment:user.home= /root
2014-08-05 10:15:21,878 [myid:] - INFO  [main:Environment@100] - Client environment:user. dir = /home/hadoop
2014-08-05 10:15:21,879 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=localhost:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@666c211a
Welcome to ZooKeeper!
2014-08-05 10:15:21,920 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@966] - Opening socket connection to server localhost /127 .0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)
2014-08-05 10:15:21,934 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@849] - Socket connection established to localhost /127 .0.0.1:2181, initiating session
JLine support is enabled
2014-08-05 10:15:21,966 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1207] - Session establishment complete on server localhost /127 .0.0.1:2181, sessionid = 0x147a3e1246b0007, negotiated timeout = 30000
 
WATCHER::
 
WatchedEvent state:SyncConnected type :None path:null
[zk: localhost:2181(CONNECTED) 0] ls /
[hbase, hadoop-ha, admin, zookeeper, consumers, config, controller, storm, brokers, controller_epoch]
[zk: localhost:2181(CONNECTED) 1] ls /brokers
[topics, ids]
[zk: localhost:2181(CONNECTED) 2] ls /brokers/topics
[idoall_testTopic]
　　5、使用Eclipse来调用kafka的JAVA API来测试kafka的集群状态
　　　　1)消息生产端：Producertest.java
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
package idoall.testkafka;
 
import java.util.Date;
import java.util.Properties;
import java.text.SimpleDateFormat;  
 
import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;
 
 
/**
* 消息生产端
* @author 迦壹
* @Time 2014-08-05
*/
public class Producertest {
     
      public static void main(String[] args) {
          Properties props = new Properties();
          props.put( "zk.connect" , "m1:2181,m2:2181,s1:2181,s2:2181" );
          // serializer.class为消息的序列化类
          props.put( "serializer.class" , "kafka.serializer.StringEncoder" );
          // 配置metadata.broker.list, 为了高可用, 最好配两个broker实例
          props.put( "metadata.broker.list" , "m1:9092,m2:9092,s1:9092,s2:9092" );
          // 设置Partition类, 对队列进行合理的划分
          //props.put("partitioner.class", "idoall.testkafka.Partitionertest");
          // ACK机制, 消息发送需要kafka服务端确认
          props.put( "request.required.acks" , "1" );
 
           props.put( "num.partitions" , "4" );
          ProducerConfig config = new ProducerConfig(props);
          Producer<String, String> producer = new Producer<String, String>(config);
          for ( int i = 0 ; i < 10 ; i++)
          {
            // KeyedMessage<K, V>
            // 　　K对应Partition Key的类型
            // 　　V对应消息本身的类型
//　　 topic: "test", key: "key", message: "message"
            SimpleDateFormat formatter = new SimpleDateFormat   ( "yyyy年MM月dd日 HH:mm:ss SSS" );      
            Date curDate = new Date(System.currentTimeMillis()); //获取当前时间      
            String str = formatter.format(curDate);  
            
            String msg = "idoall.org" + i+ "=" +str;
            String key = i+ "" ;
            producer.send( new KeyedMessage<String, String>( "idoall_testTopic" ,key, msg));
          }
        }
}
　　　　2)消息消费端：Consumertest.java
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
package idoall.testkafka;
 
import java.util.HashMap;
import java.util.List; 
import java.util.Map; 
import java.util.Properties; 
   
import kafka.consumer.ConsumerConfig; 
import kafka.consumer.ConsumerIterator; 
import kafka.consumer.KafkaStream; 
import kafka.javaapi.consumer.ConsumerConnector;
 
 
/**
* 消息消费端
* @author 迦壹
* @Time 2014-08-05
*/
public class Consumertest extends Thread{
      
      private final ConsumerConnector consumer; 
     private final String topic; 
 
     public static void main(String[] args) { 
       Consumertest consumerThread = new Consumertest( "idoall_testTopic" ); 
         consumerThread.start(); 
     } 
     public Consumertest(String topic) { 
         consumer =kafka.consumer.Consumer.createJavaConsumerConnector(createConsumerConfig()); 
         this .topic =topic; 
     } 
 
private static ConsumerConfig createConsumerConfig() { 
     Properties props = new Properties(); 
     // 设置zookeeper的链接地址
     props.put( "zookeeper.connect" , "m1:2181,m2:2181,s1:2181,s2:2181" ); 
     // 设置group id
     props.put( "group.id" , "1" ); 
     // kafka的group 消费记录是保存在zookeeper上的, 但这个信息在zookeeper上不是实时更新的, 需要有个间隔时间更新
     props.put( "auto.commit.interval.ms" , "1000" );
     props.put( "zookeeper.session.timeout.ms" , "10000" ); 
     return new ConsumerConfig(props); 
} 
 
public void run(){ 
      //设置Topic=>Thread Num映射关系, 构建具体的流
     Map<String,Integer> topickMap = new HashMap<String, Integer>(); 
     topickMap.put(topic, 1 ); 
     Map<String, List<KafkaStream< byte [], byte []>>>  streamMap=consumer.createMessageStreams(topickMap); 
     KafkaStream< byte [], byte []>stream = streamMap.get(topic).get( 0 ); 
     ConsumerIterator< byte [], byte []> it =stream.iterator(); 
     System.out.println( "*********Results********" ); 
     while (it.hasNext()){ 
         System.err.println( "get data:" + new String(it.next().message())); 
         try { 
             Thread.sleep( 1000 ); 
         } catch (InterruptedException e) { 
             e.printStackTrace(); 
         } 
     } 
} 
}
　　　　3)在Eclipse查看java代码效果，在这之前先在其中一台机器(我使用的s1)，开启消费者，同时观察eclipse和s1上的消费者是否都收到了消息。最后结果如下图：
----------两张图片之间的分隔线 ----------
 
　　　　 可以看到，刚好10条信息，没有丢失。不过消息因为均衡的原因，并非是有序的，在Kafka只提供了分区内部的有序性，不能跨partition. 每个分区的有序性，结合按Key分partition的能力对大多应用都够用了。（如何按key进行分partition，在文章末尾提供的Eclpise代码中有个Partitionertest.java提供了一个Demo）
 
　　6、在命令行下打包java文件，测试kafka
　　　　1)修改工程目录中的pom.xml文件
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
< project xmlns = "http://maven.apache.org/POM/4.0.0" xmlns:xsi = "http://www.w3.org/2001/XMLSchema-instance"
   xsi:schemaLocation = "http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd" >
   < modelVersion >4.0.0</ modelVersion >
   < groupId >idoall.testkafka</ groupId >
   < artifactId >idoall.testkafka</ artifactId >
   < version >0.0.1-SNAPSHOT</ version >
   < packaging >jar</ packaging >
   < name >idoall.testkafka</ name >
   < url >http://maven.apache.org</ url >
   < properties >
     < project.build.sourceEncoding >UTF-8</ project.build.sourceEncoding >
   </ properties >
   < dependencies >
     < dependency >
       < groupId >junit</ groupId >
       < artifactId >junit</ artifactId >
       < version >3.8.1</ version >
       < scope >test</ scope >
     </ dependency >
     < dependency >
       < groupId >log4j</ groupId >
       < artifactId >log4j</ artifactId >
       < version >1.2.14</ version >
     </ dependency >
     < dependency >
       < groupId >com.sksamuel.kafka</ groupId >
       < artifactId >kafka_2.10</ artifactId >
       < version >0.8.0-beta1</ version >
     </ dependency >
   </ dependencies >
   < build > 
         < finalName >idoall.testkafka</ finalName > 
         < plugins > 
             < plugin > 
                 < groupId >org.apache.maven.plugins</ groupId > 
                 < artifactId >maven-compiler-plugin</ artifactId > 
                 < version >2.0.2</ version > 
                 < configuration > 
                     < source >1.5</ source > 
                     < target >1.5</ target > 
                     < encoding >UTF-8</ encoding > 
                 </ configuration > 
             </ plugin > 
             < plugin > 
                 < artifactId >maven-assembly-plugin</ artifactId > 
                 < version >2.4</ version > 
                 < configuration > 
                     < descriptors > 
                         < descriptor >src/main/src.xml</ descriptor > 
                     </ descriptors > 
                     < descriptorRefs > 
                         < descriptorRef >jar-with-dependencies</ descriptorRef > 
                     </ descriptorRefs > 
                 </ configuration > 
                 < executions > 
                     < execution > 
                         < id >make-assembly</ id > <!-- this is used for inheritance merges --> 
                         < phase >package</ phase > <!-- bind to the packaging phase --> 
                         < goals > 
                             < goal >single</ goal > 
                         </ goals > 
                     </ execution > 
                 </ executions > 
             </ plugin > 
         </ plugins > 
     </ build >
</ project >
　　　　2)修改工程目录中的src/main/src.xml文件
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
<? xml version = "1.0" encoding = "UTF-8" ?>
< assembly xmlns = "http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.0"
           xmlns:xsi = "http://www.w3.org/2001/XMLSchema-instance"
           xsi:schemaLocation = "http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.0 http://maven.apache.org/xsd/assembly-1.1.0.xsd " >
     < id >jar-with-dependencies</ id >
     < formats >
         < format >jar</ format >
     </ formats >
     < includeBaseDirectory >false</ includeBaseDirectory >
     < dependencySets >
         < dependencySet >
             < unpack >false</ unpack >
             < scope >runtime</ scope >
         </ dependencySet >
     </ dependencySets >
     < fileSets >
         < fileSet >
             < directory >/lib</ directory >
         </ fileSet >
     </ fileSets >
</ assembly >
　　　　3)制作依赖包，在工程目录执行mvn package，得到idoall.testkafka-jar-with-dependencies.jar，下面是部分执行后的结果：
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
Running idoall.testkafka.idoall.testkafka.AppTest
Tests run: 1, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.004 sec
 
Results :
 
Tests run: 1, Failures: 0, Errors: 0, Skipped: 0
 
[INFO]
[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ idoall.testkafka ---
[INFO] Building jar: /Users/lion/Documents/_my_project/java/idoall .testkafka /target/idoall .testkafka.jar
[INFO]
[INFO] --- maven-assembly-plugin:2.4:single ( make -assembly) @ idoall.testkafka ---
[INFO] Reading assembly descriptor: src /main/src .xml
[WARNING] The assembly id jar-with-dependencies is used more than once.
[INFO] Building jar: /Users/lion/Documents/_my_project/java/idoall .testkafka /target/idoall .testkafka-jar-with-dependencies.jar
[INFO] Building jar: /Users/lion/Documents/_my_project/java/idoall .testkafka /target/idoall .testkafka-jar-with-dependencies.jar
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time : 9.074 s
[INFO] Finished at: 2014-08-05T12:22:47+08:00
[INFO] Final Memory: 63M /836M
[INFO] ------------------------------------------------------------------------
　　　　4)编译文件，进入到工程目录，执行命令
?
1
2
3
liondeMacBook-Pro:idoall.testkafka lion$ pwd
/Users/lion/Documents/_my_project/java/idoall .testkafka
liondeMacBook-Pro:idoall.testkafka lion$ javac -classpath target /idoall .testkafka-jar-with-dependencies.jar -d . src /main/java/idoall/testkafka/ *.java
　　　　5)执行编译后的文件。分别打开两个窗口，一个用来消费，一个用来生产。可以看到消费窗口可以正常显示消息。
?
1
2
3
java -classpath .:target /idoall .testkafka-jar-with-dependencies.jar idoall.testkafka.Producertest
 
java -classpath .:target /idoall .testkafka-jar-with-dependencies.jar idoall.testkafka.Consumertest
----------两张图片之间的分隔线 ----------
 
　　五、FAQ
　　1、如果在创建主题时出现下面的错误 ，那就是启动的brokers的个数达不到你所指定的--replication-factor值：
?
1
2
3
4
5
6
7
Error while executing topic command replication factor: 3 larger than available brokers: 1
kafka.admin.AdminOperationException: replication factor: 3 larger than available brokers: 1
         at kafka.admin.AdminUtils$.assignReplicasToBrokers(AdminUtils.scala:70)
         at kafka.admin.AdminUtils$.createTopic(AdminUtils.scala:155)
         at kafka.admin.TopicCommand$.createTopic(TopicCommand.scala:86)
         at kafka.admin.TopicCommand$.main(TopicCommand.scala:50)
         at kafka.admin.TopicCommand.main(TopicCommand.scala)
　　2、如果出现下面的错误，可以先启动kafka，再启动hadoop中的zkfc(DFSZKFailoverController)：
?
1
2
3
4
5
6
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0130000, 986513408, 0) failed; error= 'Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (malloc) failed to allocate 986513408 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /home/hadoop/hs_err_pid13558.log
　　六、扩展阅读
 
　　文章中Eclipse工程文件的下载地址： http://pan.baidu.com/s/1i3kQEFz
 
---------------------------------------
博文作者：迦壹
转载声明：可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明，谢谢合作！
---------------------------------------

你可能感兴趣的:(kafka)

  • Kafka 消息丢失如何处理？ 架构文摘JGWZ 学习
    今天给大家分享一个在面试中经常遇到的问题：Kafka消息丢失该如何处理？这个问题啊，看似简单，其实里面藏着很多“套路”。来，咱们先讲一个面试的“真实”案例。面试官问：“Kafka消息丢失如何处理？”小明一听，反问：“你是怎么发现消息丢失了？”面试官顿时一愣，沉默了片刻后，可能有点不耐烦，说道：“这个你不用管，反正现在发现消息丢失了，你就说如何处理。”小明一头雾水：“问题是都不知道怎么丢的，处理起来
  • 【六】阿伟开始搭建Kafka学习环境 能源恒观 中间件学习kafkaspring
    阿伟开始搭建Kafka学习环境概述上一篇文章阿伟学习了Kafka的核心概念，并且把市面上流行的消息中间件特性进行了梳理和对比，方便大家在学习过程中进行对比学习，最后梳理了一些Kafka使用中经常遇到的Kafka难题以及解决思路，经过上一篇的学习我相信大家对Kafka有了初步的认识，本篇将继续学习Kafka。一、安装和配置学习一项技术首先要搭建一套服务，而Kafka的运行主要需要部署jdk、zook
  • Java面试题精选：消息队列(二) 芒果不是芒 Java面试题精选javakafka
    一、Kafka的特性1.消息持久化：消息存储在磁盘，所以消息不会丢失2.高吞吐量：可以轻松实现单机百万级别的并发3.扩展性：扩展性强，还是动态扩展4.多客户端支持：支持多种语言（Java、C、C++、GO、）5.KafkaStreams（一个天生的流处理）:在双十一或者销售大屏就会用到这种流处理。使用KafkaStreams可以快速的把销售额统计出来6.安全机制：Kafka进行生产或者消费的时候会
  • Kafka是如何保证数据的安全性、可靠性和分区的 喜欢猪猪 kafka分布式
    Kafka作为一个高性能、可扩展的分布式流处理平台，通过多种机制来确保数据的安全性、可靠性和分区的有效管理。以下是关于Kafka如何保证数据安全性、可靠性和分区的详细解析：一、数据安全性SSL/TLS加密：Kafka支持SSL/TLS协议，通过配置SSL证书和密钥来加密数据传输，确保数据在传输过程中不会被窃取或篡改。这一机制有效防止了中间人攻击，保护了数据的安全性。SASL认证：Kafka支持多种
  • Kafka详细解析与应用分析 芊言芊语 kafka分布式
    Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），由LinkedIn公司最初采用Scala语言开发，并基于ZooKeeper协调管理。如今，Kafka已经被Apache基金会纳入其项目体系，广泛应用于大数据实时处理领域。Kafka凭借其高吞吐量、持久化、分布式和可靠性的特点，成为构建实时流数据管道和流处理应用程序的重要工具。Kafka架构Kafka的架构主要由
  • Kafka 基础与架构理解 StaticKing KAFKAkafka
    目录前言Kafka基础概念消息队列简介：Kafka与传统消息队列（如RabbitMQ、ActiveMQ）的对比Kafka的组件Kafka的工作原理：消息的生产、分发、消费流程Kafka系统架构Kafka的分布式架构设计Leader-Follower机制与数据复制Log-basedStorage和持久化Broker间通信协议Zookeeper在Kafka中的角色总结前言Kafka是一个分布式的消息系
  • 全面指南：用户行为从前端数据采集到实时处理的最佳实践 数字沉思 营销流量运营系统架构前端内容运营大数据
    引言在当今的数据驱动世界，实时数据采集和处理已经成为企业做出及时决策的重要手段。本文将详细介绍如何通过前端JavaScript代码采集用户行为数据、利用API和Kafka进行数据传输、通过Flink实时处理数据的完整流程。无论你是想提升产品体验还是做用户行为分析，这篇文章都将为你提供全面的解决方案。设计一个通用的ClickHouse表来存储用户事件时，需要考虑多种因素，包括事件类型、时间戳、用户信
  • Docker安装Kafka和Kafka-Manager 阿靖哦
    本文介绍如何通过Docker安装kafka与kafka界面管理界面一、拉取zookeeper由于kafka需要依赖于zookeeper，因此这里先运行zookeeper1、拉取镜像dockerpullwurstmeister/zookeeper2、启动dockerrun-d--namezookeeper-p2181:2181-eTZ="Asia/Shanghai"--restartalwayswu
  • 主流行架构 rainbowcheng 架构架构
    nexus，gitlab,svn,jenkins,sonar,docker，apollo，catteambition，axure，蓝湖，禅道,WCP；redis，kafka，es，zookeeper，dubbo，shardingjdbc，mysql，InfluxDB，Telegraf，Grafana，Nginx，xxl-job，Neo4j,NebulaGraph是一个高性能的,NOSQL图形数据库
  • 月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线 「已注销」 个人总结hadoop
    一、时间线梳理3月3日，寻找到同专业的就业伙伴3月5日，着手准备Java八股文，决定先走Java后端路线3月8月，申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka的视频，同时在准备实习的项目3月20日，退
  • 分布式消息队列Kafka 叶域 大数据分布式kafkascalaspark
    分布式消息队列Kafka简介：Kafka是一个分布式消息队列系统，用于处理实时数据流。消息按照主题（Topic）进行分类存储，发送消息的实体称为Producer，接收消息的实体称为Consumer。Kafka集群由多个Kafka实例（Server）组成，每个实例称为Broker。主要用途：广泛应用于构建实时数据管道和流应用程序，适用于需要高吞吐量和低延迟的数据处理场景依赖：Kafka集群和消费者依
  • K8S学习之PV&&PVC david161
    部署mysql之前我们需要先了解一个概念有状态服务。这是一种特殊的服务，简单的归纳下就是会产生需要持久化的数据，并且有很强的I/O需求，且重启需要依赖上次存储到磁盘的数据。如典型的mysql，kafka，zookeeper等等。在我们有比较优秀的商业存储的前提下，非常推荐使用有状态服务进行部署，计算和存储分离那是相当的爽的。在实际生产中如果没有这种存储，localPV也是不错的选择，当然local
  • Kafka系列之：kafka命令详细总结 快乐骑行^_^ 日常分享专栏KafkaKafka系列kafka命令详细总结
    Kafka系列之：kafka命令详细总结一、添加和删除topic二、修改topic三、平衡领导者四、检查消费者位置五、管理消费者群体一、添加和删除topicbin/kafka-topics.sh--bootstrap-serverbroker_host:port--create--topicmy_topic_name\--partitions20--replication-factor3--con
  • 搭建Kafka+zookeeper集群调度 krb___ kafka分布式
    前言硬件环境172.18.0.5kafkazk1Kafka+zookeeperKafkaBroker集群172.18.0.6kafkazk2Kafka+zookeeperKafkaBroker集群172.18.0.7kafkazk3Kafka+zookeeperKafkaBroker集群软件环境zookeeper3.5.9资源调度、写作Kafka2.8.0消息通信中间件安装JDK1.8安装搭建zo
  • Kafka和Pulsar深入解析 jasen91 大数据开发kafka分布式
    Kafka多租户：单租户系统数据迁移：依赖MirrorMaker，需要额外维护。市场上也有ConfluentReplicator等供应商工具。分层存储：由供应商提供商业使用。组件依赖：KafkaRaft（KRaft）从Kafka2.8开始处于早期访问模式，允许Kafka在没有ZooKeeper的情况下工作。这对Kafka来说是一个显著的优势，因为它简化了Kafka的体系结构并降低了学习成本。云原生
  • Linux系统部署Kafka教学 情书学长 linux学习笔记kafka
    第一步：Zookeeper安装（准备工作）1、解压安装将安装包上传到/opt/software目录下，解压并修改名称tar-zxvfapache-zookeeper-3.5.7-bin.tar.gz-C/opt/module/mvapache-zookeeper-3.5.7-bin/zookeeper2、配置服务器编号1)在/opt/module/zookeeper-3.5.7/这个目录下创建zk
  • 数仓开发之DWD层完整使用 (第五章) 小坏讲微服务 数据仓库hadoopscalakafka
    数仓开发之DWD层完整使用一、流量域未精加工的事务事实表1、主要任务1）数据清洗（ETL）2）新老访客状态标记修复3）分流2、思路1）数据清洗（ETL）2）新老访客状态标记修复（1）前端埋点新老访客状态标记设置规则（2）新老访客状态标记修复思路3）利用侧输出流实现数据拆分（1）埋点日志结构分析（2）分流日志分类（3）分流思路3、图解4、代码1）在KafkaUtil工具类中补充getKafkaPro
  • Kafka 应用场景 zinuxer kafka分布式
    数据流处理：Kafka支持实时数据流处理，能够在数据流动时进行处理和分析，确保应用程序与最新信息保持同步！日志聚合：可以将来自不同来源的日志集中和聚合，简化应用程序的调试和监控！消息队列：Kafka充当高性能的消息队列，确保不同系统组件之间可靠且可扩展的通信！网络活动追踪：Kafka可以追踪网络活动，改进用户体验和推动业务增长！数据复制：Kafka允许在多个集群之间实现无缝数据复制，确保高可用性和
  • Kafka的ack机制 香山上的麻雀
    ack=0/1/-1的不同情况：0：producer不等待broker的ack，broker一接收到还没有写入磁盘就已经返回，当broker故障时有可能丢失数据；1：producer等待broker的ack，partition的leader落盘成功后返回ack，如果在follower同步成功之前leader故障，那么将会丢失数据；-1：producer等待broker的ack，partition的
  • Kafka 实战 - Kafka分区和副本机制理解 用心去追梦 kafka分布式
    ApacheKafka的分区（Partition）和副本（Replica）机制是其核心架构和可靠性保证的关键组成部分。以下是对其理解的详细解释：分区（Partition）分区概念：在Kafka中，每个主题（Topic）可以被划分为多个分区。分区是一个有序的、不可变的消息序列。这意味着消息在分区中按生成顺序存储，每个消息都有一个唯一的偏移量（Offset）。目的：分区的主要目的是为了水平扩展和并行处
  • 编程常用命令总结 Yellow0523 LinuxBigData大数据
    编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令kafka命令Hibench命令MySQL命令3.Linux常用命令Git命令conda命令pip命令查看Linux系统的详细信息查看Linux系统架构(X86还是ARM，两种方法都可)端口号命令L
  • zookeeper+kafka消息队列部署 TBF610218 zookeeperkafka分布式
    消息队列的概念什么是消息队列消息是指在应用间传送的数据消息队列是一种应用间的通信方式解决方法，确保消息的可靠传递专门为消息做缓存的消息队列的特征存储将消息存储在某个类型的缓冲区中，指导目标进读取这些消息或者将其从消息队列中显示移除为止异步消息队列通过缓冲消息可以在应用程序当中公开一定程度的异步性，允许源进程发送消息并在队列当中累积消息，而且目标进程可以挑选消息并进行处理为什么需要消息队列解耦冗余扩
  • 分布式中间件-几个常用的消息中间件 问道飞鱼 分布式技术分布式中间件
    文章目录常见消息中间件1.RabbitMQ2.ApacheKafka3.RedisPub/Sub4.ActiveMQ5.AmazonSimpleNotificationService(SNS)和SimpleQueueService(SQS)6.RocketMQ差异总结消息协议1.AMQP(AdvancedMessageQueuingProtocol)2.STOMP(SimpleTextOrient
  • kafka php 教程,php 使用kafka weixin_39713841 kafkaphp教程
    准备工作gitclonehttps://github.com/edenhill/librdkafka.git./configuremakesudomakeinstall$gitclonehttps://github.com/arnaud-lb/php-rdkafka.git#生成configure文件$/Users/shiyibo/LNMP/php/bin/phpize#编译安装$./config
  • Kafka快速入门 G丶AEOM 速成学习区kafkalinq分布式
    讲一下什么是Kafka首先引入这样一个场景：A服务可以发送200qps（QueriesPerSecond，是指每秒查询率），而B服务可以处理100qps。很显然，B服务很可能会被A服务压垮掉。怎么为了保证B不被压垮的同时还能处理A消息，没有什么是不能通过一层中间件解决的，如果有，那就再加一层。开始很容易想到，可以在B服务中增加一个队列，其实就是个链表，B服务根据自己的消费能力，消费链表中的消息。每
  • 【Python系列】异步任务的终止 Kwan的解忧杂货铺@新空间代码工作室 s2Pythonpython开发语言
    欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,Git,
  • 老版本kafka查询topic消费情况(python查询) 代码是谁 kafkapython分布式
    由于老版本的kafka缺少shell，导致无法通过命令直接进行查询，所以通过python代码，实现消费情况查询安装必须的包#pyhon2.5pipinstallkafka-python==1.4.7python脚本#!/usr/bin/envpythonimportsysfromkafkaimportKafkaConsumer,TopicPartitioniflen(sys.argv)!=2:pr
  • 【Python系列】使用切片移动元素位置 Kwan的解忧杂货铺@新空间代码工作室 s2Pythonpython开发语言
    欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,Git,
  • 字节架构师：来说说 Kafka 的消费者客户端详解，你都搞懂了吗？ 2401_84049200 程序员kafkalinq分布式
    点对点模式基于队列，类似于同一个消费者组中的数据，由生产者发送数据到分区，然后消费者拉取分区的消息进行消费，此时消息只能被同一个消费者组的消费者消费一次。发布订阅模式模式就是kafka中的分区消息可以被不同消费者组的消费者消费。这就是一对多的广播模式应用。当然，消费者组是一个逻辑的概念，通过客户端参数group.id来配置，默认值为空字符串。而消费者并不是逻辑的概念，它是真正消费数据的实体，可以是
  • Java Kafka生产者实现 stormsha Javawebjavakafkalinq
    欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐：「stormsha的主页」，「stormsha的知识库」持续学习，不断总结，共同进步，为了踏实，做好当下事儿~专栏导航Python系列:Python面试题合集，剑指大厂Git系列:Git操作技巧GO系列:记录博主学习GO语言的笔记，该笔记专栏
  • 对股票分析时要注意哪些主要因素？ 会飞的奇葩猪 股票 分析 云掌股吧
    　　众所周知，对散户投资者来说，股票技术分析是应战股市的核心武器，想学好股票的技术分析一定要知道哪些是重点学习的，其实非常简单，我们只要记住三个要素：成交量、价格趋势、振荡指标。     一、成交量 　　大盘的成交量状态。成交量大说明市场的获利机会较多，成交量小说明市场的获利机会较少。当沪市的成交量超过150亿时是强市市场状态，运用技术找综合买点较准；
  • 【Scala十八】视图界定与上下文界定 bit1129 scala
    Context Bound，上下文界定，是Scala为隐式参数引入的一种语法糖，使得隐式转换的编码更加简洁。   隐式参数 首先引入一个泛型函数max，用于取a和b的最大值 def max[T](a: T, b: T) = { if (a > b) a else b }  因为T是未知类型，只有运行时才会代入真正的类型，因此调用a >
  • C语言的分支——Object-C程序设计阅读有感 darkblue086 applec框架cocoa
    自从1972年贝尔实验室Dennis Ritchie开发了C语言，C语言已经有了很多版本和实现，从Borland到microsoft还是GNU、Apple都提供了不同时代的多种选择，我们知道C语言是基于Thompson开发的B语言的，Object-C是以SmallTalk-80为基础的。和C++不同的是，Object C并不是C的超集，因为有很多特性与C是不同的。 Object-C程序设计这本书
  • 去除浏览器对表单值的记忆 周凡杨 html记忆autocompleteform浏览
                                       &n
  • java的树形通讯录 g21121 java
    最近用到企业通讯录，虽然以前也开发过，但是用的是jsf，拼成的树形，及其笨重和难维护。后来就想到直接生成json格式字符串，页面上也好展现。 // 首先取出每个部门的联系人 for (int i = 0; i < depList.size(); i++) { List<Contacts> list = getContactList(depList.get(i
  • Nginx安装部署 510888780 nginxlinux
    Nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源
  • java servelet异步处理请求 墙头上一根草 ｊａｖａ异步返回ｓｅｒｖｌｅｔ
    servlet3.0以后支持异步处理请求，具体是使用AsyncContext ，包装httpservletRequest以及httpservletResponse具有异步的功能，        final AsyncContext ac = request.startAsync(request, response);   ac.s
  • 我的spring学习笔记8-Spring中Bean的实例化 aijuans Spring 3
    在Spring中要实例化一个Bean有几种方法： 1、最常用的（普通方法） <bean id="myBean" class="www.6e6.org.MyBean" /> 使用这样方法，按Spring就会使用Bean的默认构造方法，也就是把没有参数的构造方法来建立Bean实例。 （有构造方法的下个文细说） 2、还
  • 为Mysql创建最优的索引 annan211 mysql索引
    索引对于良好的性能非常关键，尤其是当数据规模越来越大的时候，索引的对性能的影响越发重要。 索引经常会被误解甚至忽略，而且经常被糟糕的设计。 索引优化应该是对查询性能优化最有效的手段了，索引能够轻易将查询性能提高几个数量级，最优的索引会比 较好的索引性能要好2个数量级。 1 索引的类型 (1) B-Tree 不出意外，这里提到的索引都是指 B-
  • 日期函数 百合不是茶 oraclesql日期函数查询
      ORACLE日期时间函数大全 TO_DATE格式(以时间:2007-11-02 13:45:25为例) Year: yy two digits 两位年 显示值:07 yyy three digits 三位年 显示值:007
  • 线程优先级 bijian1013 javathread多线程java多线程
    多线程运行时需要定义线程运行的先后顺序。 线程优先级是用数字表示，数字越大线程优先级越高，取值在1到10，默认优先级为5。 实例： package com.bijian.study; /** * 因为在代码段当中把线程B的优先级设置高于线程A,所以运行结果先执行线程B的run()方法后再执行线程A的run()方法 * 但在实际中，JAVA的优先级不准，强烈不建议用此方法来控制执
  • 适配器模式和代理模式的区别 bijian1013 java设计模式
    一.简介        适配器模式：适配器模式（英语：adapter pattern）有时候也称包装样式或者包装。将一个类的接口转接成用户所期待的。一个适配使得因接口不兼容而不能在一起工作的类工作在一起，做法是将类别自己的接口包裹在一个已存在的类中。      &nbs
  • 【持久化框架MyBatis3三】MyBatis3 SQL映射配置文件 bit1129 Mybatis3
     SQL映射配置文件一方面类似于Hibernate的映射配置文件，通过定义实体与关系表的列之间的对应关系。另一方面使用<select>,<insert>,<delete>，<update>元素定义增删改查的SQL语句， 这些元素包含三方面内容 1. 要执行的SQL语句 2. SQL语句的入参，比如查询条件 3. SQL语句的返回结果
  • oracle大数据表复制备份个人经验 bitcarter oracle大表备份大表数据复制
    前提：    数据库仓库A（就拿oracle11g为例）中有两个用户user1和user2,现在有user1中有表ldm_table1,且表ldm_table1有数据5千万以上，ldm_table1中的数据是从其他库B（数据源）中抽取过来的，前期业务理解不够或者需求有变，数据有变动需要重新从B中抽取数据到A库表ldm_table1中。    
  • HTTP加速器varnish安装小记 ronin47 http varnish 加速
    上午共享的那个varnish安装手册，个人看了下，有点不知所云，好吧~看来还是先安装玩玩！ 苦逼公司服务器没法连外网，不能用什么wget或yum命令直接下载安装，每每看到别人博客贴出的在线安装代码时，总有一股羡慕嫉妒“恨”冒了出来。。。好吧，既然没法上外网，那只能麻烦点通过下载源码来编译安装了！ Varnish 3.0.4下载地址： http://repo.varnish-cache.org/
  • java-73-输入一个字符串，输出该字符串中对称的子字符串的最大长度 bylijinnan java
    public class LongestSymmtricalLength { /* * Q75题目：输入一个字符串，输出该字符串中对称的子字符串的最大长度。 * 比如输入字符串“google”，由于该字符串里最长的对称子字符串是“goog”，因此输出4。 */ public static void main(String[] args) { Str
  • 学习编程的一点感想 Cb123456 编程感想Gis
           写点感想，总结一些，也顺便激励一些自己.现在就是复习阶段，也做做项目.      本专业是GIS专业，当初觉得本专业太水，靠这个会活不下去的，所以就报了培训班。学习的时候，进入状态很慢，而且当初进去的时候，已经上到Java高级阶段了，所以.....，呵呵，之后有点感觉了，不过，还是不好好写代码，还眼高手低的，有
  • [能源与安全]美国与中国 comsci 能源
         现在有一个局面：地球上的石油只剩下N桶，这些油只够让中国和美国这两个国家中的一个顺利过渡到宇宙时代，但是如果这两个国家为争夺这些石油而发生战争，其结果是两个国家都无法平稳过渡到宇宙时代。。。。而且在战争中，剩下的石油也会被快速消耗在战争中，结果是两败俱伤。。。       在这个大
  • SEMI-JOIN执行计划突然变成HASH JOIN了 的原因分析 cwqcwqmax9 oracle
    甲说： A B两个表总数据量都很大，在百万以上。 idx1  idx2字段表示是索引字段 A B 两表上都有 col1字段表示普通字段 select xxx from A where A.idx1 between mmm and nnn      and exists (select 1 from B where B.idx2 =
  • SpringMVC-ajax返回值乱码解决方案 dashuaifu AjaxspringMVCresponse中文乱码
      SpringMVC-ajax返回值乱码解决方案   一：（自己总结，测试过可行） ajax返回如果含有中文汉字，则使用：（如下例：） @RequestMapping(value="/xxx.do")       public @ResponseBody void getPunishReasonB
  • Linux系统中查看日志的常用命令 dcj3sjt126com OS
    因为在日常的工作中，出问题的时候查看日志是每个管理员的习惯，作为初学者，为了以后的需要，我今天将下面这些查看命令共享给各位 cat tail -f 日 志 文 件 说 明 /var/log/message 系统启动后的信息和错误日志，是Red Hat Linux中最常用的日志之一 /var/log/secure 与安全相关的日志信息 /var/log/maillog 与邮件相关的日志信
  • [应用结构]应用 dcj3sjt126com PHPyii2
    应用主体 应用主体是管理 Yii 应用系统整体结构和生命周期的对象。 每个Yii应用系统只能包含一个应用主体，应用主体在 入口脚本中创建并能通过表达式 \Yii::$app 全局范围内访问。 补充: 当我们说"一个应用"，它可能是一个应用主体对象，也可能是一个应用系统，是根据上下文来决定[译：中文为避免歧义，Application翻译为应
  • assertThat用法 eksliang JUnitassertThat
    junit4.0  assertThat用法 一般匹配符1、assertThat( testedNumber, allOf( greaterThan(8), lessThan(16) ) ); 注释： allOf匹配符表明如果接下来的所有条件必须都成立测试才通过，相当于“与”（&&） 2、assertThat( testedNumber, anyOf( g
  • android点滴2 gundumw100 应用服务器android网络应用OSHTC
    如何让Drawable绕着中心旋转？ Animation a = new RotateAnimation(0.0f, 360.0f, Animation.RELATIVE_TO_SELF, 0.5f, Animation.RELATIVE_TO_SELF,0.5f); a.setRepeatCount(-1); a.setDuration(1000); 如何控制Andro
  • 超简洁的CSS下拉菜单 ini htmlWeb工作html5css
    效果体验：http://hovertree.com/texiao/css/3.htmHTML文件： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>简洁的HTML+CSS下拉菜单-HoverTree</title>
  • kafka consumer防止数据丢失 kane_xie kafkaoffset commit
    kafka最初是被LinkedIn设计用来处理log的分布式消息系统，因此它的着眼点不在数据的安全性（log偶尔丢几条无所谓），换句话说kafka并不能完全保证数据不丢失。   尽管kafka官网声称能够保证at-least-once，但如果consumer进程数小于partition_num，这个结论不一定成立。   考虑这样一个case，partiton_num=2
  • @Repository、@Service、@Controller 和 @Component mhtbbx DAOspringbeanprototype
    @Repository、@Service、@Controller 和 @Component 将类标识为Bean Spring 自 2.0 版本开始，陆续引入了一些注解用于简化 Spring 的开发。@Repository注解便属于最先引入的一批，它用于将数据访问层 (DAO 层 ) 的类标识为 Spring Bean。具体只需将该注解标注在 DAO类上即可。同时，为了让 Spring 能够扫描类
  • java 多线程高并发读写控制 误区 qifeifei java thread
    先看一下下面的错误代码，对写加了synchronized控制，保证了写的安全，但是问题在哪里呢？ public class testTh7 { private String data; public String read(){ System.out.println(Thread.currentThread().getName() + "read data "
  • mongodb replica set(副本集)设置步骤 tcrct javamongodb
    网上已经有一大堆的设置步骤的了，根据我遇到的问题，整理一下，如下： 首先先去下载一个mongodb最新版，目前最新版应该是2.6 cd /usr/local/bin wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.6.0.tgz tar -zxvf mongodb-linux-x86_64-2.6.0.t
  • rust学习笔记 wudixiaotie 学习笔记
    1.rust里绑定变量是let，默认绑定了的变量是不可更改的，所以如果想让变量可变就要加上mut。 let x = 1; let mut y = 2; 2.match 相当于erlang中的case，但是case的每一项后都是分号，但是rust的match却是逗号。 3.match 的每一项最后都要加逗号，但是最后一项不加也不会报错，所有结尾加逗号的用法都是类似。 4.每个语句结尾都要加分
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他