E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafk
kafka 入门
它有四个关键概念:topickafka把收到的消息按topic进行分类,因此可以理解为topic是一种类别producer往
kafk
迷茫的老人
·
2018-08-26 22:50
kafka
Kafka机器重启导致streamingJob 堆积问题排查
3、确定肯定和kafka写入有关系于是经过排查,
kafk
pcqlegend
·
2018-08-21 10:23
kafka学习
传统模式下数据从文件传输到网络需要四次拷贝(2次系统,2次cpu),4次上下文切换,2次系统调用File.read(fileDesc,buf,len)Socket.send(socket,but,len)2.
kafk
有章
·
2018-08-17 23:27
kafka权威指南-第五章深入kafka问答式学习
2.
kafk
好记性不如烂笔记
·
2018-08-06 21:14
大数据
kafka权威指南-第五章深入kafka问答式学习
2.
kafk
好记性不如烂笔记
·
2018-08-06 21:14
大数据
解决CDH SparkStreaming任务启动之后executor不停增长的问题,num-executors配置不管用。...
-confspark.driver.supervise=true\--confspark.dynamicAllocation.maxExecutors=6\--confspark.streaming.
kafk
arli_xu
·
2018-08-02 21:00
Error reading field 'throttle_time_ms': java.nio.BufferUnderflowException
org.apache.kafka.clients.producer.internals.Sender.run:130)-UncaughterrorinkafkaproducerI/Othread:org.apache.
kafk
guangyuj
·
2018-07-04 21:49
kafka
spark-submit提交Spark Streamming+Kafka程序
如果想利用SparkStreaming获取Kafka里的数据,需要自己将依赖添加SBT或Maven项目中,添加依赖更新项目之后,就可以在Eclipse等IDE里直接运行SparkStreamming+
Kafk
董可伦
·
2018-06-28 17:31
spark
kafka
SparkStreaming
Spark
php处理kafka消息
kafka-phpkafka-php的GitHub地址先写一个kafka_producer.php,用来做为生产者:setMetadataBrokerList('localhost:9092');$producer=new\
Kafk
梁吉林
·
2018-06-04 12:33
PHP
kafka
Apache Avro 序列化与反序列化 (Java 实现)
定义,但尚无正式的JSONSchema规范.在讲求效率的场合,纯文本式的数据交换格式无法满足要求,于是有二进制的GoogleProtobuf和ApacheAvro.在Apache的生态像Hadoop,
Kafk
Unmi
·
2018-06-02 05:08
Avro
序列化
Springboot集成Kafka实现producer和consumer的示例代码
安装
Kafk
扎心了老铁
·
2018-05-24 10:21
事件消息问题排查
检查方式(可直接按照下面命令一步一步操作):dockerexec-itkafkashcd/opt/kafkashbin/
kafk
枫叶_jeff
·
2018-05-04 13:19
kafka原理和实践(四)spring-kafka消费者源码
spring-kafka简单实践kafka原理和实践(三)spring-kafka生产者源码kafka原理和实践(四)spring-kafka消费者源码kafka原理和实践(五)spring-kafka配置详解
kafk
FAw67J7
·
2018-04-10 18:36
Spark Streaming运行原理与核心概念
支持从多种数据源获取数据,包括
Kafk
、Flume、Twitter、ZeroMQ、Kinesis以及TCPsockets,从数据源获取数据之后,可以使用诸如map、reduce、join和window等高级函
菜鸟级的IT之路
·
2018-04-01 00:45
SPARK学习
spark
spark
stream
Kafka监控工具KafkaOffsetMonitor配置及使用
将
Kafk
一只土肥圆的猿
·
2018-03-16 14:03
大数据
Flume
linux 编程基础
桌面系计算机语言的分类编译型:运行前翻译,解释型:变量局部变量#local可以查看局部变量#定义一个局部变量ii='chenzhou'#变量赋值contrainid=$(sudodockerps-a|grep"
kafk
記憶的深藍
·
2018-03-08 17:45
操作系统
Kafka性能测试方法及Benchmark报告
性能测试及集群监控工具Kafka提供了非常多有用的工具,如Kafka设计解析(三)-
Kafk
13161670059
·
2018-02-06 17:11
kafka
运维
开发
KAFKA
Springmvc+mybatis+shiro+Dubbo+ZooKeeper+Redis+
KafK
内置功能(只列了一部分功能)1.用户管理:用户是系统操作者,该功能主要完成系统用户配置。2.机构管理:配置系统组织机构(公司、部门、小组),树结构展现,可随意调整上下级。3.区域管理:系统城市区域模型,如:国家、省市、地市、区县的维护。4.菜单管理:配置系统菜单,操作权限,按钮权限标识等。5.角色管理:角色菜单权限分配、设置角色按机构进行数据范围权限划分。6.字典管理:对系统中经常使用的一些较为固
方向方向
·
2018-01-19 09:35
springmvc
dubbo
zookeeper
Kafka集群数据同步MirrorMaker
9092group.id=hk-consumer-groupauto.offset.reset=earliest##下面SASL加密(如不需要忽略)sasl.jaas.config=org.apache.
kafk
小白鸽
·
2017-10-18 10:49
Python中使用Kafka
2.producer:>>>frompykafkaimportKafkaClient>>>client=
Kafk
CalicoBox
·
2017-08-04 17:10
hadoop-kafka
Kafka源码解析(一)core.kafka.server.KafkaServer
1.
kafk
mtchy
·
2017-07-19 15:33
大数据研发
kafka
Kafka源码解析(一)core.kafka.server.KafkaServer
1.
kafk
mtchy
·
2017-07-19 15:33
大数据研发
kafka
spring boot整合spring-kafka实现发送接收消息实例代码
kafka.首先数据量不大,其实搞kafka又要搞集群,ZK.只是用做一些简单数据同步的话,有点大材小用.没办法,咱只是个打工的,领导让搞就搞吧.刚开始的时候发现有一个spring-integration-
kafk
honway
·
2017-06-29 11:27
kafka重新分配partition
推荐使用
kafk
u013063153
·
2017-06-28 09:32
Kafka
Apache Kafka 入门 - Kafka API 简单用法
第四篇和第五篇源码下载:链接:https://pan.baidu.com/s/19xXTe9_xYdxLCLywhevntg密码:7s63KafkaAPI简单用法本篇会用到以下依赖:org.apache.
kafk
isea533
·
2017-06-27 20:33
Kafka
KAFKA:如何做到1秒发布百万级条消息
现在被广泛地应用于构建实时数据管道和流应用的场景中,具有横向扩展,容错,快等优点,并已经运行在众多大中型公司的生产环境中,成功应用于大数据领域,本文分享一下我所了解的
KAFK
antony9118
·
2017-05-12 00:13
分布式
KAFKA:如何做到1秒发布百万级条消息
现在被广泛地应用于构建实时数据管道和流应用的场景中,具有横向扩展,容错,快等优点,并已经运行在众多大中型公司的生产环境中,成功应用于大数据领域,本文分享一下我所了解的
KAFK
antony9118
·
2017-05-12 00:00
RocketMQ与Kafka对比
作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之后,
Kafk
狼爷
·
2017-04-16 10:00
zookeeper+Kafka集群部署
tar.gzkafka_2.11-0.10.1.0.tgz1.修改主机名/etc/hosts及/etc/sysconfig/networkhosts:192.168.46.130kafka1192.168.46.131
kafk
追不上老鼠的猫
·
2017-03-24 15:41
zookeeper
kafka
Spark Streaming原理介绍
支持从多种数据源获取数据,包括
Kafk
、Flume、Twitter、ZeroMQ、Kinesis以及TCPsockets,从数据源获取数据之后,可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理
llllqb
·
2017-01-05 19:27
Zookeeper 集群+kafka集群+kafka manager搭建
tar.gzkafka-manager-1.3.0.7.zip*kafka-manager是通过scala打包获取一个编译完的项目,需要提前编译好,参考https://github.com/yahoo/
kafk
ArlenJ
·
2016-11-15 16:53
集群
zookeeper
kafka
Linux
运维软件
kafka好文章
KafkaHighAvailability(下)Kafka设计解析(四):KafkaConsumer解析Kafka设计解析(五):KafkaBenchmarkLinkedIn关于kafka:LinkedIn的
Kafk
carlosfu
·
2016-07-15 22:00
大数据工程师技能图谱(转)
kylin SparkSQL, SparkDataFrame Impala Phoenix ELK ElasticSearch Logstash Kibana消息队列
Kafk
zhuyuping
·
2016-05-09 19:00
spark
大数据
带你认识一下Kafka
关于
Kafk
你必须知道的几个关键术语topics:Kafka接收的各种各样的消息producers:发送消息到Kafkaconsumers:从Kafka接收消息的订阅者broker:一个或多个服务器组成的
genuinecx
·
2016-04-07 11:25
zookeeper
kafka
消息队列
带你认识一下Kafka
关于
Kafk
你必须知道的几个关键术语topics:Kafka接收的各种各样的消息producers:发送消息到Kafkaconsumers:从Kafka接收消息的订阅者broker:一个或多个服务器组成的
genuinecx
·
2016-04-07 11:25
消息队列
Zookeeper
Kafka
XMPP
跟我一起学kafka(二)
要想学
kafk
那么必然要做一件事就是安装好kafka,下面我讲详细得windows下安装kafka得步骤告诉大家。
叶落风起叶纷飞
·
2016-04-03 16:00
RocketMQ与Kafka对比(18项差异)
作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之后,
Kafk
洋哥6
·
2016-02-29 09:00
Spark Streaming实践和优化
如图1所示,SparkStreaming支持的数据源有很多,如
Kafk
徐软件
·
2016-02-04 21:00
linux 下部署 kafka
/4047504.html一.Server环境搭建 1安装zookeeper集群(单机集群)storm部署那里也有 2.安装kafka集群(单机集群) --2.1下载
kafk
sufi_ohni
·
2016-02-04 15:00
Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Stre
支持从多种数据源获取数据,包括
Kafk
、Flume、Twitter、ZeroMQ、Kinesis 以及TCPsockets,从数据源获取数据之后,可以使用诸如map、reduce、join和window
莫问viva
·
2016-02-03 14:00
Spark入门实战系列--7.Spark Streaming(上)
支持从多种数据源获取数据,包括
Kafk
、Flume、Twitter、ZeroMQ、Kinesis 以及TCPsockets,从数据源获取数据之后,可以使用诸如map、reduce、join和window
莫问viva
·
2016-01-29 16:00
ambari实战 (1)ambari介绍
zilongzilong.iteye.com/blog/22722231.Ambari是什么1.1Ambari为什么出现前面已经花了大量篇幅讲解Hadoop2.7.1、hbase1.1.2、zookeeper和
kafk
zilongzilong
·
2016-01-20 16:00
ambari
介绍
安装
ambari实战 (1)ambari介绍
zilongzilong.iteye.com/blog/22722231.Ambari是什么1.1Ambari为什么出现前面已经花了大量篇幅讲解Hadoop2.7.1、hbase1.1.2、zookeeper和
kafk
zilongzilong
·
2016-01-20 16:00
ambari
介绍
安装
Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming介绍
支持从多种数据源获取数据,包括
Kafk
、Flume、Twitter、ZeroMQ、Kinesis以及TCPsockets,从数据源获取数据之后,可以使用
yirenboy
·
2015-09-10 09:00
hadoop
spark
大数据
Streaming
Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍
支持从多种数据源获取数据,包括
Kafk
、Flume、Twitter、ZeroMQ、Kinesis以及TCPsockets,从数据源获取数据之后,可
shishanyuan
·
2015-09-01 06:00
Autodesk基于Mesos的可扩展事件系统
由于我没有时间写太多的代码,所以我选择了
Kafk
Olivier Paugam
·
2015-08-31 00:00
kafka学习(三)--java开发(基于kafka0.8版本)
默认
kafk
zero__007
·
2015-08-27 11:00
flume-ng+Kafka+Storm+HDFS 实时系统组合
3.什么是
Kafk
kavy
·
2015-07-17 10:00
storm
Kafka+Storm+HDFS
amp;Kafka+Storm+HDFS整合实践kafka_2.9.2-0.8.1.1.tgzapache-storm-0.9.2-incubating.tar.gzKafka安装配置我们使用3台机器搭建
Kafk
ssydxa219
·
2015-07-03 18:00
storm
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
3.什么是
Kafk
飓风2000
·
2015-06-27 23:00
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他