E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafk
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
3.什么是
Kafk
wangmm0218
·
2020-07-30 17:01
big
data综合知识
Go项目实战:打造高并发日志采集系统(一)
本文日志采集系统架构如下日志采集系统监控各个日志文件,当日志文件有日志录入时,日志采集系统实时获取日志内容并下入
kafk
恋恋风辰
·
2020-07-30 09:29
golang
cdh_集群spark2_中_kafka_版本配置问题
kafka0.10时需进入spark配置页面进行修改,否则报错如下:Exceptioninthread“streaming-start”java.lang.NoSuchMethodError:org.apache.
kafk
_游侠
·
2020-07-30 05:43
cdh
cdh
hadoop
Linux Kafka常用命令
/
kafk
tmaczt
·
2020-07-28 12:42
linux
kafka
spark整合kafka打包运行错误处理
._2)java.lang.NoClassDefFoundError:com/yammer/metrics/Metricsatkafka.metrics.
Kafk
www.thutmose.cn
·
2020-07-28 02:10
Kafka
五.JMeter测试kafka
2.添加线程组3.添加一个java请求:4.配置kafka相关参数:
kafk
冰ICE~
·
2020-07-16 06:10
性能测试
Kafka 生产者和消费者学习笔记
1.下载kafka镜像我们使用wurstmeister/kafka镜像来部署
kafk
haozlee
·
2020-07-16 02:45
Python
消息队列
kafka
python
生产者
消费者
负载均衡
Kafka
Kafka介绍
Kafk
bingoabin
·
2020-07-15 20:51
大数据
hadoop
kafka-python安装
pipinstallkafka-pythonReleasesarealsolistedathttps://github.com/dpkp/kafka-python/releasesBleeding-Edgegitclonehttps://github.com/dpkp/
kafk
gdfsbingfeng
·
2020-07-14 10:26
linux
python
kafka
Kafka Manager与Kafka SASL+ACL配置
1.
Kafk
bao_since
·
2020-07-14 08:22
Kafka
秒懂 kafka HA(高可用)
一、名词解释要想说明白
kafk
Felix-Yuan
·
2020-07-13 23:29
Kafka
spring-kafka多线程顺序消费
大致架构为数据部门通过canal订阅订单表的数据,然后推送到kafka,我们订阅数据部门
kafk
刘备阿
·
2020-07-13 21:44
kafka
kafka
顺序消费
kafka顺序消费
Java操作Kafka-入门
importorg.apache.kafka.clients.consumer.ConsumerConfig;importorg.apache.kafka.clients.consumer.ConsumerRecord;importorg.apache.
kafk
大白能
·
2020-07-13 09:32
消息队列
连Kafka都没整明白的Java程序员还好意思想着跳槽涨薪?快醒醒吧
Kafk
Sqdmn
·
2020-07-13 01:45
程序员
Kafka集群搭建详细步骤(基于版本2.2.0)
http://kafka.apache.org/downloads.html4、下载好kafka安装包后,将其解压到/usr/local/kafka目录下,tar开压缩包,并创建logs文件,用于保存数据,
kafk
zht245648124
·
2020-07-12 20:45
kafka
Rsyslog+kafka+ELK(集群)部署
同时考虑到我们运维过程中也要查询日志,要把rsyslog收集的日志可以统一界面来查询使用收集的日志类型:系统日志,mysql日志,防火墙,waf,F5日志,sftp,smtp日志等开源产品:Rsyslog、
Kafk
莫负寒夏ai
·
2020-07-12 11:10
log
kafka数据可靠性深度解读
Kafk
weixin_33826268
·
2020-07-12 07:43
SparkStreaming与Kafka整合遇到的问题及解决方案
实现Spark-Streaming获取
kafk
weixin_33728268
·
2020-07-10 07:23
kafka消息中间件的数据一致性
每个broker上都有若干分区,生产者在生产消息时需要制定分区或者k值(如果以上两者都没有,
kafk
wangyhwyh753
·
2020-07-10 05:20
大数据
Kafka集群部署
tar.gz4、假设3台服务器分别为:kafka1、kafka2、kafka3kafka服务器名IP域名kafka1192.168.172.134kafka1.sd.cnkafka2192.168.172.141
kafk
xuesp
·
2020-07-07 07:14
Kafka
Kafka
什么是微服务
解决:同步通信;-HTTP(ApacheHTTPClient)-RPC(Dubbo,ApacheThrift,gRPC)异步通信:-消息队列(
kafk
冻住丶不许走
·
2020-07-06 19:51
java
微服务
50道Kafka面试题和解析(转载)
这将有助于您成功参加
Kafk
aoqincun5147
·
2020-07-04 11:27
spark streaming任务,读kafka写入mysql
importjava.util.Properties;importjava.util.concurrent.TimeUnit;importorg.apache.kafka.clients.producer.
Kafk
灰二和杉菜
·
2020-07-02 15:58
Apache
Spark
快速搞定docker部署Filebeat、Elasticsearch、Logstash与Kibana
安装docker环境以及常用docker命令,请点击跳转查看简单的ELK数据平台是这样的流程:由于Kafka并不是ELK中必须的组件,所以本博客跳过部署
Kafk
全菜工程师小辉
·
2020-06-30 05:18
大数据开发
微服务总结及对比
Eureka、Consul、Zookeeper服务调用Rest、RPC、gRPC服务熔断器Hystrix、Envoy负载均衡Ribbon、Nginx服务接口调用(客户端调用服务的简化工具)Feign消息队列
Kafk
qingfengleo
·
2020-06-29 21:02
微服务
spark读取kafka两种方式的区别
因此,
Kafk
wisgood
·
2020-06-29 19:59
spark
JAVA简单实现Kafka
packagecom.mall.kafka.KafkaDemo;importjava.util.Properties;importjava.util.Random;importorg.apache.kafka.clients.producer.
Kafk
马罗乐
·
2020-06-27 09:01
Kafka数据丢失和重复消费分析
Kafaka如果将数据使用file方式作为缓存,则文件在磁盘上,数据不会丢失,若采用memory方式,则只能通过添加partition副本方式来备份数据,因为若
Kafk
sock_bong
·
2020-06-26 18:17
Kafka
Kafka
数据丢失
Kafka简介
无论是
kafk
寒士一枚
·
2020-06-26 18:09
消息中间件
JMS
Kafka架构原理
3、消息队列
Kafk
PasserBy*_*
·
2020-06-25 14:09
消息队列
容器日志收集ELK+Filebeat+Kafka
的日志收集问题;组件介绍对于这套方案,网上已经有无数种介绍,在此就不再对各大组件进行赘述,仅做简单描述组件作用优点Filebeat作为客户端收集日志,输送消息至Kafka占用资源少,处理数据快,十分稳定
Kafk
被IT耽误的歌手
·
2020-06-25 10:12
日志收集
docker
kubernetes
Flume线上集群的吞吐量瓶颈排查及优化
外网环境A和内网环境B的flume都会往内网跳板机发送数据,分发方式是负载均衡模式,两个内网跳板机收集所有数据再发送给
kafk
山森海子
·
2020-06-25 09:12
大数据
Kafka负载均衡、Kafka自定义Partition、
Kafk
文件存储机制
1、Kafka整体结构图Kafka名词解释和工作方式lProducer:消息生产者,就是向kafkabroker发消息的客户端。lConsumer:消息消费者,向kafkabroker取消息的客户端lTopic:咋们可以理解为一个队列。lConsumerGroup(CG):这是kafka用来实现一个topic消息的广播(发给所有的consumer)和单播(发给任意一个consumer)的手段。一个
21989939
·
2020-06-25 01:19
【大数据】Kafka
Kafka快速入门系列(3) | Kafka常用脚本介绍及简单的shell操作
目录,下图标记即为常用的脚本1.kafka-topics.sh:对topic进行增删改查2.kafka-server-start.sh:启动脚本3.kafka-server-stop.sh:关闭脚本4.
kafk
不温卜火
·
2020-06-24 23:42
Hadoop
#
Kafka
Kafka快速入门系列(1) | Kafka的简单介绍(一文令你快速了解Kafka)
的定义2.消息与消息队列2.1传统消息队列的应用场景1.MQ传统应用场景之异步处理2.流量消峰2.2消息队列的两种模式1.消息队列内部实现原理2为什么需要消息队列3.什么是Kafka4.Kafka架构5.
Kafk
不温卜火
·
2020-06-24 23:42
Hadoop
#
Kafka
borker(0.9.0及0.10.0)配置
borker配置就是指配置server.properties文件***最小配置通常情况下需要在减压缩kafka后,修改config/server.properties配置文件中的以下两项log.dirs=
kafk
louisliaoxh
·
2020-06-24 22:33
flume+kafka收集业务日志
我们采用flume+kafka的方式来收集flume是1.7版本
kafk
名明鸣冥
·
2020-06-24 14:32
java
kafka-消息发布与订阅
flume
Kafka 使用 Zookeeper 做什么?
Zookeeper在Kakfa中扮演的角色:Kafka将元数据信息保存在Zookeeper中,但是发送给Topic本身的数据是不会发到Zk上的·
kafk
我有明珠一颗
·
2020-06-24 12:40
Linux与工具
Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍
支持从多种数据源获取数据,包括
Kafk
、
Tiger-Li
·
2020-06-24 00:39
Spark
RocketMQ与Kafka对比(18项差异)
作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之后,
Kafk
iteye_5347
·
2020-06-23 19:55
项目构建
新闻日志实时分析项目
:zookeeper安装第五章:HA架构与部署1.详细配置第六章HBase安装配置第七章Kafka安装部署第八章Flume部署及数据采集准备1.安装部署2.配置文件第九章节点一Flume+HBase+
Kafk
iimpact
·
2020-06-23 17:10
Kafka对比其他MQ
Kafk
post_yuan
·
2020-06-22 03:09
消息队列
关于kafka(2.5.0版本)安装教程和简单的springboot项目测试
2.
kafk
安装包下载可在kafka官网下载2.5.2如下图所示:也可以在linux服务器下使用命令进行
Crawfish Mix Rice
·
2020-06-18 11:30
java
kafka
sparkStreaming 消费kafka0_10版本 demo
creating-a-direct-stream案例pom.xml依赖org.apache.sparkspark-streaming_2.112.3.0provided-->org.apache.sparkspark-streaming-
kafk
彬在俊
·
2020-06-10 09:00
Kafka集群搭建及必知必会
首先,我们需要了解Kafka集群的一些机制:Kafka是天然支持集群的,哪怕是一个节点实际上也是集群模式Kafka集群依赖于Zookeeper进行协调,并且在早期的
Kafk
ZeroOne01
·
2020-06-04 21:44
Kafka集群
分布式
消息系统
大数据
KAFKA 常用API
Kafk
DevilRoshan
·
2020-05-21 11:45
mac搭建zookeeper+kafka
/zkServer.shstart&二、安装
kafk
pendy
·
2020-04-06 11:29
大数据技术之 Kafka (第 3 章 Kafka 架构深入 ) Kafka 消费者
pull模式不足之处是,如果
kafk
ywl470812087
·
2020-04-05 15:32
大数据
kafka
Step by Step 实现基于 Cloudera 5.8.2 的企业级安全大数据平台 - Secured Kafka 整合 Schema Registry
几个概念SecuredKafka:经过Kerberos安全认证加固的Kafka集群,并且使用了自带的ACL功能;Confluent:一家专门围绕
Kafk
大数据之心
·
2020-04-02 00:09
java B2B2C Springcloud仿淘宝电子商城系统-RocketMQ与Kafka对比
Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个
kafk
IT小跑兵
·
2020-04-01 11:14
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他