Kakfa

kafka 基础知识整理（三）kafka + spark streaming

一、Reveiver方式基于Receiver方式实现会利用Kakfa的高层消费API，和所有的其他Receivers一样，接受到的数据会保存到excutors中，然后由spar
Graceleeman·2020-01-02 07:18

Kafka学习——Kafka介绍和搭建Kafka集群

Kakfa介绍Kafka是什么Kafka最初是LinkedIn的内部内部基础设施系统。它被认为是一个流平台，在Kafka上可以发布和订阅流数据，并把它们保存起来、进行处理。
零度沸腾_yjz·2020-01-01 02:31

Kafka 设计原理

跟RabbitMQ、RocketMQ等目前流行的开源消息中间件相比，Kakfa具有高吞吐、低延迟等特点，在大数据、日志收集等应用场景下被广泛使用。本文主要简单介绍Kafka的设计原理。
学不死·2019-12-31 16:46

kafka 数据可靠性深度解读

1.概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。
尼小摩·2019-12-29 13:26

一、springboot整合kafka

image本文提纲1、kakfa-producer2、kafka-consumer3、springboot整合该项目依赖psyche,将相关kafka组件作为moudle放在fast-plugins中运行环境
阿亮私语·2019-12-29 10:49

zookeeper在kafka中的作用

在Kakfa中扮演的角色Kafka将元数据信息保存在Zookeeper中，但是发送给Topic本身的数据是不会发到Zk上的，否则Zk就疯了。
cammsia·2019-12-24 06:19

kafka简介

那么kakfa的优势体现在哪？它应用于两大类应用上：构建实时的数据流管道，可靠地获取系统或应用之间的数据。构建
2fc2a81494ac·2019-12-22 23:06

kafka exporter v0.3.0 发布: Prometheus官方推荐，欢迎试用

时隔1个半月，kakfaexporterv0.3.0于今日正式发布，欢迎大家试用。
danielqsj·2019-12-22 04:20

Kubernetes+docker-DIY-kafka+zookeeper+manager集群部署

kafka和zookeeper容器化结合rancher的项目，查阅了相关官网和书籍，发现如果和公司的标准化关联比较牵强，原因有很多，我简单谈一下我最后选择自定义的原因：（因是个人本地二进制部署k8s+kakfa
任志远Ray·2019-12-20 19:23

Kafka集群部署指南

Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了KafkaConnect、KafkaStreams以支持连接其他系统的数据(Elasticsearch、Hadoop等)Kafka
大数据首席数据师·2019-12-12 15:59

kafka学习笔记

什么是kakfa的优势？它应用于2大类应用：构建实时的流数据管道，可靠地获取系统和应用程序之间的数据。构建实时流
奋斗的小鸟GO·2019-12-07 10:08

kafka 数据可靠性深度解读

1概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。
流浪冰007·2019-12-01 09:51

阿里架构师”kafka 数据可靠性深度解读

1概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。
认真期待·2019-11-06 03:18

基于Spark的电影推荐系统（推荐系统~7）

SparkStreaming+kakfa##开始Coding步骤一：在streaming包
liuge36·2019-10-21 13:00

基于Spark的电影推荐系统（推荐系统~7）

2.SparkStreaming+kakfa开始Coding步骤一：在streaming包下，新建PopularMovies2packagecom.csylh.reco
留歌36·2019-10-20 22:45

kafka-2-集群部署

kakfa集群部署准备工作jre安装zookeeper单机集群搭建假设当前目录为/home/zk.配置3节点伪集群.1.下载wgethttp://mirror.bit.edu.cn/apache/zookeeper
while·2019-10-15 04:03

Flume对接Kafka之KafkaSink

消费者启动flume追加数据查看消费情况自定义Flume的Kafka拦截器创建自定义拦截打成jar包放进flume/lib中配置flume(和默认有所不同)注意:不要配置成flume的自定义拦截器配置开启kakfa
魔都大迪奥·2019-09-19 21:48

kafka在ZK中存存储节点及作用

zookeeper中的一些存储结构，便于更好的理解kafka的工作原理，zookeeper在kafka中扮演了举足轻重的作用(0.9版本后offest不放在zk上,由kafka内部topic自己保存),kakfa
Awnger·2019-09-12 10:55

Kafka到底有几个Offset？——Kafka核心之偏移量机制

Kakfa的Offset机制是其最核心机制之一，由于API对于部分功能的实现，我们有时并没有手动去设置Offset，那么Kafka到底有几个Offset呢？一
独孤风·2019-08-27 17:00

Kafka到底有几个Offset？——Kafka核心之偏移量机制

Kakfa的Offset机制是其最核心机制之一，由于API对于部分功能的实现，我们有时并没有手动去设置Offset，那么Kafka到底有几个Offset呢？一
实时计算·2019-08-27 00:00

Kafka

3.Kakfa如何保证数据不丢失？4.mq如何保证顺序消费？5.消息积压怎么办？
一只小星_·2019-08-20 20:15

Kafka本地安装笔记

本地手工玩一下kakfa，这里我用的MacOS，因此用brew安装。这里整理了下自己的安装笔记。首先java环境这里就不说了。
hustzw07·2019-08-03 00:00

Kafka学习笔记

为什么要使用Kakfa？四个字：削峰填谷！
小鸡·2019-08-01 00:00

centos7 kafka单机版安装

官网入口：kakfaStep1:下载安装包和解压下载2.2.0release命令>tar-xzfkafka_2.12-2.2.0.tgz>cdkafka_2.12-2.2.0Step2:启动zookeeperserver
dengjili·2019-07-08 22:17

Kafka集群部署指南

Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了KafkaConnect、KafkaStreams以支持连接其他系统的数据(Elasticsearch、Hadoop等)Kafka
ken_io·2019-07-03 00:00

kafka学习笔记1

什么是kafkakakfa是用于构建实时数据管道和流应用程序。具有横向扩展，容错，wickedfast（变态快）等优点。Apachekafka是消息中间件的一种。
MiixTimer·2019-06-20 00:00

spring-kafka

一个简单的消费例子在spring-boot基础上添加依赖：org.springframework.kafkaspring-kafka2.2.3.RELEASE注意要检查下依赖的kakfa-clients
bener·2019-05-17 14:00

再次总结RabbitMQ和Kafka（重点）

目录Kafka基本组件概念kafka基本架构图partitionKakfa怎么保证其高可用？Kafka消息重复怎么解决？消息丢失怎么办（主要针对RabbitMQ和Kafka）？
Box_clf·2019-03-22 13:11

Flink watermark+window 处理数据乱序、迟到问题

（说详细一点儿：假设Kafkatopic的分区为8个，生产者向Kakfa发送
Seniscz·2019-03-20 20:28

sparkstreaming实时读取kakfa到mysql小demo（直读）

步骤：安装部署单机kafka创建mysql表sparkstreaming实时消费一.安装kafka注：出于方便以及机器问题，使用单机部署，并不需要另外安装zookeeper，使用kafka自带的zookeeper1.下载https://kafka.apache.org/downloads（使用版本：kafka_2.11-0.10.0.1.tgz）2.编辑server.properties文件hos
leofionn·2019-03-17 11:19

kubernetes1.13集群日志方案

九、集群日志方案包括：日志路径标准化/data/logs/app/app_error.logapp_access.log；日志格式标准化logformat日志收集fluentd或filebeat到kakfa
fanren224·2019-01-23 15:10

Kafka学习（7）- kafka使用Java开发-3-手动提交

目录：为什么要手动提交什么是手动提交一.为什么要手动提交问题一：已经消费的数据对于kakfa来说，会将该消费组里面的offset值进行修改。什么时候去修改的？
yigg·2019-01-11 23:49

kafka监控（JMX_exporter+prometheus+Grafana)

com.yammer.metricsmetrics-core2.2.0https://www.cnblogs.com/caizhenghui/p/9132414.html这个套路理论上不仅仅适用于Kakfa
define_us·2019-01-09 16:38

kafka学习

2、kakfa支持批量读写消息，并且对消息进行批量压缩，这样既提高了网络的效率，也提高了压缩效率3、kafka支持消息分区，每个分区中的消息保证顺序传输，
二两芝麻·2019-01-07 15:48

一次KAFKA消费者异常引起的思考

问题描述：线上出现一台服务器特别慢，于是关闭了服务器上的kafkabroker.关闭后发现一些kafkaconsumer无法正常消费数据了,日志错误：o.a.kakfa.clients.consumer.internals.AbstractCordinatorMarkingthecoordinator
zhanjia·2018-12-25 10:15

kafka0.10.1版本

0.10.1，结果总是消费一个分区的数据，和同事各种排查，最后得知是“版本冲突的问题”，之后编译时指定1.0就可以了第二个跟头：因为第一个跟头没摔明白，以为只消费一个分区数据的问题是版本冲突的问题，所以当kakfa
王金松·2018-11-28 10:03

kafka入门

什么是kakfa的优势？它应用于2大类应用：构建实时的流数据管道，可靠地获取系统和应用程序之间的数据。构建实时流的应用程序，对数据流进行转换或反应。
若与·2018-11-26 22:41

1、Kafka快速入门秘籍：背景介绍，应用场景分析、核心架构分析

一、背景介绍引言：其实这段背景，我们之前介绍RabbitMQ的时候，已经说过了，我们这里讲kakfa的时候，再把这一段给拿出来，再说明下。
极客慧·2018-11-25 23:52

美团为什么偏爱kafka?

kakfa又有什么魔力协助美团完成这么大数据量的运转？据说去美团面试必定会被问到kafka的问题，有一道题是：kafka的存储机制是怎样的？
来杯熊酱不加糖·2018-11-22 20:21

分享一些 Kafka 消费数据的小经验

建议对Kakfa还比较陌生的朋友可以先看看。就我的使用经验来说，大部分情况都是处于数据下游的消费者角色。
·2018-11-20 00:00

Logstash处理(nginx、nginx_error、application)日志到ES

input{#从kakfa读取数据kafka{bootstrap_servers=>["xxx:9092"]client_id=>"logstash_app_log_group"group_id=>"logstash_app_log_group"auto_offset_reset
林沂梵·2018-09-25 17:57

Kafka跨数据中心迁移方案MirrorMaker使用及性能调优实践 | 网易乐得技术团队

KakfaMirrorMaker是Kafka官方提供的跨数据中心的流数据同步方案。
·2018-09-21 14:00

Atlas系列-Apache Atlas 独立部署和HA

用编译集成的hbase和sorl部署的apacheatlas请参见之前的文章:Atlas系列-编译部署此次介绍的是集成以独立部署好的kakfa，solr，hbase的部署方式本次部署包含一下六部分：apacheatlas
数据新玩法·2018-08-25 10:53

Kafka中日志数据的清除小窍门

1、因为项目原因，kakfa通道中经常造成数据阻塞，导致kafka通道中数据量过大，因此我需要将kakfa通道中数据清除（个人项目原因，一直使用一个消费者，只要保证当前消费者不在消费之前很久的数据就可以
nicodeme·2018-08-22 20:59

Kafka跨集群迁移方案MirrorMaker原理、使用以及性能调优实践 - CSDN博客

序言KakfaMirrorMaker是Kafka官方提供的跨数据中心的流数据同步方案。
·2018-07-22 19:00

Kakfa[1]环境安装配置

0.Kafka源码包下载http://mirror.bit.edu.cn/apache/kafka/1.集群环境Master172.16.11.97Slave1172.16.11.98Slave2172.16.11.992.下载软件包#Masterwgethttp://mirror.bit.edu.cn/apache/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgzta
DoveYoung8·2018-06-02 15:24

Amas：基于大数据平台技术开发的统一监控平台

github.com/amas-eye/amasAmas是什么Amas是基于大数据平台技术开发的统一监控平台，其特点包括：全维度监控指标，覆盖从操作系统、中间件、大数据平台(Hadoop/Spark/HBase/Kakfa
Python中文社区·2018-05-28 08:00

深入剖析kafka架构内部原理

1概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。
Perkinl·2018-05-13 10:38

kafka 基础知识梳理及集群环境部署记录

一、kafka基础介绍0.kakfa概述Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）开源消息系统，由Scala写成，是由Apache
散尽浮华·2018-05-10 20:00

ELK部署搭建

ELK+kafka日志系统原理（介质为日志）Windows/linux的logstash（客户端）--->kafka（队列）--->kakfa上的logstash（也是一个客户端）--->ES（存储）-
东孤熊猫·2018-04-18 11:36
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他