kafkasource

Flink：注册Table Kafka Source报错处理（flink table）

flink代码：注册kafkasource版本：0.10，格式：Json相关依赖，版本为flink1.8.0：这里要注意flink-json，如果没有此依赖，以上代码块将无法使用Json格式org.apache.flinkflink-streaming-java
没有大龅牙的兔八哥·2020-09-14 09:51

Flink 1.9 Table API -kafkaSource

Flink1.9TableAPI-kafkaSource使用kafka作为flink的数据源对接flinkTable,本次测试使用的是单节点的kafka以及flink,以下为一次简单的操作，包括kafka
数据游戏·2020-09-14 08:26

flume HA实现

Source分很多种，现在公司内用到的有两个:（1）KafkaSource:其用于从Kaf
cuiwenxu1·2020-09-13 18:55

记录Flume使用KafkaSource的时候Channel队列满了之后发生的怪异问题

先来描述一下这个问题的现象：Flume的Source用的是KafkaSource，Sink用的是CustomSink，由于这个CustomSink写的有一点小问题，比如batchSize是5000次，第
rolin-刘瑞·2020-08-21 21:39

Flink SQL 实战 (3)：Tabel API & SQL 注册Tabel Source

TabelAPI&SQL注册TabelSource在上一篇实战博客，我们给WordWithCount计算任务自定义了Sink函数现在我们开始研究自定义Source:前方干货极多注册TabelSource我们以KafkaSource
_RobinWang·2020-08-21 04:15

Apache Flink 使用DataStream API进行数据处理

5.Flink中kafkasource是否为自定义？执行环境为了开始编写Flink程序，我们首先根据自己的需要，可以获得现有的或创建一个执行环境（executionenvironment）。Flin
贝拉美·2020-08-12 00:26

使用Flume-KafkaSource实时采集avro格式数据

业务过来的数据放在在kafka里，所以source端采用的是kafkaSource
ican.·2020-08-09 16:57

Flume使用大全之kafka source-kafka channel-hdfs

agent.sources=kafkaSource1agent.channels=kafkaChannelagent.sinks=hdfsSinkagent.sources.kafkaSource1.channels
大数据令狐冲·2020-08-09 15:16

Flume使用大全之kafka source-kafka channel-hdfs(kerberos认证)

agent.sources=kafkaSource1agent.channels=kafkaChannelagent.sinks=hdfsSinkagent.sources.kafkaSource1.channels
大数据令狐冲·2020-08-09 15:16

flume学习05---Kafka Source

如果您有多个Kafkasource运行，您可以使用相同的ConsumerGroup配置它们，因此每个将读取topic中一组唯一的分区。
chbxw·2020-08-09 15:10

Flume-kafka source和kafka sink

Flume-kafkasource和kafkasink一、Flume-kafkasourcea1.sources.source1.type=org.apache.flume.source.kafka.KafkaSource
果不其燃·2020-08-09 15:47

Flume (十) Sources - Kafka Source

KafkaSource是一个ApacheKafka消费者，它从Kafka主题中读取消息。
DoNotStop·2020-08-09 13:01

flume接收kafka source落地本地

flume接收kafkasource落地本地，然后上传hdfs，避免flume直接上传hdfsmaven工程pom.xml1.7.0org.apache.flumeflume-ng-core${version.flume
菜鸟兄弟·2020-08-09 05:52

【源码解析】Flink 滑动窗口数据分配到多个窗口

刚好有个需求，要用到滑动窗口，来翻翻flink在滑动窗口中，数据是怎么分配到多个窗口的一段简单的测试代码：valinput=env.addSource(kafkaSource)valstream=input.map
anfuyi5792·2020-08-02 22:53

《从0到1学习Flink》—— 如何自定义 Data Sink ？

这篇文章将写一个demo教大家将从KafkaSource的数据Sink到MySQL中去。
zhisheng_blog·2020-08-01 07:03

flume实时接收kafka消息并保存至HDFS

#-------agent------#定义sourcesagent.sources=kafkaSource#定义channelsagent.channels=memoryChannel#定义sinksagent.sinks
CaramelCapucchino·2020-07-30 14:17

Flume与KafKa集成

使用Flume把数据送到KafkaSource-localfileChannel-localfileSink-Kafka#testAgenttest.sources=testSourcetest.channels
hipeer·2020-07-28 11:11

Kafka Source如何划分partition？

以下内容摘自Spark2.3.1源码中KafkaSource注释image.pngKafkaSourceOffset是为KafkaSource自定义的Offset，它包含一个TopicPartition
阿猫阿狗Hakuna·2020-07-06 04:01

Flink——Flink1.10.0整合Kafka之KafkaSource和KafkaSink

本章将结合ApacheKafkaConnector介绍KafkaSource和KafkaSink。Kafka连接器Flink内置了Kafka连接
积微成著·2020-07-01 23:38

Flink学习笔记：Connectors之kafka

这个最火爆的大数据计算框架的同学，推荐学习CSDN官网课程：Flink大数据项目实战：http://t.cn/ExrHPl91.Kafka-connector概述及FlinkKafkaConsumer(kafkasource
大数据研习社·2020-07-01 21:17

ssh@host:""ssh切换到其他机器上执行多条命令;Pseudo-terminal will not be allocated because stdin is not a terminal.

解决方法：第一种#/bin/bashKAFKA_HOME=/opt/kafkasource/opt/wyl/cfg.configsu-hadoop"\${mm}:sshhadoop@\${mm}"cd/
wyl9527·2020-06-29 22:31

Flume的Source--KafkaSource

以前多是用kafka来消费flume中的数据，今天突然要用flume消费kafka中的数据时，有点懵，赶紧查一查Apache的官宣~~~~~~flume从kafka中消费数据一、kafkaSourceKafkaSourceisanApacheKafkaconsumerthatreadsmessagesfromKafkatopics.IfyouhavemultipleKafkasourcesrunn
PZ~浪味仙·2020-06-29 03:29

Flink处理数据库中的业务数据——将主表、从表做关联（Left Out Join）

文章目录一、需求1、需求说明2、数据准备二、分析三、技术点四、Join架构五、工具类、标准类1、FlinkUtilsV2获取KafkaSource的工具类2、OrderMainBean订单主表类3、OrderDetailBean
IT_但丁·2020-06-26 22:17

flume之kafka source

接下来，我们来介绍一下flume的kafkasource。一、理论：#--------kafkaSource相关配置--------------
赶路人儿·2020-06-24 07:19

flume“Space for commit to queue couldn't be acquired”异常产生分析

问题触发的环境：kafkasource+memorychannel+hdfssink日志截图如下：这里说的内容是：queue空间不足。sink好像没有紧跟source，或者是buffer大小太小。
老高丶·2020-06-23 09:42

【Flume】Flume 正则拦截器

Flume中常用KafkaSource、正则拦截器、HDFSSink,这里把需要注意的点做一下总结,并实现数据根F据事件时间和事件类型落到HDFS。
beautiful_huang·2020-06-22 17:48

ES 多channel、多sink

sinks=k1k2k3a1.channels=c1c2c3#Describe/configurethesourcea1.sources.r1.type=jsyh.forward.source.kafka.KafkaSource
Knuth1989·2020-06-21 01:14

Flink 实战 kafka 写数据到 hbase

执行思路：使用流式引擎，配置kafkasource；过滤不符合格式要求的数据调整触发机制：指定时间窗口，同时若在窗口内达成指定次数，也会触发接入hbasesink批量写数据环境准备version:'3'
GreenLightt·2020-04-11 16:00

Flink kafka source源码解析(四)

指定offset消费消费模式在flink的kafkasource中有以下5种模式指定offset消费publicenumStartupMode{/**StartfromcommittedoffsetsinZK
Woople·2019-11-17 21:31

Flink kafka source源码解析(一)

主要流程一般在flink中创建kafkasource的代码如下：StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment
Woople·2019-11-17 21:13

Flink 从 0 到 1 学习 —— 如何自定义 Data Sink ？

这篇文章将写一个demo教大家将从KafkaSource的数据Sink到MySQL中去。
zhisheng·2019-09-23 06:18

Flink 从 0 到 1 学习 —— 如何自定义 Data Sink ？

这篇文章将写一个demo教大家将从KafkaSource的数据Sink到MySQL中去。
zhisheng_tian·2019-09-21 13:00

整合kafka与flume，Flume读取Kafka数据写入Hdfs（forty-nine day）

我不确定是不是必须要写成zookeeper的leader，我写成本机zookeeper的时候报一个错误，大概就是没找到zookooper，我换成leader的域名slave3就好了所以agent.sources.kafkaSource.zookeeperConnect
高辉·2019-05-14 18:41

Flink学习笔记：Connectors之kafka

Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKhaz1.Kafka-connector概述及FlinkKafkaConsumer(kafkasource
大数据研习社·2019-04-09 14:00

flume从kafka读取数据到hdfs中的配置

#source的名字agent.sources=kafkaSource#channels的名字，建议按照type来命名agent.channels=memoryChannel#sink的名字，建议按照目标来命名
qwerpou·2018-12-24 17:56

《从0到1学习Flink》—— 如何自定义 Data Sink ？

这篇文章将写一个demo教大家将从KafkaSource的数据Sink到MySQL中去。
zhisheng·2018-11-13 00:00

Flume Kafka Source、正则拦截器、HDFS Sink

Flume中常用KafkaSource、正则拦截器、HDFSSink,这里把需要注意的点做一下总结,并实现数据根据事件时间和事件类型落到HDFS。
wangpei1949·2018-06-17 21:02

Gobblin Kafka Source源码分析

 KafkaSource主要任务是根据配置文件指定的Topic，读取相应的信息，划分WorkUnit。
a153095800·2017-04-18 15:00

Flink - watermark生成

的情况下才用到，所以在windowoperator前加上assignTimestampsAndWatermarks即可不一定需要从source发出1.首先，source可以发出watermark我们就看看kafkasource
fxjwind·2017-03-16 18:00

source介绍及动手实践

flume内置了大量的source，其中avrosource、thriftsource、spoolingdirectorysource、kafkasource具有较好的性能和较广泛的使用场景。
wang_ying_198·2016-04-13 15:00

Flume学习02 — Source

Flume内置了大量的Sourece，其中AvroSource、ThriftSource、SpoolingDirectorySource、KafkaSource具有较好的性能和较广泛的使用场景，下面主要介绍这几种
accountwcx·2015-10-14 10:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他