--Flink

flink sql kafka写数据到hive

step1:flink连接hive配置首先确保启动hivemetastore远程服务flink安装目录下新建文件夹hive-conf,然后vihive-site.xml，配置hive仓库地址和metastore
闻风-堡·2023-10-16 05:54

flinkSQL数据写kafka多分区

1、背景FlinkSQL数据写kafka，如果不设置并行度，默认是1。
林筱·2023-10-16 05:54

Flink读取Kafka数据写入Hive

前言本文针对数据库CDC(changedatacapture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例可供参考。
麻辣GIS·2023-10-16 05:24

Flink-SQL upset-Kafka自定义分区器

定制开发Flink-kakfa点击阅读官网遇到这种需求第一反应去看官网中对于自定义分区器是否支持。
码农-V·2023-10-16 05:22

【Flink】Flink kafka producer 分区策略 (flink写入数据不均匀 与 数据写入 分区无数据 )

文章目录1.概述2.FlinkFixedPartitioner3.Tuple2FlinkPartitioner4.FlinkKafkaDelegatePartitioner4.1DefaultPartitioner5
九师兄·2023-10-16 05:22

【Flink读写外部系统】Flink自定义kafka分区并输出

目录1kafka中的消息写入与自定义分区器2Flink的分区数定义多少个合适?
Recall-MK·2023-10-16 05:22

Flink 1.11.1 FlinkKafkaProducer写入topic0分区问题记录

Flink1.11.1FlinkKafkaProducer写入topic0分区问题记录问题记录：问题记录：flink版本：1.11.1使用FlinkKafkaProducer往下游发送数据，代码如下：Propertiesprops
HugeBitter·2023-10-16 05:51

Flink1.11 只写到kafka的第一个分区

Flink1.11.1采用以下代码出现Flink写到kafka第一个分区的现象：speStream.addSink(newFlinkKafkaProducer(kafkaTopicName,newKafkaProducerSchema
lele_pipi·2023-10-16 05:51

Flink如何基于事件时间消费分区数比算子并行度大的kafka主题

背景使用flink消费kafka的主题的情况我们经常遇到，通常我们都是不需要感知数据源算子的并行度和kafka主题的并行度之间的关系的，但是其实在kafka的主题分区数大于数据源算子的并行度时，是有一些注意事项的
lixia0417mul2·2023-10-16 05:51

Flink的基于两阶段提交协议的事务数据汇实现

背景在flink中可以通过使用事务性数据汇实现精准一次的保证，本文基于Kakfa的事务处理来看一下在Flink内部如何实现基于两阶段提交协议的事务性数据汇.flinkkafka事务性数据汇的实现1。
lixia0417mul2·2023-10-16 05:51

从Flink的Kafka消费者看算子联合列表状态的使用

背景算子的联合列表状态是平时使用的比较少的一种状态，本文通过kafka的消费者实现来看一下怎么使用算子列表联合状态算子联合列表状态首先我们看一下算子联合列表状态的在进行故障恢复或者从某个保存点进行扩缩容启动应用时状态的恢复情况算子联合列表状态主要由这两个方法处理：1初始化方法publicfinalvoidinitializeState(FunctionInitializationContextco
lixia0417mul2·2023-10-16 05:51

Flink Kafka数据源读取分析

FlinkTableApi中kafka连接器，一个Kafkasource表对应一个kafkatopic，一个kafkatopic一般有多个partition；Flink流处理作业的并行度一般大于1，一个
conch_china·2023-10-16 05:20

Flink kafka 数据汇不指定分区器导致的问题

背景在flink中，我们经常使用kafka作为flink的数据汇，也就是目标数据的存储地，然而当我们使用FlinkKafkaProducer作为数据汇连接器时，我们需要注意一些注意事项，本文就来记录一下使用
lixia0417mul2·2023-10-16 05:18

Flink 使用 connect 实现双流匹配

阅读本文需要提前了解connect和ProcessFunction相关的知识。如果不了解的同学可以先通过官网或其他资料熟悉一下。一、案例分析在生产环境中，我们经常会遇到双流匹配的案例，例如：一个订单包含了订单主体信息和商品的信息。外卖行业，一个订单包含了订单付款信息和派送信息。互联网广告行业，一次点击包含了用户的点击行为日志和计费日志。等其他相关的案例上述这些案例都需要涉及到双流匹配的操作，也就是
叫小七的剑客·2023-10-16 04:22

尚硅谷Flink（二）DStream API

目录不会点DataStreamAPI编辑执行环境创建执行环境执行模式触发程序执行源算子准备基础类型从集合中读取数据从文件读取数据从Socket读取数据从Kafka读取数据（没学过）从数据生成器读取数据Flink
Int mian[]·2023-10-15 22:21

flink教程

文章目录来自于尚硅谷教程1.Flink概述1.1特点1.2与SparkStreaming对比2.Flink部署2.1集群角色2.2部署模式2.3Standalone运行模式2.3.1本地会话模式部署2.3.2
Cool_Pepsi·2023-10-15 22:33

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(一)案例需求

文章目录Flume+Kafka+Hbase+Flink+FineBI的实时综合案例01：课程回顾02：课程目标03：案例需求Flume+Kafka+Hbase+Flink+FineBI的实时综合案例01
Maynor996·2023-10-15 19:15

apply 和 process方法的区别

flinkscala中TimeWindow的apply和process方法的区别，继承的类不同，其中prcess方法包含context，里面可以获取窗口时间，自定义延迟数据packagecom.baiimportcom.bai.wartermarkTest.MySourceimportorg.apache.flink.api.common.functions.FlatMapFunctionimpo
BigData-0·2023-10-15 13:30

Hadoop——第三部份 Hadoop3.x之MapReduce

高扩展动态增加服务器高空错海量计算缺点不擅长实时计算(Mysql)不擅长流式计算(Sparkstreamingflink)不擅长DAG有向无环图计算(迭代)(Spark)二、Hadoop序列化序列化和反序列化将内存中
Cyang6·2023-10-15 12:40

大数据flink篇之三-flink运行环境安装后续一yarn-session安装

具体的，在生产环境中，flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的sessioncluster模式。
风之清扬·2023-10-15 12:36

Flink窗口理解

Windows（窗口分类）KeyedStream和Non-KeyedStream代码定义上唯一的区别是KeyedStream以keyBy()开始，后接window()，而Non-KeyedStream以windowAll()开始，且windowAll是单slot运行的。KeyedWindowstream.keyBy(...)input=...;//tumblingevent-timewindows
weixin_42927126·2023-10-15 11:15

Flink 中的时间和窗口-第六章

借鉴《尚硅谷Flink1.13版本笔记.pdf》中第六章Flink中的时间和窗口在流数据处理应用中，一个很重要的操作就是窗口计算。
王雀跃·2023-10-15 11:42

Flink基础概念

1、keyby、partitionCustom区别（1）KeyByDataStream→KeyedStream:通过制定字段，将流转化成带key的流，之后相同key的数据，分发到相同的算子上。属于逻辑上的分区。 dataStream.keyBy("someKey")//通过"someKey"进行分组 dataStream.keyBy(0)//通过Tuple的第一个元素进行分组（2）物理分区（1）C
架构师思考实践·2023-10-15 11:42

flink-keyby调研

flink-keyby调研keyby的原理Flink中的keyBy操作是用于根据指定的键将数据流进行哈希分区的操作。
monsterXZB·2023-10-15 11:42

Flink Table API和SQL（中）

传送门：FlinkTableAPI和SQL（上）(基本API介绍+流处理表的特性)FlinkTableAPI和SQL（中）(时间属性及窗口+聚合查询+联结查询)FlinkTableAPI和SQL（下）(
落花雨时·2023-10-15 11:41

Flink中的Table API和SQL（三）

目录11.4时间属性和窗口11.4.1事件时间11.4.2处理时间11.4.3窗口（Window）11.5聚合（Aggregation）查询11.5.1分组聚合11.5.2窗口聚合11.5.3开窗（Over）聚合11.4时间属性和窗口基于时间的操作（比如时间窗口），需要定义相关的时间语义和时间数据来源的信息。在TableAPI和SQL中，会给表单独提供一个逻辑上的时间字段，专门用来在表处理程序中指
大数据阿嘉·2023-10-15 11:39

Flink中的CEP（二）

模式的检测处理12.4.1将模式应用到流上12.4.2处理匹配事件12.4.3处理超时事件12.4.4处理迟到数据12.5CEP的状态机实现12.6本章总结12.4模式的检测处理PatternAPI是FlinkCEP
大数据阿嘉·2023-10-15 11:39

Flink中KeyBy、分区、分组的正确理解

1.Flink中的KeyBy在Flink中，KeyBy作为我们常用的一个聚合类型算子，它可以按照相同的Key对数据进行重新分区，分区之后分配到对应的子任务当中去。
文文鑫·2023-10-15 11:08

The SetStack Computer(stack) -uva 12096

131072KBThisproblemwillbejudgedonUVA.OriginalID:1209664-bitintegerIOformat:%lldJavaclassname:Main[PDFLink
睡神不睡·2023-10-15 07:42

Flink学习笔记之六ProcessFunction

1.概念低阶APIprocessfunction，越底层越丰富复杂，提供了对状态的管理中阶APIDataStreamAPI，一般都是使用这个高级APISQL/TableAPI，高度抽象屏幕快照2019-03-21下午12.02.35.png2.onTimerProcessFunction,注册定时器，维护状态，定时到时触发调用onTimer屏幕快照2019-03-21下午12.04.11.png3
天火燎原_e548·2023-10-15 07:14

自定义Flink kafka连接器Decoding和Serialization格式

前言使用kafka连接器时：1.作为source端时，接受的消息报文的格式并不是kafka支持的格式，这时则需要自定义Decoding格式。2.作为sink端时，期望发送的消息报文格式并非kafka支持的格式，这时则需要自定义Serialization格式分析待补充步骤待补充
天涯到处跑·2023-10-14 17:58

flink SQL与jdbc(mysql整合)

一、前言此次flinksql整合jdbc整合（以mysql为例）主要是能在flinksql中读写mysql表中的数据flink1.11.0主要参考官网：https://ci.apache.org/projects
天涯到处跑·2023-10-14 17:28

flink SQL与hbase整合

一、前言flinksql与hbase整合主要实现：flinksql客户端中的hbase表与hbase中的表数据交互，为以后纯sql编写程序做准备如：创建kafka表、hive表、hbase表、mysql
天涯到处跑·2023-10-14 17:28

flink 自定义多并发度 elasticsearch source连接器

前言目前flink是没有essourceflink通过sql方式读取es中的数据需要自定义essource参考1.官网:User-definedSources&Sinks|ApacheFlink2.博客
天涯到处跑·2023-10-14 17:28

Flink1.11.0 SQL与hive整合

一、前言此次flinksql整合hive主要是能在flinksql中读写hive数据,为flink实时写数据进入hive构建实时数仓做准备工作。
天涯到处跑·2023-10-14 17:58

Flink自定义sink并支持insert overwrite 功能

前言自定义flinksink，批模式下，有insertoverwrite需求或需要启动任务或任务完成后时，只执行一次某些操作时，则可参考此文章分析待补充步骤待补充
天涯到处跑·2023-10-14 17:51

Flink学习2-开发环境搭建

了解了Flink的基本原理和运行框架，本节我们尝试搭建Flink开发环境，由于Flink从1.10版本开始，在Windows系统上存在运行问题，且Flink官方也将各种Windows版本的Flink工具脚本从开发包中删除
清风送晚·2023-10-14 17:20

HA-Flink集群环境搭建(Yarn模式)

前置准备CentOS7、jdk1.8、flink-1.10.1、hadoop-2.7.7、zookeeper-3.5.7想要完成本期视频中所有操作，需要以下准备：Linux下jdk的安装Scala环境搭建
广彐水厂·2023-10-14 17:17

HA-Flink集群环境搭建(Standalone模式)

前置准备CentOS7、jdk1.8、flink-1.10.1、hadoop-2.7.7、zookeeper-3.5.7想要完成本期视频中所有操作，需要以下准备：Linux下jdk的安装Scala环境搭建
广彐水厂·2023-10-14 17:47

Linux 搭建Flink教程

在服务器上解压完成压缩包后进行环境配置exportFLINK_HOME=/opt/soft/flinkexportPATH=$PATH:$FLINK_HOME/bin进入flinkconf目录下修改flink-conf.yaml
JAVA百练成神·2023-10-14 17:14

Linux安装Flink及其环境配置

Linux安装Flink及其环境配置集群规划使用StandAlone模式，需要启动Flink的主节点JobManager以及从节点TaskManager服务node1node2node3JobManager
未禾·2023-10-14 17:14

flink学习笔记-flink的local模式安装部署

1、Flink的local模式部署安装在local模式下，不需要启动任何的进程，仅仅是使用本地线程来模拟flink的进程，适用于测试开发调试等，这种模式下，不用更改任何配置，只需要保证jdk8安装正常即可第一步
陈同学：·2023-10-14 17:43

flink进阶篇-03-Flink部署

1、Standalone模式1.1安装软件准备：（自行官网下载）flink-1.10.1-bin-scala_2.12.tgz三台linux机器linuxiphostnamecentos7192.168.1.100hadoop1centos7192.168.1.101hadoop2centos7192.168.1.102hadoop3
先锋成员5A·2023-10-14 17:42

链式队列程序代码

#ifndefLINKQUEUE_H#defineLINKQUEUE_Htypedefintdatatype;typedefstructnode{datatypedata;structnode*next
行者甲·2023-10-14 17:11

07-flink环境搭建

07-flink环境搭建StandaloneCluster环境下载部署包上传到Linux服务器上通过FTP工具上传；也可以将win安装Linux子系统；或者直接win上运行(没有测试过)解压安装包tar-zxvfflink
蜗牛写java·2023-10-14 17:39

大数据实操篇 No.13-Flink开发环境搭建及使用

经过前几篇文章的介绍，相信大家已经了解Flink在生产环境上的部署和使用。那么问题随之而来：难道每一个Flink开发人员都要部署安装一套集群才能做开发吗？
pezynd·2023-10-14 17:39

一文让你彻底了解大数据实时计算引擎 Flink

随着这些年大数据的飞速发展，也出现了不少计算的框架（Hadoop、Storm、Spark、Flink）。在网上有人将大数据计算引擎的发展分为四个阶段。
zhisheng_blog·2023-10-14 17:14

【Flink实战】四、本地Mac+homebrew+Flink1.12.0的安装与运行

flink也搭建过好多回了。在Linux上搭建过，在mac上搭建过。但是，因为最近电脑频繁出问题，又不想一直登云主机去运行flink程序，于是想着在本地搭一个flink环境。
王大梨·2023-10-14 17:35

Linux运行环境搭建系列-Flink安装

Flink安装##下载https://archive.apache.org/dist/flink/flink-1.16.2##解压tar-zxvfflink-1.16.2-bin-scala_2.12.
知秋丶·2023-10-14 17:00

Kafka 开启SASL/SCRAM认证 及 ACL授权（三）验证

涉及的client有以下几个场景：shell脚本、python脚本、java应用、flink流。kafkashellscript验证核心逻辑是，连zk的，使用zk的jaas，连kafkab
代码讲故事·2023-10-14 15:45
上一页 55 56 57 58 59 60 61 62 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他