大数据框架flink

Flink学习——自定义Data Sink

前言上一篇文章介绍了FlinkDataSink，也介绍了Flink自带的Sink，那么如何自定义自己的Sink呢？
白习习_c942·2023-06-14 08:59

pylink消费kafka写入ES

#-*-coding:utf-8-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportMapFunction
scan724·2023-06-14 04:21

Flink SQL-Client 的使用

flinksqlclient介绍TheSQLClientaimstoprovideaneasywayofwriting,debugging,andsubmittingtableprogramstoaFlinkclusterwithoutasinglelineofJavaorScalacode.TheSQLClientCLIallowsforretrievingandvisualizingreal
hongyuzhou·2023-06-14 04:27

Flink状态管理与状态一致性（长文）

Flink状态管理与状态一致性（长文）Flink状态一、前言有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。
大数据技术派·2023-06-14 03:39

使用flink计算交通酒驾的概率

要计算交通酒驾的概率，我们需要有一些数据作为输入，包括交通违法记录、酒精检测结果、车辆信息等。为了简化问题，我们以一个城市的某段时间内的交通记录作为示例数据。下面是我写出的一个可能的实现过程。如有不同意见，欢迎叨扰数据收集：首先，我们需要从相关部门获取交通违法记录、酒精检测结果和车辆信息等数据。可以将这些数据存储在一个输入源中，如Kafka、MQ、文件系统等。数据预处理：对于这些输入数据，我们需要
AcerMr·2023-06-13 21:41

使用flink实现《实时数据分析》的案例 java版

目录实时数据分析案例文档介绍环境数据源数据处理数据清洗数据转换数据聚合数据输出总结实时数据分析案例文档介绍本文档介绍了使用Java和Flink实现实时数据分析的案例。
AcerMr·2023-06-13 21:11

使用flink实现《实时监控和日志分析》的案例 java版

实时监控和日志分析案例文档介绍本文档介绍了使用Java和Flink实现实时监控和日志分析的案例。该案例旨在通过实时监控和日志分析来提高系统的可靠性和性能。
AcerMr·2023-06-13 21:11

flink计算交通事故概率

目录flink计算交通事故概率数据模型总结flink计算交通事故概率要计算交通事故概率，我们需要有一些数据作为输入，包括交通违法记录、车辆信息、天气信息、道路信息等。
AcerMr·2023-06-13 21:05

Day01 项目简介&分布式基础概念 -谷粒商城

最近在改进公司开发的商城项目，看到了尚硅谷的谷粒商城，就快速学习了下，因为之前的Kafka,Redis都是在这学习的，还有大数据的Flink。所以感觉一定不错，就开始了。
6个日的梦想·2023-06-13 21:47

hudi系列-upsert写过程

环境hudiupsert写过程最为复杂，流程上有一个桶分配的环节，当以flinkstate为索引时，流程变得更长，所以写入性能较差。
矛始·2023-06-13 20:46

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

作者：刘松森，伊的家CTO，高级工程师，副教授职称，国内多所高校客座教授广州伊的家网络科技有限公司是一家专注于服务女性的B2B2C电商平台，业务范围包括护肤、彩妆、营养美容食品、私人定制服装、跨境电商等领域。自2008年孵化项目，2011年5月上线天猫商城，全国8大配送中心，妍诗美、妍膳等品牌陆续成立，并于2013年上线了伊的家自主电商平台，2020年全面启动品牌升级。伊的家以互联网主动式服务营销
·2023-06-13 19:48

Dinky: 实时即未来，让 Flink SQL 纵享丝滑--如何本地编译、运行

什么是Dinky实时即未来，Dinky为ApacheFlink而生，让FlinkSQL纵享丝滑。
java编程艺术·2023-06-13 17:27

复杂Flink任务Task均衡调度和优化措施

一、背景：flink任务部署使用基于k8s的standalone集群，先在容器上部署flink集群再提交flink任务，其中flink任务的提交与taskmanager的创建、注册是同时进行的。
Openlab.cosmoplat·2023-06-13 17:25

尚硅谷大数据项目【电商数仓5.0】学习笔记

大数据框架之Hive笔记目录一、用户行为采集平台第1章数据仓库概念第2章项目需求及架构设计第3章用户行为日志第4章用户行为数据采集模块二、业务采
yiluohan0307·2023-06-13 16:40

小米基于 Flink 的实时数仓建设实践

摘要：本文整理自小米软件开发工程师周超，在FlinkForwardAsia2022平台建设专场的分享。
·2023-06-13 16:44

快手基于 Apache Flink 的实时数仓建设实践

摘要：本文整理自快手实时数据开发工程师冯立，快手实时数据开发工程师羊艺超，在FlinkForwardAsia2022实时湖仓专场的分享。
·2023-06-13 16:10

Flink SQL 在美团实时数仓中的增强与实践

摘要：本文整理自美团数据系统研发工程师董剑辉&美团数据系统研发工程师张彬，在FlinkForwardAsia2022平台建设专场的分享。
·2023-06-13 16:09

基于 Flink CDC 的实时同步系统

我主要负责基于Flink、Iceberg、K8s的底层基础设施建设。今
·2023-06-13 16:08

BIGO 使用 Flink 做 OLAP 分析及实时数仓的实践和优化

本文整理自BIGOStaffEngineer邹云鹤在FlinkForwardAsia2021的分享。
·2023-06-13 16:29

美团买菜基于 Flink 的实时数仓建设

摘要：本文整理自美团买菜实时数仓技术负责人严书，在FlinkForwardAsia2022实时湖仓专场的分享。
·2023-06-13 16:48

Flink之数据流类型

Flink为流处理和批处理分别提供了DataStreamAPI和DataSetAPI。在开发工作中这些API极大的便利了开发者开发大数据应用。
MrSocean·2023-06-13 14:04

实时数仓建设第3问：Lookup维表缓存数据TTL不需要设置几个小时，数据一被访问就更新生命周期生命周期？

在flink1.16之前缓存的创建方式如下：CacheBuilder.newBuilder().expireAfterWrite(cacheExpireMs,TimeUnit.MILLISECONDS)
暴躁IT老绵羊·2023-06-13 12:51

聊聊Flink必知必会(二)

###Checkpoint与BarrierFlink是一个有状态的流处理框架，因此需要对状态做持久化，Flink定期保存状态数据到存储空间上，故障发生后从之前的备份中恢复，这个过程被称为Checkpoint
又见阿郎·2023-06-13 11:00

2022-01-04 Flink application 抽象和提交部署源码剖析

image.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.png并行度image.pngimage.pngimage.pngimage.png
乔爱军·2023-06-13 09:45

时间语义和水位线

1eventTime一个基于eventTime的flink程序必须定义：每条数据的eventTime时间戳和如何生成watermark。一旦设置了eventTime则必须设置watermark。
hapcat·2023-06-13 09:22

Flink读取Kafka数据案例

案例准备：1、启动zookeeper2、启动Kafka3、打开IDEA案例需求：需求：使用flink读取Kafka中的数据代码实现：defmain(args:Array[String]):Unit={valenv
万家林·2023-06-13 05:34

pyflink kafka es

#-*-coding:utf-8-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportMapFunction
scan724·2023-06-13 05:04

PyFlink中使用kafka和MySQL

PyFlink中使用kafka和MySQL文章目录PyFlink中使用kafka和MySQL1需求配置2MySQL的安装与配置2.1配置yum源2.2安装MySQL源2.3检查MySQL源是否安装成功2.4
沉浮-·2023-06-13 05:03

PyFlink基础应用之kafka

PyFlink基础应用之kafka运行环境PyFlink需要特定的Python版本（3.5、3.6或3.7）。运行一下命令，以确保Python版本满足要求。
家是港湾·2023-06-13 05:03

python flink kafka_Flink读取Kafka数据，进行汇总

今天介绍用Flink读取Kafka生成的数据，并进行汇总的案例第一步：环境准备，kafka，flink，zookeeper。
weixin_39984201·2023-06-13 05:02

Flink从Kafka读取数据流写入到MySQL

综合案例今天来实现一个综合案例：Flink从独立部署的Kafka读取数据流，处理后，通过自定义的Sink函数写入到MySQL中视频配置参考FLINK-1WordCountFLINK-2读取KafkaFLINK
BirdMan98·2023-06-13 05:02

python flink kafka_flink与kafka结合

1、概述flink提供了一个特有的kafkaconnector去读写kafkatopic的数据。
weixin_39802055·2023-06-13 05:32

python flink kafka_开发者干货 | 当Flink遇到Kafka - FlinkKafkaConsumer使用详解

原标题：开发者干货|当Flink遇到Kafka-FlinkKafkaConsumer使用详解Flink是新一代的流处理计算引擎。
weixin_39927408·2023-06-13 05:32

python flink kafka_Windows下Flink读取Kafka

代码:importjava.util.Propertiesimportorg.apache.flink.api.common.serialization.SimpleStringSchemaimportorg.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimportorg.apache.flink.streaming.con
weixin_39969060·2023-06-13 05:32

Flink-从kafka读取数据，输出到mysql

目录1、pom文件2、自定义kafka数据源3、输出到mysql代码4、结果展示1、pom文件4.0.0flinkemoflinkemo1.0-SNAPSHOTmysqlmysql-connector-java8.0.30org.apache.flinkflink-connector-kafka
IMezZ·2023-06-13 05:02

python 读取kafka 写hive_Flink 读取Kafka写入Hive

在流式处理系统中，Flink和kafka的结合很是经典。我们可以通过Flink消费Kafka数据，层层处理后，丢到Kafka另一个Topic，下游再处理该Topic的数据。
weixin_39566864·2023-06-13 05:02

pyflink实现实时数据从kafka消费到mysql

写在前头：更多大数据相关精彩内容请进我的知识星球，每周定期更新正篇技术路线：实时数据——>kafka——>flink——>mysql1、实时数据：参考链接https://blog.csdn.net/qq
菜鸟社长·2023-06-13 05:01

Flink的从Kafka中读取再写入Kafka如何实现的ExactlyOnce--笔记

要想Flink实现ExactlyOnce需要Source能够记录偏移量，Sink支持开启事务一、Source1、使用KafkaSource需要调用addSource方法，传入一个FlinkKafkaConsumer
名字都让我吃了·2023-06-13 05:31

flink读取kafka数据

前言在实际生产环境中，经常需要使用flink读取外部的数据源作为数据的输入流，其中kafka就是重要的实时数据源，flink可以通过消费kafka指定的topic数据达到实时处理的目的，下面演示如何使用
逆风飞翔的小叔·2023-06-13 05:31

Flink Table Api读取kafka数据

前言在上一篇我们通过代码演示了如何使用FlinkTableApi从外部的CSV文件中读取数据，然后输出到新的CSV文件中去；本篇将继续探讨FlinkTableApi的相关使用，要分享的是利用FlinkTableApi
逆风飞翔的小叔·2023-06-13 05:31

pyflink 读取kafka

#-*-coding:utf-8-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportMapFunction
scan724·2023-06-13 05:01

第三次学flink

第一问Flink为何而出现人们想要高吞吐，低延迟处理数据，以前的storm只能低延迟，做不到高吞吐，sparkStreaming可以高吞吐，但是更多的场景是要根据事件数据切割，或者说要实现比较复杂。
编程爱上我吧·2023-06-13 01:43

中级数据开发工程师养成计

整体排期1hive2hadoop3flink4spark5闲杂工具kafkamaxwellcancal6数据建模（偏向于kimboll维度建模）7机器学习--常见算法理论简单应用8python编程numpypandasmatplotlib
编程爱上我吧·2023-06-13 01:43

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

引言阿里云实时计算Flink作为一款专业级别的高性能实时大数据处理系统，它在各种业务场景中都发挥了关键的作用。丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。
阿里云大数据AI技术·2023-06-12 23:22

Flink CDC 实时mysql到mysql

CDC的全称是ChangeDataCapture，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为CDC。目前通常描述的CDC技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。mysqlcdc需要mysql开启binlog，找到my.cnf，在[mysqld]中加入如下信息[mysqld]server-id=1log-bin=mysql-binbinlog-format=
今朝花落悲颜色·2023-06-12 21:33

Flink实时仓库-ODS&DIM层实现模板代码

开发环境准备pom.xml1.8${java.version}${java.version}1.13.02.123.1.3org.apache.flinkflink-java${flink.version
顶尖高手养成计划·2023-06-12 20:37

揭秘阿里云 Flink 智能诊断利器——Flink Job Advisor

作者：藏红一、引言阿里云实时计算Flink作为一款专业级别的高性能实时大数据处理系统，它在各种业务场景中都发挥了关键的作用。
·2023-06-12 17:45

FlinkSQL 14.5 CDC实现同步oracle11G 数据到mysql

下载oracle1.实现功能oracle11G--->flinksql---->mysql2.版本组件版本flinkflink-1.14.5-bin-scala_2.12.tgzflinkcdcflink-sql-connector-oracle-cdc
wudl·2023-06-12 14:15

Flink：实时ETL案例

抽取（extract）、转换（transform）、加载（load）需求将国家编号变成地区编号（在跨国业务常用）形式数据源{"dt":"2020-08-1217:19:40","countryCode":"SA","data":[{"type":"s2","score":0.1,"level":"A+"},{"type":"s5","score":0.5,"level":"C"}]}国家和地区映射
程序员无羡·2023-06-12 12:29

1.4 Apache Flink 开发环境搭建

Flink开发环境部署和配置Flink是一个以Java及Scala作为开发语言的开源大数据项目，代码开源在github上，并使用maven来编译和构建项目。
ducode·2023-06-12 12:28
上一页 101 102 103 104 105 106 107 108 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他