制胜Flink

Flink拆分流和复制流

如果是使用filter来进行拆分，也能满足我们的需求，但每次筛选都要保留整个流，然后遍历整个流，显然很浪费性能，假如能够在一个流了多次输出就好了，flink的旁路输出则提供了这样的功能。
和平菌·2023-09-17 07:29

【flink进阶】-- Flink kubernetes operator 版本升级

目录1、检查当前flinkkubernetesoperator版本2、停止生产上正在运行的flinkjob3、升级CRD
high2011·2023-09-17 06:39

【Flink源码】JobGraph构建过程

JobGraph生成过程StreamGraph转变成JobGraph也是在Client完成，主要做了三件事：StreamNode转成JobVertexStreamEdge转成JobEdgeJobEdge和JobVertex之间创建IntermediateDataSet来连接书接上回，execute方法中通过getJobGraph将Pipeline转换为JobGraph，下面来看一下getJobGr
瑶琴遇知音·2023-09-16 18:45

【Flink实战】玩转Flink里面核心的Sink Operator实战

作者：“大数据小禅”文章简介：玩转Flink里面核心的SinkOperator实战欢迎小伙伴们点赞、收藏⭐、留言目录导航FlinkSinkOperator简介Flink核心知识SinkOperator速览
大数据小禅·2023-09-16 18:32

Flink CDC 笔记

开源地址：https://github.com/ververica/flink-cdc-connectorsCDC（changedatacapture：变更数据获取），检测并捕获数据库的变动（包括数据或数据表的插入
Link_999·2023-09-16 13:56

Flink1.17学习笔记

main快捷键设置wordcountdatasetAPIpackagecom.atguigu.wc;importorg.apache.flink.api.common.functions.FlatMapFunction
Link_999·2023-09-16 13:51

flink 对java8 lambdas表达式的支持

本文是对https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/java_lambdas.html#java-lambda-expressions
java0110·2023-09-16 12:24

flink on yarn 报错解决

将commons-cli-1.5.0.jar和flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar拷贝到flink目录编辑flink-conf.yaml
ciqingloveless·2023-09-16 11:31

Hadoop：YARN、MapReduce、Hive操作

汇总模式：（MapReduce就是这种模式）1.将数据分片，多台服务器各自负责一部分数据处理2.然后将各自的结果，进行汇总处理3.最终得到想要的计算结果中心调度->步骤执行模式：（大数据体系的Spark、Flink
独憩·2023-09-16 06:29

Flink

flink应用场景maven依赖1.17.0org.apache.flinkflink-streaming-java${flink.version}providedorg.apache.flinkflink-clients
yzhSWJ·2023-09-16 06:58

【毕设选题】flink大数据淘宝用户行为数据实时分析与可视化

文章目录0前言1、环境准备1.1flink下载相关jar包1.2生成kafka数据1.3开发前的三个小tip2、flink-sql客户端编写运行sql2.1创建kafka数据源表2.2指标统计：每小时成交量
caxiou·2023-09-16 06:24

FlinkSQL_1.12_用DDL实现Kafka到MySQL的数据传输_实现按照条件进行过滤写入MySQL

1.FlinkSQL_用DDL实现Kafka到MySQL的数据传输_实现按照条件进行过滤写入MySQLpackagecom.atguigu.day10;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment
旧城里的阳光·2023-09-16 06:58

No factory implements ‘org.apache.flink.table.factories.DeserializationSchemaFactory‘

flink1.12.7执行java代码，报如下错误：Exceptioninthread"main"org.apache.flink.table.api.TableException:findAndCreateTableSourcefailed.atorg.apache.flink.table.factories.TableFactoryUtil.findAndCreateTableSource
恬毅·2023-09-16 06:57

org.apache.flink.table.api.TableException: Sink does not exists

FlinkSQL_1.12_用DDL实现Kafka到MySQL的数据传输_实现按照条件进行过滤写入MySQL_flink从kafka拉取数据并过滤数据写入mysql_旧城里的阳光的博客-CSDN博客参考这篇文章
恬毅·2023-09-16 06:23

Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)

说明:本篇将详细介绍用二进制安装包部署hadoop等组件，注意事项，各组件的使用，常用的一些命令，以及在部署中遇到的问题解决思路等等，都将详细介绍。1.环境说明1.1ip规划iphostname192.168.1.11node1192.168.1.12node2192.168.1.13node31.2系统配置1.2.1系统版本[root@localhost~]#cat/etc/redhat-rel
Mr.L-OAM·2023-09-16 02:02

flink MemoryStateBackend 和 RocksDBStateBackend 切换导致任务出现bug

这两个stateBackend有什么区别速度和大小的区别RocksDBStateBackend会多出序列化,反序列化所以性能更差,但是他可以支撑很大的状态.和任务代码相关,可能导致bug测试不同状态后端(注意开启checkpoint),使用map_dp.get(key).append(value)的效果是否相同其中value是listbuffer类型内存/文件状态后端:符合预期rocksDB状态后
Thomas2143·2023-09-15 20:16

牙疼复发

今天如常早起，念了英文，看了管理课～十招制胜。
张瑞秋5114·2023-09-15 19:59

@全体开发者们，ChunJun 有奖征文，精美奖品，快来参加！

2022年4月，在FlinkX进行初版开源的整整四年后，技术团队决定对FlinkX进行整体升级，并更名为ChunJun。到目前为止，ChunJun正式更名上线已经过了一年多了。
袋鼠云数栈·2023-09-15 15:05

文举论金：黄金原油全面走势分析

市场没有绝对，涨跌没有定势，所以，对市场行情的涨跌平衡判断就是你的制胜法宝。欲望！有句意大利谚语：让金钱成为我们忠心耿耿的仆人，否则，它就会成为一个专横跋扈的主人。空头，多头都能赚钱，唯有贪心不能赚。
m0_73819082·2023-09-15 13:26

文举论金：黄金原油全面走势分析策略指导。

市场没有绝对，涨跌没有定势，所以，对市场行情的涨跌平衡判断就是你的制胜法宝。欲望！有句意大利谚语：让金钱成为我们忠心耿耿的仆人，否则，它就会成为一个专横跋扈的主人。空头，多头都能赚钱，唯有贪心不能赚。
m0_73819082·2023-09-15 13:55

文举论金：黄金原油全面走势分析策略指导。

市场没有绝对，涨跌没有定势，所以，对市场行情的涨跌平衡判断就是你的制胜法宝。欲望！有句意大利谚语：让金钱成为我们忠心耿耿的仆人，否则，它就会成为一个专横跋扈的主人。空头，多头都能赚钱，唯有贪心不能赚。
m0_73819082·2023-09-15 13:24

2023，DaaS驶入“AI大航海时代”

2023，“制胜”已然成为所有行业、企业的共同命题，随着数字化行至中程，数据壁垒逐渐被打破，DaaS作为企业增长问题的解法，再次被看到。
产业家·2023-09-15 13:41

【Flink实战】Flink 商品销量统计-实战Bahir Connetor实战存储 数据到Redis6.X

作者：“大数据小禅”文章简介：Flink商品销量统计-实战BahirConnetor实战存储数据到Redis6.X欢迎小伙伴们点赞、收藏⭐、留言目录导航Flink怎么操作RedisFlink商品销量统计
大数据小禅·2023-09-15 12:15

Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12

在上一篇分享Flink集成Hive之快速入门--以Flink1.12为例中，介绍了Flink集成Hive的进本步骤。
大数据技术与数仓·2023-09-15 12:37

【Flink实战】Flink对接Kafka Connetor使用docker部署kafka

作者：“大数据小禅”文章简介：Flink对接KafkaConnetor第一步使用docker部署kafka欢迎小伙伴们点赞、收藏⭐、留言目录导航什么是DockerDocker常用命令Docker安装过程
大数据小禅·2023-09-15 12:59

Flink CDC 单线程读取 mysql binlog 同步到 Elasticsearch 的压力测试

硬件环境MySQL服务器2核1G，Flink服务器2核4G，Elasticsearch服务器2核8G。
npk191954·2023-09-15 12:17

【使用 flink-cdc 将数据从 mysql 同时同步到 redis, elastisearch, clickhouse】

要从MySQL同时同步到Redis、Elasticsearch和Clickhouse，可以使用FlinkCDC和FlinkTableAPI来实现。
npk191954·2023-09-15 12:16

妙言至径，大道至简

真正的大道在于“小”，若是掌握了真理，一句话就能抓住根本，真正的高手，只用一招就能克敌制胜。从事教育教学工作十几载，我越来越深感困惑。
陶然客·2023-09-15 11:57

半个小时搭建自己的实时监控系统

首先给直观的看看监控效果图：image.png数据流架构如下所示，通过Flume采集日志数据，并写入到kafka中，Flink读取kafka数据经过处理后再次放入到kafka中，监控页面通过websocket
那些年搬过的砖·2023-09-15 10:32

Flink 的 Kafka Table API Connector

Flinkdatastreamconnectors和Flinktableapiconnectors的区别：FlinkDataStreamConnectors和TableAPIConnectors是Flink
npk191954·2023-09-15 09:03

27、Flink 的SQL之SELECT (SQL Hints 和 Joins)介绍及详细示例（2-1）

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-09-15 09:02

flink assignTimestampsAndWatermarks两种水印生成方式 源码分析

时间戳和水印的时间生成方式一般有一下两种方式1、AscendingTimestampExtractor由数据源码我们可以知道AscendingTimestampExtractor抽象类实现了ssignerWithPeriodicWatermarks接口的extractTimestamp及getCurrentWatermark方法，同时声明抽象方法extractAscendingTimestamp供
lianchaozhao·2023-09-15 07:04

Flink自定义StreamOperator

在上一篇StreamOperator源码简析从源码角度分析了StreamOperator以及其实现类，此篇幅主要分析一下如何自定义一个StreamOperator。StreamOperator接口提供了其生命周期的抽象方法，例如初始化方法setup、open、initializeState，checkpoint相关方法prepareSnapshotPreBarrier、snapshotState，
Flink实战剖析·2023-09-15 07:30

flink连接kafka报：org.apache.kafka.common.errors.TimeoutException: Timeout expired while fetching topic

报错信息Causedby:org.apache.flink.runtime.JobException:RecoveryissuppressedbyNoRestartBackoffTimeStrategyatorg.apache.flink.runtime.executiongraph.failover.flip1
未来的资深Java架构师·2023-09-15 06:16

6.3、Flink数据写入到MySQL

4、容错性的保证(精确一次&至少一次)4.1、至少一次4.2、精确一次1、添加POM依赖ApacheFlink集成了通用的JDBC连接器，使用时需要根据生产环境的版本引入相应的依赖官网链接：官网org.apache.flinkflink-connector-jdbc1.17
广阔天地大有可为·2023-09-15 06:46

flink java代码在客户端运行

要在本地开发环境运行flink代码，需要在pom中添加：org.apache.flinkflink-clients_2.12${flink.version}否则直接执行main函数会报如下错误：Exceptioninthread"main"org.apache.flink.runtime.client.JobExecutionException
恬毅·2023-09-15 06:08

6、如何将 Flink 中的数据写入到外部系统(文件、MySQL、Kafka)

目录1、如何查询官网2、Flink数据写入到文件3、Flink数据写入到Kafka4、Flink数据写入到MySQL1、如何查询官网官网链接：官网2、Flink数据写入到文件传送门：Flink数据写入到文件
广阔天地大有可为·2023-09-15 05:02

flink连接kafka报：org.apache.kafka.common.errors.TimeoutException

测试flink1.12.7连接kafka：packageorg.test.flink;importorg.apache.flink.api.common.serialization.SimpleStringSchema
恬毅·2023-09-15 05:02

【Flink】FlinkCDC自定义反序列化器

在我们用FlinkCDC采集mysql数据（或其他数据源）的时候，FlinkCDC输出的格式不标准，不利于我们后续做数据处理，我们通常会使用自定义反序列化器来格式化采集数据方便后续处理常规的反序列化器如下
一杯咖啡半杯糖·2023-09-15 03:05

【Flink】FlinkCDC报错Cannot read the binlog filename and position via ‘SHOW MASTER STATUS‘.

在编写FlinkCDC读取Mysql的代码时遇到如下问题：Exceptioninthread"main"org.apache.flink.runtime.client.JobExecutionException
一杯咖啡半杯糖·2023-09-15 03:04

【Flink】FlinkCDC获取mysql数据时间类型差8小时时区解决方案

1、背景：在我们使用FlinkCDC采集mysql数据的时候，日期类型是我们很常见的类型，但是FlinkCDC读取出来会和数据库的日期时间不一致，情况如下FlinkCDC获取的数据中create_time
一杯咖啡半杯糖·2023-09-15 03:04

【Flink】:ClassNotFoundException: org.apache.flink.streaming.api.functions.source.SourceFunction

很多人在Flink项目在idea中导入依赖后，明明自己的pom包已经导入了，但是运行程序后会出现找不到核心类这种情况，出现如下问题java.lang.NoClassDefFoundError:org/apache
一杯咖啡半杯糖·2023-09-15 03:34

【Flink】 FlinkCDC读取Mysql（ DataStream 方式）（带完整源码，直接可使用）

简介：FlinkCDC读取Mysql数据源，程序中使用了自定义反序列化器，完整的Flink结构，开箱即用。
一杯咖啡半杯糖·2023-09-15 03:33

DTC模式的消费者运营如何开展（上）

在本系列的两篇文章中，我们介绍了DTC品牌兴起背景、制胜要旨以及传统品牌如何拥抱DTC，品牌想要开展DTC模式的消费者运营，又该如何做？一、DTC模式的消费者运营有哪些特性？
联否Linkflow·2023-09-15 00:51

Flink K8s Operator 如何提交flink SQL

[FLINK-32735]FlinkSQLGatewayforNativeKubernetesApplicationMode-ASFJIRAFLIP-316:IntroduceSQLDriver-ApacheFlink-ApacheSoftwareFoundationjar
Thomas2143·2023-09-14 23:24

文举论金：黄金原油全面走势分析策略指导。

市场没有绝对，涨跌没有定势，所以，对市场行情的涨跌平衡判断就是你的制胜法宝。欲望！有句意大利谚语：让金钱成为我们忠心耿耿的仆人，否则，它就会成为一个专横跋扈的主人。空头，多头都能赚钱，唯有贪心不能赚。
m0_73819082·2023-09-14 22:05

文举论金：黄金原油全面走势分析策略指导。

市场没有绝对，涨跌没有定势，所以，对市场行情的涨跌平衡判断就是你的制胜法宝。欲望！有句意大利谚语：让金钱成为我们忠心耿耿的仆人，否则，它就会成为一个专横跋扈的主人。空头，多头都能赚钱，唯有贪心不能赚。
m0_73819082·2023-09-14 22:34

【Flink实战】新老用户分析：按照操作系统维度进行新老用户的分析

作者：“大数据小禅”文章简介：新老用户分析：按照操作系统维度进行新老用户的分析欢迎小伙伴们点赞、收藏⭐、留言目录导航同类产品参考日志的数据格式需求：按照操作系统维度进行新老用户的分析分析结果同类产品参考日志的数据格式{"deviceType":"iPhone10","uid":"user_1","product":{"name":"宝马","category":"车"},"os":"iOS","i
大数据小禅·2023-09-14 17:22

文举论金：3.17黄金原油全面走势分析策略指导。

市场没有绝对，涨跌没有定势，所以，对市场行情的涨跌平衡判断就是你的制胜法宝。欲望！有句意大利谚语：让金钱成为我们忠心耿耿的仆人，否则，它就会成为一个专横跋扈的主人。空头，多头都能赚钱，唯有贪心不能赚。
m0_73819082·2023-09-14 16:57

文举论金：3.21黄金原油全面走势分析策略指导。

市场没有绝对，涨跌没有定势，所以，对市场行情的涨跌平衡判断就是你的制胜法宝。欲望！有句意大利谚语：让金钱成为我们忠心耿耿的仆人，否则，它就会成为一个专横跋扈的主人。空头，多头都能赚钱，唯有贪心不能赚。
m0_73819082·2023-09-14 16:57
上一页 78 79 80 81 82 83 84 85 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他