制胜Flink

Flink总结-设置Jvm参数

jvm设置http://www.360doc.com/content/12/1023/16/9615799_243296263.shtml堆设置-Xms:初始堆大小-Xmx:最大堆大小-XX:NewSize=n:设置年轻代大小-XX:NewRatio=n:设置年轻代和年老代的比值。如:为3，表示年轻代与年老代比值为1：3，年轻代占整个年轻代年老代和的1/4-XX:SurvivorRatio=n:年
zachary_1db5·2023-06-23 16:43

flinksql下的时间日期格式转换

flinksql里面最常用的事情就是时间格式转换，比如各种时间格式转换成TIMESTAMP(3).now()bigint--CAST(TO_TIMESTAMP(log_time)asTIMESTAMP(
sofo2017·2023-06-23 14:34

怎么计算flink任务需要多少cpu和内存

Flink任务需要的CPU和内存取决于任务的具体实现和数据规模。以下是一些常见的方法来评估Flink任务需要多少CPU和内存：数据规模：Flink任务需要的CPU和内存与数据规模成正比。
sofo2017·2023-06-23 14:34

Flink实时计算资源如何优化

flink实时计算任务可以从以下四个方面进行优化内存优化：Flink任务需要大量的内存来存储数据和状态信息。因此，我们需要尽可能地减少内存的使用量。
sofo2017·2023-06-23 14:03

FlinkKafkaProducer 源码分析

initializeState先查询是否开启isCheckpointingEnabled配置，如果没开，但是使用了EXACTLY_ONCE或者AT_LEAST_ONCE语义，就报错。然后从checkpoint中保存的state中读取nextTransactionalIdHintState。NEXT_TRANSACTIONAL_ID_HINT_DESCRIPTOR现在使用v2版本，如果checkpo
play maker·2023-06-23 12:03

Flink+Pulsar、Kafka问题分析及方案 -- 事务阻塞

Pulsar、Kafka的事务设计Pulsar跟Kafka在设计事务功能时，在消费者读取消息的顺序方面，都采用了类似的设计。比如说，先创建txn1，然后创建txn2，这两个事务生产消息到同一个topic/partition里，但是txn2比txn1先完成了，这个时候该不该让txn2生产的消息给consumer读取到？Kafka设计文档中介绍如下：DiscussiononTransactionOrd
play maker·2023-06-23 12:32

Flink将数据写入CSV文件后文件中没有数据

Flink中有一个过时的sink方法:writeAsCsv,这个方法是将数据写入CSV文件中,有时候我们会发现程序启动后,打开文件查看没有任何数据,日志信息中也没有任何报错,这里我们结合源码分析一下这个原因
飞天小老头·2023-06-23 11:19

Zeppelin on Flink小试牛刀

Zepplin从0.9版本（当前该版本还未release，只有预览版）开始支持Flink最新版本1.10，鉴于Flink1.10版本全面合入了Blink能力，在sql使用上展现出强大实力，笔者决定使用其预览版尝鲜
WestC·2023-06-23 09:29

[大数据 Flink,Java实现不同数据库实时数据同步过程]

目录前言:实现Mysql同步Es的过程包括以下步骤：配置Mysql数据库连接在Flink的配置文件中，添加Mysql数据库的连接信息。
是汤圆丫·2023-06-23 06:06

大数据就业路线

数仓：主要以SQL语言为主离线数仓（目前基本状态）和实时数仓（趋势）SQL语法包括mysql中的sql、hive中的hivesql（重点），spark中的sparksql，flink中的flinksql
烟雨孤舟·2023-06-23 06:25

大数据之flink教程

第一章Flink简介1.1初识FlinkFlink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014
okbin1991·2023-06-23 06:14

辽沈战役1：国运危机

因为，只要是万人级别以上的战争，最起码都有10个以上的智囊在一旁给指挥官出主意，一天能给你拿出100套作战方案来——每一套看起来都似乎是一份妙计，而这里面，很可能只有1条，是真正的制胜之道。
老旦Dr·2023-06-23 01:27

风水-眉————易芯闲沣清合

白居易:“芙蓉如面柳如眉”，“黄金不惜买蛾眉”唐代女诗人刘媛描写一个以眉制胜的诗句“学画蛾眉独出群，当时人道便承恩”。古往今来赞美“眉”的诗句如同汗牛充栋，因为眉者，美也！
易芯闲沣清合·2023-06-22 21:25

Kafka最佳实践

前言Kafka最佳实践，涉及典型使用场景Kafka使用的最佳实践Kafka典型使用场景DataStreamingKafka能够对接到Spark、Flink、Flume等多个主流的流数据处理技术。
东风微鸣·2023-06-22 21:04

微信公号的改版，是出奇制胜，还是行差踏错？

就在昨天6月20日（应该是前天了），微信的公号毫无征兆地进行了更新。点进订阅号，可以看到以往以多个账号列表排列的信息分布方式，突然以类信息流的文章分布呈现在眼前。微信，在以往人们的印象中，是一个极尽冷静克制的佛系app。哪怕在更新小程序这么一个让人仿佛新的风口即将到来的功能时，也仅仅只是在【发现】的入口里，不吵不闹地静静等待着人们来发现。可这次，画风突变地令人措手不及。不禁让人联想到，今年以来就开
通通请回答·2023-06-22 21:06

yield 继续往下跑

self.gapslist.clear()#记录加到缓存#self.gapslist.add(message)date_str=datetime.now().strftime("%Y%m%d")index_name='flink-log-clpf-gaps
scan724·2023-06-22 20:41

pyflink 流批结合

#-*-coding:utf-8-*-frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.functionsimportRuntimeContext
scan724·2023-06-22 20:40

python yield 和return区别

self.gapslist.clear()#记录加到缓存#self.gapslist.add(message)date_str=datetime.now().strftime("%Y%m%d")index_name='flink-log-clpf-gaps
scan724·2023-06-22 20:07

如何实时统计最近 15 秒的商品销售额｜Flink-Learning 实战营

为进一步帮助开发者学习使用Flink，ApacheFlink中文社区近期发起Flink-Learning实战营项目。
·2023-06-22 17:02

为什么十个创业九个死？

没研究清行业、不做市场调研、不清楚目标客户是谁，看别人赚到钱，稀里糊涂就投了一笔钱，结果赔得底朝天；以为广告制胜，大力度在线上、线下投放广告，结果因为不注重后端销售转化，没有研究清客户心理，广告费基本打水漂
deity0808·2023-06-22 16:45

大数据中台技术组件

一、平台搭建1.1.Amabari+HDP1.2.CM+CDH二、相关的技术栈数据存储：HDFS，HBase，Kudu等数据计算：MapReduce,Spark,Flink交互式查询：Impala,Presto
TURING.DT·2023-06-22 16:31

如何实时统计最近 15 秒的商品销售额｜Flink-Learning 实战营

为进一步帮助开发者学习使用Flink，ApacheFlink中文社区近期发起Flink-Learning实战营项目。
Apache Flink·2023-06-22 13:47

只需 2 小时，变身 Flink 实战派：Flink-Learning实战营火热报名中

加入Flink-Learning实战营，动手体验真实有趣的实战场景。只需2小时，让您变身Flink实战派。实战营采取了Flink专家在线授课，专属社群答疑，小松鼠助教全程陪伴的学习模式。
Apache Flink·2023-06-22 13:16

中原银行 OLAP 架构实时化演进

摘要：本文整理自中原银行数据信息部杜威科，在FlinkForwardAsia2022行业案例专场的分享。
Apache Flink·2023-06-22 13:45

Flink 状态一致性

Flink状态一致性端到端精确一次输入端输出端预写日志两阶段提交状态一致性有三种级别：最多一次(AT-MOST-ONCE):只处理一次,遇到故障就会丢失,优点:处理快至少一次(AT-LEAST-ONCE
cpuCode·2023-06-22 13:12

Flink系列 - 实时数仓之FlinkCDC实现动态分流实战（十）

  自从Flink出了FlinkCDC之后，我们对数据库日志的采集就变得方便了许多了，除去了MaxWell、Cannel、OGG等第三方组件的繁琐配置，目前实现CDC有两种方式：HQL实现和DataStreamAPI
小飞牛_666·2023-06-22 13:08

docker搭建flink集群

1.拉取镜像#默认拉取最新版本dockerpullflink#检查镜像dockerimages|grepflink2.编写flink的yaml文件注意：云服务器需要设置安全策略放行8081端口，否则访问失败编写
code喵喵·2023-06-22 10:05

## flink- mysql同步数据至starrocks-2.5.0之数据同步

flink-mysql同步数据至starrocks-2.5.0之数据同步mysql创建表CREATETABLE`t_user`(`id`bigintNOTNULLAUTO_INCREMENT,`user_name
iiaythi·2023-06-22 06:59

flink- mysql同步数据至starrocks-2.5.0之环境搭建

flink-mysql同步数据至starrocks-2.5.0之环境搭建一般需要以下几个服务:mysqlflinkflink-taskmanagerflink-jobmanagerstarrocksstarrocks-festarrocks-bedocker-compose.yml
iiaythi·2023-06-22 06:27

Flink流批一体计算（4）：Flink功能模块

目录Flink功能架构Flink输入输出Flink功能架构Flink是分层架构的分布式计算引擎，每层的实现依赖下层提供的服务，同时提供抽象的接口和服务供上层使用。
victory0508·2023-06-22 06:14

Flink流批一体计算（3）：FLink作业调度

Flink也是一个分布式计算引擎，要运行Flink程序，也需要一个资源管理器。
victory0508·2023-06-22 06:11

pyflink get_list_state 数组

classMyMapFunction(FlatMapFunction):defopen(self,runtime_context:RuntimeContext):self.process_id_to_bus_seq=runtime_context.get_map_state(MapStateDescriptor('process_id_map_bus_seq',Types.STRING(),Typ
scan724·2023-06-22 06:40

pyflink get_map_state 字符串

classMyMapFunction(FlatMapFunction):defopen(self,runtime_context:RuntimeContext):self.process_id_to_bus_seq=runtime_context.get_map_state(MapStateDescriptor('process_id_map_bus_seq',Types.STRING(),Typ
scan724·2023-06-22 06:10

Hive中数据库和表的操作(HSQL)

数仓管理工具Hive可以将HDFS文件中的结构化数据映射成表，利用HSQL对表进行分析，HSQL的底层运行机制，默认是MapReduce计算，也可以替换成Spark、Tez、Flink计算结果存储在HDFS
时下握今·2023-06-22 05:19

Flink 学习三 Flink 流 & process function API

Flink学习三Flink流&processfunctionAPI1.Flink多流操作1.1.split分流(deprecated)把一个数据流根据数据分成多个数据流1.2版本后移除1.2.分流操作(
C0oOder·2023-06-21 22:35

Flink 运行时组件的高可用

高清大图:https://www.processon.com/v/643971c7cbedfb624bee1cff如感兴趣，点赞加关注，非常感谢！！！
·2023-06-21 22:11

任务调度器-DolphinScheduler3集群安装

crontab调度，虽然也可以用，但这些调度器没有可视化界面，查询日志、任务进度、补数都不太好用，后面接触到了DolphinScheduler，这款调度器开源免费，支持关系数据库调度、Hive、Spark、Flink
白杨Shayne·2023-06-21 19:57

Flink CDC、OGG、Debezium等基于日志开源CDC方案对比

先上一张图，后面再慢慢介绍：CDC概述CDC的全称是ChangeDataCapture，在广义的概念上，只要能捕获数据变更的技术，我们都可以称为CDC。我们目前通常描述的CDC技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。CDC主要分以下两类基于查询的CDC：优点是实现简单，是通过批处理实现的，需要依赖离线调度，不能保证数据强一致性和实时性；基于日志的CDC：实现比较复杂，但是可
白杨Shayne·2023-06-21 19:56

【Python】让 plotly 可视化更上一层：cufflinks 包

数据说明五、折线图六、散点图七、气泡图八、柱状图九、箱型图box十、直方图十一、小提琴图十二、热力图heatmap十三、3d图十四、散点矩阵图十五、子图一、导读今天给大家推荐一个高级的可视化神器：cufflinks
旅途中的宽~·2023-06-21 15:12

中原银行 OLAP 架构实时化演进

摘要：本文整理自中原银行数据信息部杜威科，在FlinkForwardAsia2022行业案例专场的分享。
·2023-06-21 14:23

只需 2 小时，变身 Flink 实战派：Flink-Learning实战营火热报名中

加入Flink-Learning实战营，动手体验真实有趣的实战场景。只需2小时，让您变身Flink实战派。实战营采取了Flink专家在线授课，专属社群答疑，小松鼠助教全程陪伴的学习模式。
·2023-06-21 14:52

Apache Flink X Apache Doris 构建极速易用的实时数仓架构

本篇内容主要分为四个部分：实时数仓需求和挑战基于ApacheDoris和ApacheFlink构建实时数仓用户案例与最佳实践分享新版本特性点击查看直播回放和演讲PPT一、实时数仓需求和挑战在数据流的角度上
·2023-06-21 14:18

基于 Apache Flink 的实时计算数据流业务引擎在京东零售的实践和落地

内容主要包括五个方面：京东零售实时计算的现状实时计算框架场景优化：TopN场景优化：动线分析场景优化：FLINK一站式机器学习点击查看更多技术内容一、京东零售实时计算的现状1.1现状技术门槛高、学习成本大
·2023-06-21 14:18

Flink 在 讯飞 AI 营销业务的实时数据分析实践

摘要：本文整理自科大讯飞中级大数据工程师汪李之在FlinkForwardAsia2021的分享。
·2023-06-21 14:14

中原银行实时风控体系建设实践

摘要：本文整理自中原银行数据平台中心开发工程师陈玉强在FlinkForwardAsia2021行业实践专场的演讲。
·2023-06-21 14:14

用Flink取代Spark Streaming！知乎实时数仓架构演进

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实
·2023-06-21 14:37

用Flink取代Spark Streaming！知乎实时数仓架构演进

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实
·2023-06-21 14:37

用Flink取代Spark Streaming！知乎实时数仓架构演进

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实
·2023-06-21 14:06

Flink 零基础实战教程：如何计算实时热门商品

在上一篇入门教程中，我们已经能够快速构建一个基础的Flink程序了。本文会一步步地带领你实现一个更复杂的Flink应用程序：实时热门商品。
·2023-06-21 14:06

中原银行 OLAP 架构实时化演进

摘要：本文整理自中原银行数据信息部杜威科，在FlinkForwardAsia2022行业案例专场的分享。
·2023-06-21 14:04
上一页 108 109 110 111 112 113 114 115 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他