深入浅出flink

深入浅出：大语言模型的视觉解析

一系列工具与文章的汇编，直观易懂地解读复杂的AI概念图片由作者利用unDraw.co的免费插图制作在当今世界，大语言模型（LLM）成为了热门话题。几乎每天都有新的语言模型问世，让人们在AI领域怀有一种“不容错过”的紧迫感。尽管如此，许多人仍对大语言模型的基础概念一知半解，难以跟上技术的快速发展。本文致力于为那些想深入了解这些AI模型内部原理的读者提供帮助，以便他们能够牢固掌握这些知识。在此，我为您
这就是编程·2024-01-19 11:18

Flink编程——风险欺诈检测

Flink风险欺诈检测文章目录Flink风险欺诈检测背景准备条件FraudDetectionJob.javaFraudDetector.java代码分析执行环境创建数据源对事件分区&欺诈检测输出结果运行作业欺诈检测器欺诈检测器
不二人生·2024-01-19 09:31

Flink TaskManager内存管理机制介绍与调优总结

根据实际需求为TaskManager配置内存将有助于减少Flink的资源占用，增强作业运行的稳定性。TaskManager内存模型如下。
暴走的贼宇·2024-01-19 08:25

Flink中ProcessFunction的用法

ProcessFunction是ApacheFlink中用于实现更为复杂和灵活的流处理逻辑的一个关键抽象。它提供了一种更加底层和灵活的处理方式，允许开发者直接操作元素并定义事件处理的行为。
暴走的贼宇·2024-01-19 08:55

Flink的两阶段提交是什么

Flink社区将两阶段提交协议中的公共逻辑进行了提取和封装，发布了可供用户自定义实现特定方法来达到F
暴走的贼宇·2024-01-19 08:55

基于 Hologres+Flink 的曹操出行实时数仓建设

本文整理自曹操出行实时计算负责人林震基于Hologres+Flink的曹操出行实时数仓建设的分享，内容主要分为以下六部分：曹操出行业务背景介绍曹操出行业务痛点分析Hologres+Flink构建企业级实时数仓曹操出行实时数仓实践曹操出行业务成果分析未来展望一
Apache Flink·2024-01-19 08:54

flink之max与maxBy的区别

packagecom.sandra.day03;importcom.atguigu.bean.WaterSensor;importorg.apache.flink.api.common.functions.MapFunction
北斗星的城堡·2024-01-19 08:53

FlinkAPI_Environment_输入源_算子转化流程

FlinkEnvironmentgetExecutionEnvironment()根据当前平台,获取对应的执行环境,若未设置并行度,使用flink-conf.yaml中的并行度配置,默认1.StreamExecutionEnvironmentenv
菜鸡逆袭·2024-01-19 08:20

第四章 FlinkAPI & 编程模型

1、API基础概述1.1、四层API（1）第⼀层是最底层的抽象为有状态实时流处理，抽象实现是ProcessFunction，⽤于底层处理（2）第⼆层抽象是CoreAPIs，许多应⽤程序不需要使⽤到上述最底层抽象的API，⽽是使⽤CoreAPIs进⾏开发，目前开发使用最多的；例如各种形式的⽤户⾃定义转换（transformations）、联接（joins）、聚合（aggregations）、窗⼝（w
随缘清风殇·2024-01-19 08:49

第四章 FlinkAPI之Source基础练习

Flink之SourceAPI概览1、元素集合应用场景：测试代码时使用env.fromElementsenv.fromColletionenv.fromSequence(start,end)代码实战packagecom.hxjy.app
随缘清风殇·2024-01-19 08:49

FlinkAPI开发之状态管理

案例用到的测试数据请参考文章：Flink自定义Source模拟数据流原文链接：https://blog.csdn.net/m0_52606060/article/details/135436048Flink
Appreciate(欣赏)·2024-01-19 08:18

FlinkAPI（二）

一、Transformation操作1，map、flapmap、filterpublicclasstransTest1_Base{publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();en
forerunner123·2024-01-19 08:17

Flink1.17 基础知识

Flink1.17基础知识来源：B站尚硅谷目录Flink1.17基础知识Flink概述Flink是什么Flink特点FlinkvsSparkStreamingFlink的应用场景Flink分层APIFlink
魅美·2024-01-19 08:16

【大数据】Flink 测试利器：DataGen

Flink测试利器：DataGen1.什么是FlinkSQL？2.什么是Connector？
G皮T·2024-01-19 08:45

Flink的KeyedProcessFunction基于Event Time和Process Time的定时器用法实例分析

FLink处理函数简介在Flink底层，我们可以不定义任何具体的算子（比如map，filter，或者window），而只是提炼出一个统一的【处理】（process）操作——它是所有转换算子的一个概括性的表达
PONY LEE·2024-01-19 08:14

FlinkAPI开发之容错机制

概述在Flink中，有一套完整的容错机制来保证故障后的恢复，其中最重要的就是检查点。
Appreciate(欣赏)·2024-01-19 08:12

《小岛经济学》带给我们的启示

《小岛经济学》通过插图、风趣幽默的措辞以及讲故事的手法，将经济学知识讲得深入浅出，不再让人觉得高不可攀。这个关于鱼、渔网、存钱、借钱的故事，揭示了经济是如何运行的，映射出当今经济体制与政策暗藏的漏洞。
渑池3112王莉莉·2024-01-19 07:43

一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等

1.引言从2021年年底开始，笔者带领一个微型团队开始开发我们的大数据平台XSailboat，目前已经初步具备实用化条件，产品将持续性地开发、完善、迭代升级。在接下来的一段时间，笔者将陆续编写一些关于大数据平台实现相关的技术文档，有兴趣的从事大数据相关的同学，可以关注收藏一下，交流一下开发技术。如果对我们的大数据平台XSailboat感兴趣的同学比较多，希望将其应用于学习或商业项目中，我们可以在条
OkGogooXSailboat·2024-01-19 06:26

【Flink】FlinkSQL读取Mysql表中时间字段相差13个小时

问题：Flink版本1.13，在我们使用FlinkSQL读取Mysql中数据的时候，发现读取出来的时间字段中的数据和Mysql表中的数据相差13个小时，Mysql建表语句及插入的数据如下；CREATETABLE
一杯咖啡半杯糖·2024-01-19 06:17

深入浅出Linux图形化架构

本文可能需要你有一些系统架构，内核模块，Linux驱动，VFS(虚拟文件系统)子系统等背景知识；本文不是对OpenGL图形学的介绍，而是从OS层次对图形显示架构进行的讨论；本文主要以文字叙述为主，配以少量框图解释。后期如果有机会，会增加一些图片进行解释。一、从图形学角度来看Linux内核实模式下编程，我们了解到：在低地址内存空间，有一段内存区域可以向显示屏输出，即FB架构(FrameBuffer)
aiyo_·2024-01-19 05:44

Flink简介与应用场景

Flink是一个开源的分布式，高性能，高可用，准确的流处理框架。主要由Java代码实现，支持实时流处理和批处理，批数据只是流数据的一个极限案例。支持了迭代计算，内存管理和程序优化。
Real_man·2024-01-19 03:42

【33、丙申象形会意】

透过六十花甲干支组合，象形会意天地人事物的发展模式，既可深入浅出，也可融会贯通；人法地，地法天，天法道，道法自然，当中必然存在大同小异，只要顺势而论，虽不中亦不远矣！
思考空间·2024-01-19 03:31

FineBI实战项目一（25）：实战项目一总结

没有集群，hdfs、hive、spark、kafka、flink等等都没有2解决方案mysql数据同步尽量和业务系统保持一致，以便后期出现问题排查。mysql同步到数仓，数仓
不死鸟.亚历山大.狼崽子·2024-01-19 02:39

Flink基础系列26-Flink状态管理

一.状态概述:Flink中的状态:算子状态（OperatorState）键控状态（KeyedState）状态后端（StateBackends）image.png由一个任务维护，并且用来计算某个结果的所有数据
只是甲·2024-01-19 01:56

【性能调优】local模式下flink处理离线任务能力分析

文章目录一.flink的内存管理1.Jobmanager的内存模型2.TaskManager的内存模型2.1.模型说明2.2.通讯、数据传输方面2.3.框架、任务堆外内存2.4.托管内存3.任务分析二.
roman_日积跬步-终至千里·2024-01-18 23:18

《乌合之众》感想

副标题：群体时代的大众心理简述：该书以辛辣语言、极端观点深入浅出地剖析了群体的种种特点及其成因，深入透视了社会服从和过度服从，群众的反叛，大众文化，受别人支配的自我群众运动，人的自我异化，官僚化过程以及无意识在社会行为中的作用
zcl稍等·2024-01-18 23:28

高效能的“费曼学习法”

在大学教授物理学时，他总是能够深入浅出地将复杂的专业理论讲得通俗易懂，无论多么抽象、晦涩的概念，都能用非常生活化的例子表达出来，风趣幽默，一点也不枯燥。学生喜欢上他的课。
神经猫·2024-01-18 23:40

深入浅出JavaScript闭包

文章目录一、闭包是什么？二、闭包的使用场景创建私有变量三、注意事项一、闭包是什么？引用官方解释：闭包是一个函数以及其捆绑的周边环境状态（词法环境）的引用的组合，emmm…有些晦涩，那么应该怎么理解这句话呢，来看一个典型的闭包例子：functionmakeFunc(){constname='Jerry'//创建局部变量:namefunctiongetName(){//创建内部函数getNamecon
JV_32·2024-01-18 22:48

Flink学习

批处理和流处理的区别批处理和流处理是数据处理的两种主要方式，它们在处理时间、数据量和处理方式上有一些不同。处理时间：批处理是在一段时间内收集的数据，然后进行处理，一般情况下，这些数据是静态的，处理完成后再进行下一次处理。流处理则是实时（或者接近实时）处理数据，数据一进入系统就被处理，不需要等待整批数据都收集完毕再进行处理。数据量：批处理通常处理的数据量非常大，因为它需要等待一段时间内的数据收集完毕
~kiss~·2024-01-18 21:31

FlinkSql bug :OVER windows‘ ordering in stream mode must be defined on a time attribute.

flinksql报错org.apache.flink.table.api.TableException:OVERwindows’orderinginstreammodemustbedefinedonatimeattribute.org.apache.flink.table.api.TableException
Direction_Wind·2024-01-18 21:58

flinksql bug:In ‘hash‘ distribution mode with equality fields set, partition field ‘1000: ymd_bucket

partitionfield‘1000:ymd_bucket:bucket32’shouldbeincludedinequalityfields:‘[distinct_id,tip_page_id,rwk]’场景flinksql
Direction_Wind·2024-01-18 21:58

Hologres + Flink 流式湖仓建设

Hologres+Flink流式湖仓建设1Flink+Hologres特性1.2实时维表Lookup1.3高性能实时写入与更新1.4多流合并1.5Hologres作为Flink的数据源1.6元数据自动发现与更新
Direction_Wind·2024-01-18 21:56

做一个会沟通的班主任——读《教室里的正面管教》有感

做一个会沟通的班主任——读《教室里的正面管教》有感放寒假前，收到了班主任工作室给我们的礼物—简尼尔森写的《教室里的正面管教》，这是一本关于班级管理的读物，书中内容的着眼点在于师生和生生之间的关系，它深入浅出地介绍了许多行之有效的涉及孩子心理
简洁的书写·2024-01-18 21:48

读《价值投资实战手册》慢慢感悟

对于唐朝本人，我未曾谋过其一次面，甚至连一句话都没有说过，但却受益于他深入浅出的公司分析以及多角度
大树的逻辑·2024-01-18 19:36

PiflowX组件 - Elasticsearch7Write

计算引擎flink组件分组ElasticSearch端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子hostshosts“”无是要连接到的一台或多台Elasticsearch
PiflowX·2024-01-18 17:08

Dinky为大数据框架Flink提供交互式平台，让你学习 FlinkSQL 更加轻松，并且掌握Flink技能！

它是一个基于ApacheFlink的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践。作为一个开箱即用、易扩展的平台，Dinky可以方便地连接OLAP、数据湖等众多框架。
知识分享小能手·2024-01-18 17:59

5 一文看完flink的内存管理

背景1）java对象的存储密度比较低，对象主要包含对象头，对象数据，对齐填充。其中对齐填充是没用的，纯粹是为了让对象的大小到达8的倍数2）FullGC非常影响性能，对大数据量的计算来说，fullGC可能会持续很久(秒级甚至分钟级)3）OOM导致JVM崩溃，因为是大数据计算，很有可能会分配出大的对象。4）缓存未命中，CPU在进行计算时，会先从CPU的缓存中抓取数据，但是jvm堆上的内存不是连续的，会
LQC_gogogo·2024-01-18 15:11

不久的将来，你会感谢现在努力的自己

深入浅出讲故事，抽丝剥茧说道理。对咋们节目比较感兴趣的朋友可以添加微信公共号《老满讲故事》，这儿每天都会有干货文章、心得感悟和您分享。
老满讲故事·2024-01-18 15:39

flink 1.13 event时间不触发窗口问题记录

flink初学者，有问题欢迎讨论一、问题记录1.出错代码代码如下（示例）：valenv=StreamExecutionEnvironment
x_iaoa_o·2024-01-18 13:47

Flink应如何处理窗口中迟到的数据？

一、如何处理迟到的数据三个步骤：.1设置水位线延迟时间因为水位线的延迟主要是用来对付分布式网络传输导致的数据乱序，而网络传输的乱序程度一般并不会很大，大多集中在几毫秒至几百毫秒。所以实际应用中，我们往往会给水位线设置一个“能够处理大多数乱序数据的小延迟”。一般情况就不应该把它的延迟设置得太大，否则流处理的实时性就会大大降低2.允许窗口处理迟到数据由于大部分乱序数据已经被水位线的延迟等到了，所以往往
轩裳已逝铭崖·2024-01-18 13:17

Flink-时间和窗口(水位线、窗口、迟到数据的处理等)

文章目录时间和窗口时间水位线（Watermark）时间和窗口水位线有序和无序流的插入水位线生成策略（WatermarkStrategies）水位线的传递窗口（Window）窗口窗口的分类窗口API概述窗口分配器（WindowAssigners）时间窗口计数窗口窗口函数（WindowFunctions）增量聚合函数（incrementalaggregationfunctions）全窗口函数（full
迷雾总会解·2024-01-18 13:17

flink时间窗口无新的数据进来最后一个窗口不关闭

测试反馈，配置的flink任务提交上去后，输入数据源符合条件，到时间窗口的size。
奔跑的窝窝牛·2024-01-18 13:45

flink 最后一个窗口一直没有新数据，窗口不关闭问题

flink最后一个窗口一直没有新数据，窗口不关闭问题自定义实现WatermarkStrategy接口自定义实现WatermarkStrategy接口代码：publicstaticclassWatermarkDemoFunctionimplementsWatermarkStrategy
cg6·2024-01-18 13:44

深入学习SpringMVC以及学习总结

一、优点：1.SpringMVC简化web程序开发;2.SpringMVC效率很好（单例模式）；3.SpringMVC提供了大量扩展点，方便程序员自定义功能；如果想学习Java工程化、高性能及分布式、深入浅出
程序员日常填坑·2024-01-18 13:13

字节跳动大数据架构面经（超详细答案总结）

我对Flink组件有着浓厚的兴趣，工作之余经常钻研技术、例如：Flink四大
Python栈机·2024-01-18 12:39

博学症患者

太太偶尔提出一个问题，先生能够深入浅出，详尽讲述。沿途各县人文、著名景点一个不落潺潺道来。路过高速公路互联立交，那么则要细细阐述交通对当地经济的带动作用。
同府·2024-01-18 11:46

普通人的最佳选择 - 指数基金

但是这本书深入浅出，让我这个门外汉，对于投资产生了极大的兴趣。投资路上，银行螺丝钉算是我的领路师傅。财务自由估计是每个人的梦想，梦想有足够的资金和充足的时间去做自己想做的事情。
Jasw·2024-01-18 11:35

CompletableFuture的深入浅出

本文将深入浅出地介绍CompletableFuture，并展示其使用方式。
萧十一郎君·2024-01-18 11:18

JVM的演变

本文将深入浅出地介绍从JDK7到JDK21不同主流版本的JVM结构变化及其特性，帮助你编写更适合的Java代码。JDK7在JDK7中，JVM引入了一些重要的特性和改进。
萧十一郎君·2024-01-18 11:13

OTTO 每天为超过 200 万名访客重新定义电子商务个性化

深入浅出地剖析MongoDB产品基础原理，使用技巧，典型行业场景及应用，还有CodeDemo及线上线下活动推荐！在线零售商拥有大量的数据，他们对客户的了解比几十年前的街角商店店主更多。
MongoDB 数据库·2024-01-18 09:30
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他