Flink专题第2页

音视频入门基础：WAV专题（5）——FFmpeg源码中解码WAV Header的实现

=================================================================音视频入门基础：WAV专题系列文章：音视频入门基础：WAV专题（1）——

cuijiecheng2018·2024-09-10 09:52

【童话】山平的春天

参加壹品创联-彩虹童话访专题征文很久很久以前，有一片很大很大的森林，这个森林的名字叫“简村”，里面住着无数的动物，他们共同相处，既有合作也有竞争，他们的同共货币是贝壳。

懒猪淼淇·2024-09-09 23:56

Flink的时间与watermarks详解

当我们在使用Flink的时候，避免不了要和时间(time)、水位线(watermarks)打交道，理解这些概念是开发分布式流处理应用的基础。那么Flink支持哪些时间语义？

大数据技术与数仓·2024-09-09 21:44

实时数仓之实时数仓架构(Hudi)(1)

目前比较流行的实时数仓架构有两类，其中一类是以Flink+Doris为核心的实时数仓架构方案；另一类是以湖仓一体架构为核心的实时数仓架构方案。

2401_84164527·2024-09-09 19:34

2024年大数据最新实时数仓之实时数仓架构(Hudi)

技术框架Kafka：用于接入数据源；FlinkCDC：如果直接接入业务数据源可以考虑CDC方式，如果通过Kafka缓冲接入业务数据可以忽略;Flink：用于数据ETL，包括接入数据、处理数据及输出数据全链路数据计算任务

2401_84185556·2024-09-09 19:34

实时数仓之实时数仓架构(Hudi)(1)，2024年最新熬夜整理华为最新大数据开发笔试题

湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；+Doris：OLAP引擎，同步数仓结果模型，对外提供数据服务支持；+Hbase：用来存储维表信息，维表数据来源一部分有Flink

2401_84181221·2024-09-09 19:04

【免费培训】脑电统计分析专题班（直播：2023.7.9）

课程背景统计分析通过对数据进行定量和定性分析，使繁杂的数据变得直观且形象。它作为一门实践性很强的课程，对各学科领域的发展起着非常重要的作用，特别是作为一种认识心理现象数量特征的重要工具受到了广大心理学工作者的重视。统计分析有助于建立问题和数据之间的关系，从而更好地了解和发现事物的内在规律。但如果大家在科研数据分析过程中只是记住操作步骤，缺乏对各种统计分析方法的原理、应用条件和检验结果的理解，不能很

茗创科技·2024-09-09 17:54

【面试专题】｜技术&架构设计提升系列：面试题目及解题的正确姿势（1）

-----学习笔记-----今天是咱们第一节，我想和你聊一聊：研发工程师想提升面试竞争力，需要具备的三个技术认知是什么。在我参加研发同学述职的时候，发现几乎每个人最后都会用一页PPT来规划自己的未来职业发展，比如：我目前处在初级研发工程师阶段，下一步要成为中高级研发工程师，最终要成为一名研发架构师。但是在进一步地追问后，大多数研发同学对自身技术发展的认知，仅停留在学习了哪种新的技术，掌握了哪种新的

云世·2024-09-09 01:30

程序员心中的一道坎：主存的编址与计算和串并联系统！

而【冰河技术】微信公众号的【程序员进阶系列】专题就是要系统的向大家分享程序员进阶需要掌握的各项知识技能。今天，我们来聊聊一个让程序员很头疼的话题：计算机中的主存是如何进行编址和计算的？

冰河团队·2024-09-08 23:16

Flink - CEP

Hadoop3.2集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。大猪为了把文章压缩极简方便小伙伴阅读，将使用root帐号进行所有操作。准备两台主机10.211.55.11、10.211.55.12对应的hostname为m1.example.com、m2.example.com具体命

kikiki1·2024-09-08 21:46

chapter01 Java语言概述知识点Note

JavaSEJavaEEJavaME大数据Java基础常用技术栈mysqlJDBCSSMspring+springmvc+mybatisLinuxnacosHadoopFlinkJAVAEE消息队列rabbitMQdocker

月下绯烟·2024-09-08 18:42

SAP项目管理第二章-方法论实践

第二章目录：第2章专题一：SAP项目管理方法论和三角定理2.1项目管理方法论实践2.1.1SAPActivate项目管理方法论路线图2.1.2不同类型项目的方法论实践2.1.3敏捷在SAP项目中的应用2.2

syounger·2024-09-08 13:36

【剽悍一只猫的剽悍行动营】我在剽悍行动营的成长之路

首先，还是要回顾一下我这27天的收获：我的学习成绩：读了12本书，5场专题分享，输出25篇读书笔记对于自己的表现，我给自己打7分，还有3分是未来要提升的空间。

财务自由的社群运营人苏宝·2024-09-08 10:57

【无标题】大数据之批处理，流处理，批流一体概念

Spark和Flink都支持批处理，其中Spark使用的是批处理模型，即将一批数据一次性读入内存，然后对其进行处理，处理完成后再将结果写入磁盘。

数字天下·2024-09-08 09:43

python flink_《Flink官方文档》Python 编程指南测试版

原文链接译者：hjjxd校对：清英Flink中的分析程序实现了对数据集的某些操作(例如，数据过滤，映射，合并，分组)。这些数据最初来源于特定的数据源(例如来自于读文件或数据集合)。

weixin_39846361·2024-09-08 08:04

openpyxl创建多个sheet_最详细的Excel模块Openpyxl教程-基础操作

于是我开始了本专题的写作。另外，在推文《操作Excel的Xlwings教程(一)》中，我对比了几种操作Excel的模块，大家可以去了解一下。1.openpyxl简介op

淡慢若水·2024-09-08 07:26

夜语专题

自今日起，每晚睡前和微信同步记录当天感触，只为往后留下一份追忆，或为平衡心态，能够安然入睡，以更好的姿态迎接新的一天！

迷彩校尉·2024-09-08 04:04

github源码指引：共享内存、数据结构与算法：树形结构ListTree

专题：共享内存、数据结构与算法_初级代码游戏的博客-CSDN博客本文讲解带有子项的链表。一、介绍与上一篇介绍的单向链表相比，多了一个子项指针。可以理解为原来的链表是兄弟关系，

初级代码游戏·2024-09-08 02:21

flink---window

Window介绍DataStream:https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/dev/datastream/

搞数据的小杰·2024-09-08 00:38

消息队列专题(高级特性篇)：RabbitMQ 如何保证消息的可靠性投递、传输和消费

我们使用RabbitMQ进行消息处理一般都需要保证消息的可靠性，而消息的可靠性又可以根据消息的不同处理阶段分为可靠性投递、传输和消费。本篇博客将针对这三种情况介绍相应的设计方案，首先来看一下消息的可靠性投递。消息的可靠性投递1.消息投递模式消息可靠性投递，是指保证生产者能够把消息100%发送到消息队列中，生产者Producer为我们提供了两种消息投递模式：Confirm确认模式和Return退回模

盛夏温暖流年·2024-09-08 00:36

Flink(1.13) 的window机制(一)

窗口概述在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数

万事万物·2024-09-07 22:31

pyflink 自定义函数

frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.common.typeinfoimportTypesfrompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.tableimportStreamTableEnvironmentfrompyfli

scan724·2024-09-07 15:05

flink 问题记录

文章目录1.Causedby:java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/String;JZ)V原因java.util.concurrent.Ex

Jhon_yh·2024-09-07 15:34

Pyflink教程(三)：自定义函数

该文章例子pyflink环境是apache-flink==1.13.6Python自定义函数是PyFlinkTableAPI中最重要的功能之一，其允许用户在PyFlinkTableAPI中使用Python

yuxj记录学习·2024-09-07 15:33

pyflink 滚动窗口实例

菜鸟社长·2024-09-07 15:31

flink 实战理解watermark，maxOutOfOrderness，allowedLateness

watermarkwatermark的作用就是延迟触发窗口，让乱序到达的元素依然能够落在正确的窗口内。为啥能实现这个效果，一直通过公式更新watermark,如果乱序到的元素就不能更新watermark,相当于就是延迟触发计算操作。触发时间watermark大于窗口的最大值allowedLateness允许迟到的时间，到底啥时到的元素算迟到元素,如果元素的窗口满足下面这个公式，那这个窗口就去被清掉

wending-Y·2024-09-07 15:31

【Flink】Flink 写入到 CSV BucketingSink 的使用方法

1.概述【File】CSV文件写入追加写入CsvWriter的使用有一个需求是这样的，flink读取kafka数据，然后写入到csv，但是写入的时候，要求写入一个文件，然后在监听到配置文件变化的时候，将写入到另外一个文件

九师兄·2024-09-07 15:00

Flink Watermark详解

为了能够在这种乱序环境中正确地执行基于时间的操作（如时间窗口聚合），Flink引入了Watermark的概念。Watermark是一个特殊的标记，它表示“在此时间戳之前的数据应该都已经到达了”。

王小工·2024-09-07 15:30

13、Flink SQL 的时间属性介绍

时间属性a）概述Flink可以基于几种不同的时间概念来处理数据。

猫猫爱吃小鱼粮·2024-09-07 15:59

pyflink中UDTF和UDF的区别

UDTF（UserDefinedTable-ValuedFunctions）和UDF（UserDefinedFunctions）在Flink和其他数据处理系统中有着明显的区别，主要体现在以下几个方面：输出类型

吉小雨·2024-09-07 14:58

PyFlink自定义函数

在PyFlink（ApacheFlink的PythonAPI）中，自定义函数分为三种主要类型：ScalarFunction（标量函数）、TableFunction（表函数）和AggregateFunction

吉小雨·2024-09-07 14:53

pyflink的窗口

PyFlink中的窗口操作教程在流处理应用中，窗口（Window）是一个非常重要的概念，它用于对无界的数据流进行切分，使得我们可以对流中的数据执行聚合、计数、排序等操作。

吉小雨·2024-09-07 14:53

Apache Flink 替换 Spark Stream的架构与实践( bilibili 案例解读)_streamsparkflink加载udf(1)

bilibili早期使用的引擎是SparkStreaming，后期扩展了Flink，在开发架构中预留了一部分引擎层的扩展。最下层是状态存储

2401_84165953·2024-09-07 12:44

2022-12-02

筑牢防线为着力解决思想作风纪律等方面存在的与形势和任务不相适应的问题，同时为配合全市开展的党员干部作风大整顿工作，进一步加强作风建设和反腐倡廉建设，筑牢党员干部思想道德防线的工作要求，近日农发行永济市支行开展了干部作风大整顿专题会议

486aefa6e5f4·2024-09-07 10:47

尝试去做一些平时不做的事情

做不出家庭作业，写不出专题文章，解决不了生活中的困难，好像自己的思维陷入僵化，跳不出大脑中的那些条条框框，不能解决现有的问题，更不可能去创造性的解决问题。

盼盼的一一·2024-09-07 03:46

6g选手&学院持钻福利社10月总结

一、6g选手|学院持钻福利社点赞专用专题-专题二、持钻无变化三、10篇文章点评1.陪伴营·秦汉|红薯铺子03算不上文章，算是一个构思的开头，看出作者明明有很多想法，却止笔了，可以说把自己的观点写出了60%

6g选手·2024-09-06 20:09

大数据秋招面经之spark系列

3.repartition与coalesce4.spark的oom问题怎么产生的以及解决方案5.storm与flink,sparkstreaming之间的区别6.spark的几种部署方式：7.复习spark

wq17629260466·2024-09-06 19:54

Apache Flink 运行时架构

Flink运行时架构Flink整个系统由两个主要部分组成JobManager和TaskManager，Flink架构也遵循Master-Slave架构设计原则，JobManager为Master节点，TaskManager

生病的毛毛虫·2024-09-06 04:44

Flink生态与未来

本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKhaz核心组件栈Flink

weixin_30394333·2024-09-06 02:00

2021-02-10

所以特别整理了这个过年专题，实用简单的小妙招，让你“马上”舒服，恢复元气。春节养生十天乐—“马上”防晕车回家过年难免舟车劳顿。坐车前半小时，取新鲜生姜一片，盖在肚脐上，用伤湿止痛膏贴牢。

rui_3204·2024-09-05 17:16

Flink实践场景-通过DataStream KeyedProcessFunction统计每小时的出租车司机的收入

一、场景说明以及依赖请查看上一篇介绍Flink实践场景-通过DataStreamApi统计每小时的出租车司机的收入-CSDN博客二、KeyedProcessFunction介绍在Flink中，KeyedProcessFunction

似水_逆行·2024-09-05 10:12

有序数组中去重c语言,LeetCode 80，不使用外部空间的情况下对有序数组去重

今天是LeetCode专题的第49篇文章，我们一起来看LeetCode的第80题，有序数组去重II(RemoveDuplicatesfromSortedArrayII)。

weixin_39601642·2024-09-05 09:34

段总10月8号—10月15号工作安排

10月8日（周五）09:15-10:15总办会（管理团队参加）11:00-12:00乡村振兴大会专题会（管理团队、产业投资部、城镇与产业运营部、季小艺参加）15:00-16:00与孙建中国林业与环境促进会生态原产地委员会会长

cb2655b7eea4·2024-09-05 02:24

EMR组件部署指南

本文将详细介绍如何部署EMR的主要组件,包括:JDK1.8ElasticsearchKafkaFlinkZookeeperHBaseHadoopPhoenixScalaSparkHive准备工作所有操作都在

ivwdcwso·2024-09-05 00:05

【专题】百度萝卜快跑体验：Robotaxi发展现状与展望报告合集PDF分享（附原数据表）

阅读原文，获取专题报告合集全文，解锁文末410份Robotaxi相关行业研究报告。算法依赖高精地图，灵活度不足，盈利挑战大，因低单量与高成本。

拓端研究室·2024-09-05 00:34

kafka单条消息太大引起的线上故障

问题现象1.收到日志异常报警，一个Flink任务写入kafka消息出现了异常，异常消息如下org.apache.flink.streaming.connectors.kafka.FlinkKafkaException

ab342173024·2024-09-04 15:44

github源码指引：共享内存、数据结构与算法：字符串池StringPool

专题：共享内存、数据结构与算法_初级代码游戏的博客-CSDN博客本文讲解字符串池的示例代码。字符串池是一个特殊的结构，用来减少重复的字符串存储（现实系统中会存在大量重复的字符

初级代码游戏·2024-09-04 14:31

12、Flink 解决流上的确定性最佳实践

最佳实践示例1运行流查询前主动开启TRY_RESOLVE模式，在检查到流查询中存在无法解决的NDU问题时，尽量按照错误提示修改SQL主动避免问题示例：FLINK-27639INSERTINTOt_join_sinkSELECTo.order_id

猫猫爱吃小鱼粮·2024-09-04 11:13

Flink详解系列之八--Checkpoint和Savepoint

一、Checkpoint获取分布式数据流和算子状态的一致性快照是Flink容错机制的核心，这些快照在Flink作业恢复时作为一致性检查点存在。

王吉吉real·2024-09-04 11:53

【K8s】专题十三：Kubernetes 容器运行时之 Docker 与 Containerd 详解

本文内容均来自个人笔记并重新梳理，如有错误欢迎指正！如果对您有帮助，烦请点赞、关注、转发、订阅专栏！专栏订阅入口Linux专栏|Docker专栏|Kubernetes专栏往期精彩文章【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法（续）【Docker】MySQL源码构建Docker镜

行者Sun1989·2024-09-04 09:31

推荐频道

Flink专题