深入浅出flink

【Flink-1.17-教程】-【五】Flink 中的时间和窗口（2）时间语义

【Flink-1.17-教程】-【五】Flink中的时间和窗口（2）时间语义1）Flink中的时间语义2）时间语义的分类2.1.处理时间（processtime）2.2.摄取时间（ingestiontime
bmyyyyyy·2024-01-25 14:52

【Flink-1.17-教程】-【四】Flink DataStream API（7）输出算子（Sink）

【Flink-1.17-教程】-【四】FlinkDataStreamAPI（7）输出算子（Sink）1）连接到外部系统2）输出到文件3）输出到Kafka4）输出到MySQL（JDBC）5）自定义Sink
bmyyyyyy·2024-01-25 12:08

Flink状态应用测试程序示例

Flink状态应用测试程序示例1.创建执行环境//1.创建执行环境StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment
公子乂·2024-01-25 12:35

FlinkAPI开发之FlinkSQL

一.代码中使用FlinkSQL需要引入的依赖org.apache.flinkflink-table-api-java-bridge${flink.version}这里的依赖是一个Java的“桥接器”（bridge
Appreciate(欣赏)·2024-01-25 11:27

深入浅出Node.js（一）：什么是Node.js

转自：http://www.noday.net/articles/2011/10/19/1319029277083.htmlNode.js深入浅出Node.js（一）：什么是Node.js2011-10
AllinShang·2024-01-25 10:10

深入浅出自然语义处理原理并构建自然语义处理(NLP)模型GPT2

NLP自然语言处理，GPT2模型1、词向量在图像的处理中，我们无需对图像进行特殊的处理，因为图像本身就是由矩阵来表示的。而处理自然语言的时候，语言是由每一个字、词组成的。而字、词是通过编码存储在计算机当中的。所以我们可以通过将字、词编码成为向量的形式，如此就可以输入进深度学习网络模型中。但是我们应该如何去编码呢？像做图像分类那样，使用one—hot的形式编码？但是这样会存在一个问题，在自然语言中，
「已注销」·2024-01-25 10:31

深入浅出特征工程 – 基于 OpenMLDB 的实践指南（上）

1.什么是机器学习的特征工程一个真实场景的机器学习应用一般会包含两个主体流程，即特征工程和机器学习模型（以下简称模型）。大家对模型一定很了解，平时也是接触的最多的，比如从经典的逻辑回归、决策树模型，到近几年大火的深度学习模型，都是聚焦于如何开发高质量的模型。对于特征工程，可能大家相对关注较少。但是大家一定听说过坊间传闻的一句”名言“：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已
第四范式开发者社区·2024-01-25 10:01

深入浅出推荐系统（四）：召回：向量化的潮流

只要对机器学习稍有涉猎，就会发现如今机器学习，无论是推荐、图像、语言等领域，随处可见embedding，可以说，在深度学习主宰机器学习领域的今天，万物皆可embedding。那么，什么是embedding，怎么对实体进行embedding，推荐领域里，embedding会怎么应用呢？且待本文一一道来。embedding简介embedding是什么在本文之前的几篇文章里，曾经提及对用户或物品的emb
慕阮·2024-01-25 10:00

21堂写作变现课作业一：价格弹性“深入浅出”

价格弹性（priceelasticity）是指某一种产品销量发生变化的百分比与其价格变化百分比之间的比率，是衡量由于价格变动所引起数量变动的敏感度指标。以上是对于价格弹性概念解释，举个例子：夏天的西瓜和冬天的西瓜，价格不同，卖出总收入一样。因为夏天就是产瓜的季节，多自然价格低，大概2元一斤，而且吃的人多，例如25个人，2*25=50元。而冬天瓜少，吃的人也少，要吃一次的人，觉得很想很想吃，或者酒店
毛毛宋·2024-01-25 10:53

深入浅出AI落地应用分析：AI视频生成Top 5应用

接下俩会每周集中体验一些通用或者垂直的AI落地应用，主要以一些全球或者国外国内排行较前的产品为研究对象，「AI产品榜：aicpb.com」以专题的方式在博客进行分享。一、Loom二、Runway产品链接：https://app.runwayml.com/产品简介：Runway支持VIDEO到Video，文、图生成视频，抹除背景，文生图、图生图、文字转语音，提供了30多种AI魔法工具和全功能的视频编
女王の专属领地·2024-01-25 09:51

大数据技术-Hudi学习笔记

目录hudi学习相关文档hudi源码编译Hudi基本使用操作步骤集成Flink-SQL-Client方式环境准备数据写入集成Flink-代码编写方式代码地址环境准备编写代码提交运行集成Hive环境准备同步
笑一笑、·2024-01-25 09:51

Hudi学习笔记2 - Hudi配置

FlinkSqlConfigsFlinkSQLsource/sinkconnectors的配置，如：index.type、write.tasks、write.operation、clean.policy
一见·2024-01-25 09:39

Hudi学习笔记2 - Hudi配置之FlinkSQL配置

FlinkSqlConfigs配置项是否必须默认值配置说明pathYN/AHudi表的basepath，如果不存在会创建，否则应是一个已初始化成功的hudi表read.end-commitYN/Aread.start-commitYN
一见·2024-01-25 09:39

Hudi学习笔记(一)

大数据发展背景Hudi用于管理分布式文件系统上大型分析数据集存储，支持Spark和Flink整合。它能够是DFS数据集在分钟级时延内支持变更，也支持下游系统对这个数据集的增量处理。
一一|一一一亅·2024-01-25 09:37

英语日积月累2023-06-04

profundityprofundityprofundity深刻breathtaking激动人心的，令人惊叹的；非常糟糕的，令人震惊的这本书极为深入浅出。
抽刀断水2·2024-01-25 02:06

Flink重点难点：Flink任务综合调优(Checkpoint/反压/内存)

CheckPoint调优Flink中基于异步轻量级的分布式快照技术提供了Checkpoints容错机制，Checkpoints可以将同一时间点作业/算子的状态数据全局统一快照处理，包括前面提到的算子状态和键值分区状态
程序员的隐秘角落·2024-01-25 02:10

【大数据】Flink 系统架构

Flink系统架构1.Flink组件1.1JobManager1.2ResourceManager1.3TaskManager1.4Dispatcher2.应用部署2.1框架模式2.2库模式3.任务执行
G皮T·2024-01-25 02:56

Apache Calcite原理极简入门

ApacheCalcite是独立于存储与执行的SQL解析、优化引擎，广泛应用于各种离线、搜索、实时查询引擎，如Drill、Hive、Kylin、Solr、flink、Samza等。
longLiveData·2024-01-25 00:14

PiflowX-JdbcCatalog组件

JdbcCatalog组件组件说明通过JDBC协议将Flink连接到关系数据库,目前支持PostgresCatalog和MySQLCatalog。
PiflowX·2024-01-24 22:48

《正面管教》读后感

这本书深入浅出的介绍了许多行之有效的涉及孩子心理、行为、认知、教育等方面的经典理论，用丰富的案例来告诉
雨天泥巴·2024-01-24 20:17

Java入门篇：探索Java宇宙的基本语法与数据类型——编程基石

本篇将带领你深入浅出地探讨Java语言的核心要素，为你搭建坚实的编程基础。
陈大狗Ayer·2024-01-24 17:33

32个Java面试必考点-03深入浅出JVM

本课时的主题是JVM原理。JVM是Java程序运行基础，面试时一定会遇到JVM相关的题。本课时会先对面试中JVM的考察点进行汇总介绍。然后对JVM内存模型、Java的类加载机制、常用的GC算法这三个知识点进行详细讲解。最后汇总JVM考察点和加分项，以及这部分知识的面试真题。JVM知识点汇总首先看看JVM的知识点汇总。如上图所示，JVM知识点有6个大方向，其中，内存模型、类加载机制、GC垃圾回收是比
机智阳·2024-01-24 13:45

我们的《书择十本》

开学初就有位敏而好学的朱敏主任找我谈心鼓励我多读书多写作，一番深入浅出的谈
阳光的园子·2024-01-24 13:58

深入浅出AI落地应用分析：AI音乐生成之「Suno.ai」

接下来会每周集中体验一些通用或者垂直的AI落地应用，主要以一些全球或者国外国内排行较前的产品为研究对象，「AI产品榜：aicpb.com」以专题的方式在博客进行分享。本节主要介绍和体验AI音乐生成应用产品SunoAI，Suno来自目前最强的文字转音频（TTS）开源模型Bark。产品链接：https://app.suno.ai/一、产品介绍Suno，印地语中意为「倾听」。与多数AI音乐应用不同的是，
女王の专属领地·2024-01-24 12:38

深入浅出理解目标检测的NMS非极大抑制

一、参考资料物体检测中常用的几个概念迁移学习、IOU、NMS理解目标定位和检测系列（3）：交并比（IOU）和非极大值抑制（NMS）的python实现Pytorch：目标检测网络-非极大值抑制(NMS)二、非极大抑制(NMS)相关介绍1.NMS的概念非极大抑制(nonmaximumsuppression,NMS)，顾名思义就是抑制不是极大值的元素，搜索局部的极大值。在最近几年常见的物体检测算法（包括
花花少年·2024-01-24 10:48

IDEA报错：No hostname could be resolved for the IP address 127.0.0.1, using IP address as host name.

idea编辑flink连接kafka读取数据时报错：NohostnamecouldberesolvedfortheIPaddress127.0.0.1,usingIPaddressashostname.Localinputsplitassignment
唯一2333·2024-01-24 09:09

Flink编程——最小程序MiniProgram

最小程序MiniProgram前面我们已经搭建起了Flink的基础环境，这一节我们就在上一节的基础上，进行编写我们的第一个Flink程序，开始之前我们先看一下一个完整的Flink程序是什么样的Flink
不二人生·2024-01-24 08:41

厚积薄发打卡Day77 ：【MSUP】深入浅出JVM（下）＜常用GC算法及考察点＞

前言在看狂神频道的时候偶然发现下图，感触颇深。特别在当今【程序=业务+框架】思想盛行的开发者中，夯实基础基础显得格外重要，因此开此专栏总结记录。对于对于JVM的学习，由于在工作中的业务场景几乎使用不到，所以总是学了忘忘了学，争取早日理解哈哈，学习博客：厚积薄发打卡Day62：【狂神】狂神JVM快速入门（上）＜从JVM体系到native方法＞厚积薄发打卡Day63：【bugstack&狂神】狂神JV
coolgwayne·2024-01-24 08:35

Flink运行架构以及容错机制

Flink运行架构以及容错机制1.Flink的角色区分1.1JM1.2TM1.3SLOT2.Flink-Cluster模式的任务提交流程2.1FlinkOnYarn的任务提交流程2.1.1yarn相关概念
李姓门徒·2024-01-24 07:42

【极数系列】Flink 初相识（01）

#【极数系列】Flink初相识（01）引言Flink官网：https://flink.apache.org/Flink版本：https://flink.apache.org/blog/Flink文档：https
浅夏的猫·2024-01-24 07:18

【极数系列】Flink环境搭建（02）

【极数系列】Flink环境搭建（02）引言1.linux直接在linux上使用jdk11+flink1.18.0版本部署2.docker使用容器部署比较方便，一键启动停止，方便参数调整3.windows
浅夏的猫·2024-01-24 07:18

【Flink-1.17-教程】-【四】Flink DataStream API（5）转换算子（Transformation）【分流】

【Flink-1.17-教程】-【四】FlinkDataStreamAPI（5）转换算子（Transformation）【分流】1）使用filter简单实现2）使用侧输出流实现所谓“分流”，就是将一条数据流拆分成完全独立的两条
bmyyyyyy·2024-01-24 07:48

Flink多流转换（1）—— 分流&合流

目录分流代码示例使用侧输出流合流联合（Union）连接（Connect）简单划分的话，多流转换可以分为“分流”和“合流”两大类目前分流的操作一般是通过侧输出流（sideoutput）来实现，而合流的算子比较丰富，根据不同的需求可以调用union、connect、join以及coGroup等接口进行连接合并操作分流将一条数据流拆分成完全独立的两条、甚至多条流。也就是基于一个DataStream，得到
THE WHY·2024-01-24 07:47

flink-java使用介绍，flink，java

1、环境准备文档：https://nightlies.apache.org/flink/flink-docs-release-1.18/zh/仓库：https://github.com/apache/flink
raoxiaoya·2024-01-24 07:47

Flink（十五）【Flink SQL Connector、savepoint、CateLog、Table API】

1、常用Connector读写之前我们已经用过了一些简单的内置连接器，比如'datagen'、'print'，其它的可以查看官网：Overview|ApacheFlink环境准备：#1.先启动hadoopmyhadoopstart
让线程再跑一会·2024-01-24 07:17

记一次Flink通过Kafka写入MySQL的过程

一、前言总体思路：source-->transform-->sink,即从source获取相应的数据来源，然后进行数据转换，将数据从比较乱的格式，转换成我们需要的格式，转换处理后，然后进行sink功能，也就是将数据写入的相应的数据库DB中或者写入Hive的HDFS文件存储。思路：pom部分放到最后面。二、方案及代码实现2.1Source部分Source部分构建一个web对象用于保存数据等操作，代码
梦痕长情·2024-01-24 07:17

spark-flink设计思想之吸星大法-1

Spark和Flink都是大数据处理框架，它们的设计思想有一些不同之处。以下是对它们设计思想的简要对比：数据模型和计算模型：Spark：Spark使用弹性分布式数据集（RDD）作为其核心数据结构。
{BOOLEAN}·2024-01-24 07:47

【极数系列】Flink项目入门搭建（03）

【极数系列】Flink项目入门搭建（03）引言gitee地址：https://gitee.com/shawsongyue/aurora.git源码直接下载可运行，模块：aurora_flinkFlink
浅夏的猫·2024-01-24 07:16

java字符串去掉换行符，帮你突破瓶颈

K8S：深入浅出Kubernetes（理论+实战）Kubernetes(k8s)是一个全新的基于容器技术的分布式架构领先方案。
前端陈萨龙·2024-01-24 06:09

java字符串去掉换行符，看这一篇就够了！

K8S：深入浅出Kubernetes（理论+实战）Kubernetes(k8s)是一个全新的基于容器技术的分布式架构领先方案。
最新Java面经·2024-01-24 06:08

厉害了！java字符串去掉换行符

K8S：深入浅出Kubernetes（理论+实战）Kubernetes(k8s)是一个全新的基于容器技术的分布式架构领先方案。
椰果学Android·2024-01-24 06:36

Streaming -- Operators -- Windows

本文档主要介绍在Flink中如何执行窗口，以及程序员如何从它提供的功能中获得最大的好处。窗口Flink程序的一般结构如下所示。第一个片段引用键控流，而第二个片段引用非键控流。
qing_feng·2024-01-24 06:33

10.Flink实时项目之订单维度表关联

1.维度查询在上一篇中，我们已经把订单和订单明细表join完，本文将关联订单的其他维度数据，维度关联实际上就是在流中查询存储在hbase中的数据表。但是即使通过主键的方式查询，hbase速度的查询也是不及流之间的join。外部数据源的查询常常是流式计算的性能瓶颈，所以我们在查询hbase维度数据的基础上做一些优化及封装。phoenix查询封装phoenix作为hbase的一个上层sql封装，或者叫
选手一号位·2024-01-24 04:46

Flink 架构--官网译文(v1.11)

Flink是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。
LQC_gogogo·2024-01-24 02:53

Flink 源码：TM 端恢复及创建 KeyedState 的流程

本文仅为笔者平日学习记录之用，侵删原文：https://mp.weixin.qq.com/s/eaALnpd_qHQg6fxI12fQjg本文会详细分析TM端恢复及创建KeyedState的流程，恢复过程会分析RocksDB和Fs两种StateBackend的恢复流程，创建流程会介绍Checkpoint处恢复的State如何与代码中创建的State关联起来。一、RocksDBKeyedStateB
longLiveData·2024-01-24 01:08

Flink基础系列32-Table API和Flink SQL之窗口

一.窗口  时间语义，要配合窗口操作才能发挥作用。最主要的用途，当然就是开窗口、根据时间段做计算了。下面我们就来看看TableAPI和SQL中，怎么利用时间字段做窗口操作。  在TableAPI和SQL中，主要有两种窗口：GroupWindows和OverWindows1.1分组窗口（GroupWindows）  分组窗口（GroupWindows）会根据时间或行计数间隔，将行聚合到有限的组（Gr
只是甲·2024-01-24 00:52

学习没有起跑线，大脑终生具有可塑性

在演讲中，她介绍男女大脑大不同，幽默风趣，深入浅出，一下子拉近了脑科学与生活的距离。
毛豆妈妈1·2024-01-23 23:39

JVM类加载机制详解，建议看这一篇就够了，深入浅出总结的十分详细！

类加载机制虚拟机把描述类的数据从Class文件加载到内存，并对数据进行校验、转换解析和初始化，最终形成可以被虚拟机直接使用的Java类型，这就是虚拟机的类加载机制。类加载的时机遇到new（比如newStudent()）、getstatic和putstatic（读取或设置一个类的静态字段，如下代码，读取被final修饰并已在编译器把结果放入常量池的静态字段除外）、invokestatic（调用类的静
前程有光·2024-01-23 23:14

深入浅出边缘云 | 2. 架构

随着技术的发展以及应用对时延、带宽、安全的追求，一个明显的技术趋势是越来越多的应用组件将会被部署到企业所管理的网络边缘。本系列是开源电子书EdgeCloudOperations:ASystemsApproach的中文版，详细介绍了基于开源组件构建的边缘云的架构、功能及具体实现。第2章架构本章将列出所有用于构建和运营能够运行各种云原生服务的子系统。我们基于Aether说明特定的设计选择，首先介绍为何
DeepNoMind·2024-01-23 23:17

【大数据精讲】全量同步与CDC增量同步方案对比

目录背景名词解释问题与挑战FlinkCDCDataX工作原理调度流程五、DataX3.0六大核心优势性能优化背景名词解释CDCCDC又称变更数据捕获（ChangeDataCapture），开启cdc的源表在插入
话数Science·2024-01-23 20:44
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他