3分钟秒懂大数据
3分钟秒懂大数据

重磅！ | Flink1.14新特性预览

欢迎加博主微信：threeknowbigdata，拉你进大数据群、Flink流计算群

大家好，我是土哥。

目前在某互联网大厂担任大数据算法工程师。

今天在查看Flink源码时，发现Flink1.14修复了很多bug，并且提了很多PR,其中完成了33个重要的新特性及优化。

Bug修复可见部分截图：

重磅！ | Flink1.14新特性预览_第1张图片

Improvement可见部分截图：

重磅！ | Flink1.14新特性预览_第2张图片

新版本预计1-2周之内会发布，下面我将带领大家查看一下 Flink1.14的新特性都有哪些？

1、流批一体优化

流批一体其实从 Flink 1.9 版本开始就受到持续的关注，它作为社区 RoadMap 的重要组成部分，是大数据实时化必然的趋势。但是另一方面，传统离线的计算需求其实并不会被实时任务完全取代，而是会长期存在。

基于这种背景下，Flink 社区认定了实时离线一体化的技术路线是比较重要的技术趋势和方向。

在Flink1.14以前，社区在流批一体方面做了很多的工作。

1.1、

你可能感兴趣的:(Flink,big,data,flink)

  • ARINC429协议分析 Eidolon_li FPGAfpga开发
    描述本章内容主要说明ARINC429协议分析方法，包含429数据模型，以及各模型的含义协议模型定义如下表所示，ARINC429在发送一帧过程中，首先发送以START开始，以END结束，共发送32bits数据，其中0~7bits为Lable数据，9~8bits为SDI数据，10~28bits为数据，29~30bits为SSM，31bit为校验位End30292827262524校验位SSMDATA（
  • jetpack compose 开发架构选择探讨（一），这是一份用心整理的Android面试总结 m0_66264630 程序员架构移动开发android
    然后我们分析下这个例子只有一个count状态和add操作，因此这样来实现viewModel,这里基于jetpackviewmodel和livedata组件来实现classMvvmViewModel:ViewModel(){valcountState=MutableLiveData(1)funadd(num:Int){countState.postValue(countState.valueasIn
  • jetpack compose 开发架构选择探讨（一），移动架构师成长路线 AI设计大师 程序员架构移动开发android
    classMvvmViewModel:ViewModel(){valcountState=MutableLiveData(1)funadd(num:Int){countState.postValue(countState.valueasInt+num)}funreduce(num:Int){countState.postValue(countState.valueasInt-num)}}接下来我们
  • jetpack compose 开发架构选择探讨（二） iffly-csdn jetpackcomposeandroidjetpackredux
    jetpackcompose开发架构选择探讨（二）本文所有代码均在compose_architecture中，需要的可以自取上篇我们讲解了如何在compose中使用MVVM和MVI架构，并且在最后解决了如何解决多page的通信问题，本篇文章主要来讲解redux架构在compose的实现，不过由于上篇的MVI实现有点不是特别"优雅"，没有充分发挥Flow和livedata之间的转换，因此本篇开始之前
  • Android Jetpack 之 Paging3的一些踩坑记录 全栈_HhM androidjetpackandroid
    主要配置一些基本的分页信息，其中部分信息例如页码、需要加载size等信息会在PagingSource的load方法中通过LoadParams传递过来。PagingSource继承该类并实现load方法来加载数据，根据加载情况返回LoadResult.Page或LoadResult.Error。在加载上一页、下一页或刷新都通过这个方法，同时注意suspend修饰。加载状态可通过PagingDataA
  • Flink中定时器的使用_flink 定时器 ontimerf()方法获取 事件 字节全栈_vBr flinkjava大数据
    处理时间——调用Context.timerService().registerProcessingTimeTimer()注册；onTimer()在系统时间戳达到Timer设定的时间戳时触发。事件时间——调用Context.timerService().registerEventTimeTimer()注册；onTimer()在Flink内部水印达到或超过Timer设定的时间戳时触发。Context和
  • 群晖web文件服务器docker,群晖docker搭建数据库服务器 Kuchiki Touko
    群晖docker搭建数据库服务器内容精选换一换本手册基于华为云关系型数据库实践所编写，用于指导您完成相关设置，购买更符合业务的数据库实例。创建一个外部服务器。外部服务器是存储OBS服务器信息或其他同构集群信息的载体。默认只有系统管理员才可以创建外部服务器，否则需要对所使用的FOREIGNDATAWRAPPER授权才可以创建，授权语法为：其中fdw_name为FOREIGNDATAWRAPPER的名
  • 回调 函数解决异步，promise解决异步 css趣多多 java前端javascript
    created(){//===============================================回调函数解决异步//this.getList((res)=>{//this.$message.success("获取数据成功");//constfirstData=res.data;////再次获取数据，需要依赖于第一次获取的数据//this.getList2((finalData
  • 说下 Oracle 中有哪几种文件？思维导图 代码示例（java 架构) 用心去追梦 oraclejava架构
    在Oracle数据库中，存在多种类型的文件来支持其正常运作和数据管理。这些文件对于确保数据库的性能、安全性和可靠性至关重要。以下是Oracle数据库中常见的几种文件类型及其用途。Oracle数据库中的文件类型数据文件(DataFiles)用于存储表空间中的实际用户数据。重做日志文件(RedoLogFiles)记录所有对数据库所做的更改，以确保在故障发生时可以恢复数据。控制文件(ControlFil
  • 微信小程序中在一个大边框里给每个小边框均匀分配空间 Colinnian 微信小程序notepad++小程序
    initBoard(){constdots=[];for(leti=0;i<9;i++){for(letj=0;j<9;j++){dots.push({className:"blank",});}}this.setData({dots});},假设我现在创建一个81格的正方形,我要怎么写css代码呢.waibiankuang{width:690rpx;height:690rpx;border:5r
  • python脚本-工作日、休息日查询YYYY-MM-DD(万年历版)——＞改SDK查询 倾月过客 pythonpython
    注释都有，看代码#coding=utf-8importdatetimefromchinese_calendarimportis_workdayclassWorkDay:def__init__(self,):pass#传入日期，查询法定节假日defget_isWorkDay(self,data_time):try:date_obj=datetime.datetime.strptime(data_ti
  • HTML5 拖拽API应用 天涯学馆 大前端&移动端全栈架构html5前端html
    HTML5拖拽API应用目录设置可拖动元素监听拖拽事件设置目标区域使用dataTransfer对象传递数据自定义拖动图像HTML5拖拽API允许开发者创建交互性强的web应用，让用户能够直接在浏览器中拖动元素，并将其放置到其他位置或目标元素上。设置可拖动元素要使一个HTML元素可拖动，需要为其添加draggable=“true”属性。Dragme!监听拖拽事件可拖动元素上可以绑定以下拖拽相关事件的
  • HDFS分布式文件系统3-2 shell定期采集数据到HDFS 诺特兰德 hdfshadoop大数据
    1、准备工作创建目录：/export/data/logs/log/export/data/logs/toupload2、在/export/data/logs目录下创建upload2HDFS.sh内容如下：#!/bin/bashexportJAVA_HOME=/export/servers/jdkexportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=.:JAVA_
  • 微信小程序scroll-view组件设置 scroll-top无效问题解决
    微信小程序官方提供了一个可以设置滚动条位置的方法scroll-top在实际运用过程中，发现设置了scroll-top无效，滚动条位置并没有发生变化，是因为微信小程序的官方框架处于性能考虑，初始化设置scroll-top不会重新渲染页面，需要将scroll-top的是放在一个事件内执行才可以生效。这里演示一个切换选项重置滚动条事件的案例：data:{//data内不需要设置scrollTop},//
  • Caused by: java.io.NotSerializableException: org.apache.kafka.common.metrics.MetricConfig Slient-猿 flinkflinkkafka
    flink自定义数据源的开发过程中遇到这样一个错误。错误原因：在于KafkaConsumer的初始化放在了定义处。解决：应该放在open方法内初始化。DataStreamSourcedataStreamSource=env.addSource(newKafkaSourceFunction());//获取数据kafka消费数据获取DataStreamSourcedata=env.addSource(
  • Flink的DataSource三部曲之一：直接API 字节全栈_rJF flink大数据
    mvn\archetype:generate\-DarchetypeGroupId=org.apache.flink\-DarchetypeArtifactId=flink-quickstart-java\-DarchetypeVersion=1.9.2现在maven工程已生成，用IDEA导入这个工程，如下图：以maven的类型导入：导入成功的样子：项目创建成功，可以开始写代码实战了；辅助类Spl
  • Hive 整合 Spark 全教程 （Hive on Spark） 字节全栈_rJF hivesparkhadoop
    hadoop.proxyuser.luanhao.groups*hadoop.proxyuser.luanhao.groups*2）HDFS配置文件配置hdfs-site.xmldfs.namenode.http-addressBigdata00:9870dfs.namenode.secondary.http-addressBigdata00:9868dfs.replication13）YARN配
  • flume系列之：消费Kafka集群Topic报错java.io.IOException: Can‘t resolve address: data03:9092 快乐骑行^_^ flumeflume系列消费Kafka集群TopicOExceptionresolveaddress
    flume系列之：消费Kafka集群Topic报错java.io.IOException:Can'tresolveaddress:data03:9092Causedby:java.nio.channels.UnresolvedAddressException一、flume消费Kafka集群Topic报错二、报错原因三、解决方法一、flume消费Kafka集群Topic报错21Sep202214:5
  • WebForms DataList 深入解析 wjs2024 开发语言
    WebFormsDataList深入解析引言在Web开发领域，控件是构建用户界面（UI）的核心组件。ASP.NETWebForms框架提供了丰富的控件，其中DataList控件是一个灵活且强大的数据绑定控件。本文将深入探讨WebFormsDataList控件的功能、用法以及在实际开发中的应用。DataList控件概述1.1什么是DataList控件DataList控件是ASP.NETWebForm
  • python封装sql脚本_Python数据库封装实现代码示例解析 weixin_39647412 python封装sql脚本
    Django中(原生mysql封装)1.函数封装importpymysql#查所数据defget_all(sql):conn=pymysql.connect(host="localhost",user="root",password="root",database="db6")cur=conn.cursor(cursor=pymysql.cursors.DictCursor)cur.execute
  • 数据库管理-第287期 Oracle DB 23.7新特性一览（20250124） 胖头鱼的鱼缸（尹海文） Oracle数据库oracle
    数据库管理287期2025-01-24数据库管理-第287期OracleDB23.7新特性一览（20250124）1AI向量搜索：算术和聚合运算2更改Compatible至23.6.0，以使用23.6或更高版本中的新AI向量搜索功能3CloudDeveloper包4DBMS_DEVELOPER.GET_METADATA：用于检索数据库对象元数据的API5PL/SQL中的维度算法支持6二元性视图放宽
  • Spark 学习-1 (python) 一二三四0123 spark学习python
    Spark官方文档快速入门指南Spark架构-Spark教程1.基本概念RDD（resilientdistributeddataset）弹性分布式数据集，对分布式数据和计算的基本抽象。每个Spark应用由一个驱动器程序（driverprogram）发起集群上的并行操作，驱动器程序一般要管理多个执行器（executor）节点。当我们在集群上执行一个操作，不同的节点会对文件不同部分展开计算。驱动器程序
  • python读取nc文件并转换成csv_使用Python截取nc文件数据保存到CSV文件-Go语言中文社区... 达拉崩吧叭叭叭
    问题要求：编写一个函数完成以下任务：截取经度在23°N-40°N，纬度在118°E-131°E范围内各属性不同深度的数据，使用Python中合适的数据结构将截取的数据保存到同名CSV文件中。(nc文件数据格式参见笔者其他文章)实验内容(附代码)实验数据介绍(通过实验介绍你对NC数据的认识)nc文件即NetCDF全称为networkCommonDataFormat，中文译法为“网络通用数据格式”。一
  • 自定义数据集 使用pytorch框架实现逻辑回归并保存模型，然后保存模型后再加载模型进行预测，对预测结果计算精确度和召回率及F1分数 qwe352633 python
    importtorchimportnumpyasnpimporttorch.nnasnnfromsklearn.metricsimportaccuracy_score,precision_score,recall_score,f1_scoredata=[[-0.5,7.7],[1.8,98.5],[0.9,57.8],[0.4,39.2],[-1.4,-15.7],[-1.4,-37.3],[-1
  • Python读取nc文件 小徐爱吹晚风 python学习新手笔记python
    目录导入库读取nc文件查看数据类型二维数组切片观察部分区域数据可视化导入库importxarrayasxrimportmatplotlib.pyplotaspltimportmatplotlib读取nc文件file_path=r'D:XXX\XXX.nc'#nc文件路径data=xr.open_mfdataset(file_path,parallel=True,decode_times=False
  • 【全网最详细】MySQL教程(1)-数据库类型 star010- 网络攻防实战指北mysql
    前言概念比较枯燥，了解一下即可数据库基本概念数据定义：所谓数据（Data）是指对客观事物进行描述并可以鉴别的符号，这些符号是可识别的、抽象的。它不仅仅指狭义上的数字，而是有多种表现形式：字母、文字、文本、图形、音频、视频等。现在计算机存储和处理的数据范围十分广泛，而描述这些数据的符号也变得越来越复杂了。数据库（Database）定义：按照一定格式存放数据的集合。特点：数据以结构化方式存储，便于管理
  • Vue全流程--Vue2插槽 不清参 vue.jsjavascript前端
    作用让父组件可以向子组件指定位置插入html结构，也是一种组件间通信的方式，适用于父组件===>子组件。分类默认插槽、具名插槽、作用域插槽使用方式1.默认插槽：让子组件以不同的内容形式或者格式展现出来父组件{{g}}importCategoryfrom'./components/Category'exportdefault{name:'App',components:{Category},data
  • python追加写入excel文件 可我累了 记录python
    python追加写入excel文件importjmespathimportjsonimportxlrdfromxlutils.copyimportcopyi={'headers':[],'datas':[{'id':'ae2f0000-1b7a-e200-6376-08d8f5da1be1','fax':'8605925160700','userId':'57585bd0-0097-4a6d-ba
  • 【python】追加写入excel，合并工作簿 qq_50653422 excelpython
    目录一：删除写入代码（删除所有旧表）二：追加写入代码（保留所有旧表）三、结果展示一：删除写入代码（删除所有旧表）importpandasaspddf1=pd.DataFrame({'A':[1,1,1],'B':[1,1,1]})df2=pd.DataFrame({'C':[0,0,0],'D':[0,0,0]})#使用ExcelWriter写入不同的sheetwithpd.ExcelWriter
  • 使用 fdisk 对分区进行扩容 月巴左耳东 Linuxlinux运维服务器
    原先磁盘做了分区，并且不是以LVM的方式做的磁盘管理，现在打算将剩下的空余容量全部分配给/data目录sdb8:16020G0disk└─sdb18:17010G0part/data查看原有的数据（这是我提前创建的数据）创建命令：foriin$(seq110);domkdir/data/test_$i;echo"thisisno.$i">/data/test_$i/test.log;donefor
  • java杨辉三角 3213213333332132 java基础
    package com.algorithm; /** * @Description 杨辉三角 * @author FuJianyong * 2015-1-22上午10:10:59 */ public class YangHui { public static void main(String[] args) { //初始化二维数组长度 int[][] y
  • 《大话重构》之大布局的辛酸历史 白糖_ 重构
    《大话重构》中提到“大布局你伤不起”，如果企图重构一个陈旧的大型系统是有非常大的风险，重构不是想象中那么简单。我目前所在公司正好对产品做了一次“大布局重构”，下面我就分享这个“大布局”项目经验给大家。   背景         公司专注于企业级管理产品软件，企业有大中小之分，在2000年初公司用JSP/Servlet开发了一套针对中
  • 电驴链接在线视频播放源码 dubinwei 源码电驴播放器视频ed2k
    本项目是个搜索电驴（ed2k）链接的应用,借助于磁力视频播放器（官网： http://loveandroid.duapp.com/ 开放平台），可以实现在线播放视频，也可以用迅雷或者其他下载工具下载。 项目源码： http://git.oschina.net/svo/Emule,动态更新。也可从附件中下载。 项目源码依赖于两个库项目，库项目一链接： http://git.oschina.
  • Javascript中函数的toString()方法 周凡杨 JavaScriptjstoStringfunctionobject
    简述     The toString() method returns a string representing the source code of the function.     简译之，Javascript的toString()方法返回一个代表函数源代码的字符串。 句法     function.
  • struts处理自定义异常 g21121 struts
    很多时候我们会用到自定义异常来表示特定的错误情况，自定义异常比较简单，只要分清是运行时异常还是非运行时异常即可，运行时异常不需要捕获，继承自RuntimeException，是由容器自己抛出，例如空指针异常。 非运行时异常继承自Exception，在抛出后需要捕获，例如文件未找到异常。 此处我们用的是非运行时异常，首先定义一个异常LoginException: /** * 类描述：登录相
  • Linux中find常见用法示例 510888780 linux
    Linux中find常见用法示例 ·find   path   -option   [   -print ]   [ -exec   -ok   command ]   {} \; find命令的参数；
  • SpringMVC的各种参数绑定方式 Harry642 springMVC绑定表单
    1. 基本数据类型(以int为例，其他类似)： Controller代码： @RequestMapping("saysth.do") public void test(int count) { } 表单代码： <form action="saysth.do" method="post&q
  • Java 获取Oracle ROWID aijuans javaoracle
    A ROWID is an identification tag unique for each row of an Oracle Database table. The ROWID can be thought of as a virtual column, containing the ID for each row. The oracle.sql.ROWID class i
  • java获取方法的参数名 antlove javajdkparametermethodreflect
    reflect.ClassInformationUtil.java package reflect; import javassist.ClassPool; import javassist.CtClass; import javassist.CtMethod; import javassist.Modifier; import javassist.bytecode.CodeAtt
  • JAVA正则表达式匹配 查找 替换 提取操作 百合不是茶 java正则表达式替换提取查找
    正则表达式的查找;主要是用到String类中的split();       String str;      str.split();方法中传入按照什么规则截取,返回一个String数组   常见的截取规则: str.split("\\.")按照.来截取 str.
  • Java中equals()与hashCode()方法详解 bijian1013 javasetequals()hashCode()
    一.equals()方法详解     equals()方法在object类中定义如下：  public boolean equals(Object obj) { return (this == obj); }    很明显是对两个对象的地址值进行的比较（即比较引用是否相同）。但是我们知道，String 、Math、I
  • 精通Oracle10编程SQL(4)使用SQL语句 bijian1013 oracle数据库plsql
    --工资级别表 create table SALGRADE ( GRADE NUMBER(10), LOSAL NUMBER(10,2), HISAL NUMBER(10,2) ) insert into SALGRADE values(1,0,100); insert into SALGRADE values(2,100,200); inser
  • 【Nginx二】Nginx作为静态文件HTTP服务器 bit1129 HTTP服务器
     Nginx作为静态文件HTTP服务器 在本地系统中创建/data/www目录，存放html文件(包括index.html) 创建/data/images目录，存放imags图片 在主配置文件中添加http指令   http { server { listen 80; server_name
  • kafka获得最新partition offset blackproof kafkapartitionoffset最新
    kafka获得partition下标，需要用到kafka的simpleconsumer   import java.util.ArrayList; import java.util.Collections; import java.util.Date; import java.util.HashMap; import java.util.List; import java.
  • centos 7安装docker两种方式 ronin47
          第一种是采用yum 方式              yum install -y docker           
  • java-60-在O(1)时间删除链表结点 bylijinnan java
    public class DeleteNode_O1_Time { /** * Q 60 在O(1)时间删除链表结点 * 给定链表的头指针和一个结点指针(!!)，在O(1)时间删除该结点 * * Assume the list is: * head->...->nodeToDelete->mNode->nNode->..
  • nginx利用proxy_cache来缓存文件 cfyme cache
    user  zhangy users; worker_processes 10; error_log  /var/vlogs/nginx_error.log  crit; pid        /var/vlogs/nginx.pid; #Specifies the value for ma
  • [JWFD开源工作流]JWFD嵌入式语法分析器负号的使用问题 comsci 嵌入式
        假如我们需要用JWFD的语法分析模块定义一个带负号的方程式，直接在方程式之前添加负号是不正确的，而必须这样做：     string str01 = "a=3.14;b=2.71;c=0;c-((a*a)+(b*b))"     定义一个0整数c,然后用这个整数c去
  • 如何集成支付宝官方文档 dai_lm android
    官方文档下载地址 https://b.alipay.com/order/productDetail.htm?productId=2012120700377310&tabId=4#ps-tabinfo-hash 集成的必要条件 1. 需要有自己的Server接收支付宝的消息 2. 需要先制作app，然后提交支付宝审核，通过后才能集成 调试的时候估计会真的扣款，请注意
  • 应该在什么时候使用Hadoop datamachine hadoop
    原帖地址：http://blog.chinaunix.net/uid-301743-id-3925358.html 存档，某些观点与我不谋而合，过度技术化不可取，且hadoop并非万能。 --------------------------------------------万能的分割线-------------------------------- 有人问我，“你在大数据和Hado
  • 在GridView中对于有外键的字段使用关联模型进行搜索和排序 dcj3sjt126com yii
    在GridView中使用关联模型进行搜索和排序 首先我们有两个模型它们直接有关联: class Author extends CActiveRecord { ... } class Post extends CActiveRecord { ... function relations() { return array( '
  • 使用NSString 的格式化大全 dcj3sjt126com Objective-C
    格式定义The format specifiers supported by the NSString formatting methods and CFString formatting functions follow the IEEE printf specification; the specifiers are summarized in Table 1. Note that you c
  • 使用activeX插件对象object滚动有重影 蕃薯耀 activeX插件滚动有重影
      使用activeX插件对象object滚动有重影   <object style="width:0;" id="abc" classid="CLSID:D3E3970F-2927-9680-BBB4-5D0889909DF6" codebase="activex/OAX339.CAB#
  • SpringMVC4零配置 hanqunfeng springmvc4
    基于Servlet3.0规范和SpringMVC4注解式配置方式，实现零xml配置，弄了个小demo，供交流讨论。     项目说明如下： 1.db.sql是项目中用到的表，数据库使用的是oracle11g 2.该项目使用mvn进行管理，私服为自搭建nexus,项目只用到一个第三方 jar，就是oracle的驱动； 3.默认项目为零配置启动，如果需要更改启动方式，请
  • 《开源框架那点事儿16》：缓存相关代码的演变 j2eetop 开源框架
    问题引入 上次我参与某个大型项目的优化工作，由于系统要求有比较高的TPS，因此就免不了要使用缓冲。 该项目中用的缓冲比较多，有MemCache，有Redis，有的还需要提供二级缓冲，也就是说应用服务器这层也可以设置一些缓冲。 当然去看相关实现代代码的时候，大致是下面的样子。 [java] view plain copy print ? public vo
  • AngularJS浅析 kvhur JavaScript
    概念 AngularJS is a structural framework for dynamic web apps. 了解更多详情请见原文链接：http://www.gbtags.com/gb/share/5726.htm Directive 扩展html，给html添加声明语句，以便实现自己的需求。对于页面中html元素以ng为前缀的属性名称，ng是angular的命名空间
  • 架构师之jdk的bug排查(一)---------------split的点号陷阱 nannan408 split
    1.前言.    jdk1.6的lang包的split方法是有bug的,它不能有效识别A.b.c这种类型,导致截取长度始终是0.而对于其他字符,则无此问题.不知道官方有没有修复这个bug. 2.代码 String[] paths = "object.object2.prop11".split("'"); System.ou
  • 如何对10亿数据量级的mongoDB作高效的全表扫描 quentinXXZ mongodb
      本文链接:  http://quentinXXZ.iteye.com/blog/2149440 一、正常情况下，不应该有这种需求 首先，大家应该有个概念，标题中的这个问题，在大多情况下是一个伪命题，不应该被提出来。要知道，对于一般较大数据量的数据库，全表查询，这种操作一般情况下是不应该出现的，在做正常查询的时候，如果是范围查询，你至少应该要加上limit。 说一下，
  • C语言算法之水仙花数 qiufeihu c算法
    /** * 水仙花数 */ #include <stdio.h> #define N 10 int main() { int x,y,z; for(x=1;x<=N;x++) for(y=0;y<=N;y++) for(z=0;z<=N;z++) if(x*100+y*10+z == x*x*x
  • JSP指令 wyzuomumu jsp
    jsp指令的一般语法格式： <%@ 指令名 属性 =”值 ” %> 常用的三种指令： page,include,taglib page指令语法形式： <%@ page 属性 1=”值 1” 属性 2=”值 2”%> include指令语法形式： <%@include file=”relative url”%> (jsp可以通过 include
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他