大数据框架flink

SSH免密码登录，搭建Flink standalone集群

说明搭建Flink集群：本实验拥有3个节点，均为CentOS7系统，分别对应IP为10.211.55.11、10.211.55.13、10.211.55.14，且均有相同用户名（本实验为jiecxy）为了方便
jiecxy·2023-07-15 00:35

flink 本机运行指定用户

好久没写东西了~~~代码中加个参数就行了System.setProperty("HADOOP_USER_NAME","hadoop")
MR_REN019235·2023-07-15 00:34

Flink web UI配置账号密码，权限控制

由于Flink自带的webUI界面没有账号密码，需要通过nginx实现该效果。
怪只怪满眼尽是人间烟火·2023-07-15 00:32

Flink实战(六) - Table API & SQL编程

1意义1.1分层的APIs&抽象层次Flink提供三层API。每个API在简洁性和表达性之间提供不同的权衡，并针对不同的用例。
JavaEdge·2023-07-14 23:19

CoProcessFunction实战三部曲之一：基本功能

Java、Docker、Kubernetes、DevOPS等；关于《CoProcessFunction实战三部曲》系列《CoProcessFunction实战三部曲》旨在通过三次实战，由浅入深的学习和掌握Flink
程序员欣宸·2023-07-14 21:16

SAP ABAP Webdynpro ALV的link to action的实现方法

IfyouincludethestandardwebdynproALVcomponentSALV_WD_TABLEintoyourowncomponent,youcouldnotdirectlychangetheALVtablecolumnasusual.InABAPWebdynproanexampleoflinktoactionelementusedinALVlookslikebelow.Onc
JerryWang_汪子熙·2023-07-14 18:32

使用 Apache Flink 在 Amazon EMR 上构建统一数据湖

ApacheFlink是一个应用广泛的数据处理引擎，适用于可扩展的流式处理ETL、分析和事件驱动型应用程序。该应用程序提供具备容错能
亚马逊云开发者·2023-07-14 15:21

Hive SQL 迁移 Flink SQL 在快手的实践

摘要：本文整理自快手数据架构工程师张芒，阿里云工程师刘大龙，在FlinkForwardAsia2022生产实践专场的分享。
Apache Flink·2023-07-14 15:00

flink启动报错Failed to construct kafka producer

flinklocal模式下启动sink2kafka报错，具体报错如下apache.kafka.common.KafkaException: Failed to construct kafka producer
cclovezbf·2023-07-14 14:39

java如何解析命令行参数

比如java-jarxxx.jarargs1args2，这样没什么问题，但是很多时候这些参数只有我们自己知道但是我们看好点的项目例如dataxflink,spark等等被人的熟知的项目都是见名知意比如class
cclovezbf·2023-07-14 14:08

flink-cdc之读取mysql变化数据

pom1.13.0org.apache.flinkflink-java${flink-version}org.apache.flinkflink-streaming-java_2.12${flink-version
cclovezbf·2023-07-14 14:32

Flink（八）Flink四大基石之State概念、使用场景、持久化、批处理的详解与keyed state和operator state、broadcast state使用和详细示例

Flink系列文章Flink（一）1.12.7或1.13.5详细介绍及本地安装部署、验证Flink（二）1.13.5二种部署方式(Standalone、StandaloneHA)、四种提交任务方式（前两种及
一瓢一瓢的饮 alanchan·2023-07-14 13:10

Flink（七）Flink四大基石之Time和WaterMaker详解与详细示例（watermaker基本使用、kafka作为数据源的watermaker使用示例以及超出最大允许延迟数据的接收实现）

Flink系列文章Flink（一）1.12.7或1.13.5详细介绍及本地安装部署、验证Flink（二）1.13.5二种部署方式(Standalone、StandaloneHA)、四种提交任务方式（前两种及
一瓢一瓢的饮 alanchan·2023-07-14 13:09

Flink（六）Flink四大基石之Window详解与详细示例（二）

Flink系列文章Flink（一）1.12.7或1.13.5详细介绍及本地安装部署、验证Flink（二）1.13.5二种部署方式(Standalone、StandaloneHA)、四种提交任务方式（前两种及
一瓢一瓢的饮 alanchan·2023-07-14 13:08

Flink SQL之窗口JOIN

1.TUMBLE（滚动窗口）滚动窗口有固定的尺寸，窗口间的元素无重复语法：TUMBLE(TABLEdata,DESCRIPTOR(timecol),size[,offset])说明：data:包含时间属性列的表timecol:是一个列描述符，指示数据的哪个时间属性列应映射到滚动窗口size:是指定滚动窗口宽度的持续时间。offset:是一个可选参数，用于指定窗口将要开始的偏移量。示例：每10分钟将
土豆马铃薯·2023-07-14 13:44

Flink SQL中的函数

TableAPI是内嵌在Java语言中的，很多方法需要在类中额外添加，扩展功能比较麻烦，目前支持的函数比较少，故一般情况下我们使用FlinkSQL中的函数FlinkSQL中的函数主要分为两类：SQL内置函数
未来影子·2023-07-14 13:44

Flink SQL之Temporal Joins

1.TemporalJoins（时态JOIN）时态表是一个随时间演变的表，在Flink中也称为动态表。时态表中的行与一个或多个时态周期相关联，并且所有Flink表都是时态的（动态的）。
土豆马铃薯·2023-07-14 13:44

20211008 FlinkSql测试-1.12版本

一、flinkSql-Client/mnt/flink-1.12.4/bin/start-cluster.sh--启动集群/mnt/flink-1.12.4/bin/sql-client.shembedded
xiaoyangyangYY·2023-07-14 13:13

Flink SQL之常用函数

官方函数查询地址：https://nightlies.apache.org/flink/flink-docs-release-1.12/dev/table/functions/systemFunctions.html
土豆马铃薯·2023-07-14 13:36

Flink基础概念及常识

目录1.flink入门a.有边界和无边界b.有状态c.精确一次性2.flinkCheckPoint机制a.任务启动b.启动Checkpointc.Source启动Checkpointd.task接收barriere.barrier
随风i·2023-07-14 08:23

大数据技术栈列表

文章目录1、Flink1.1概述1.2特点2、Hadoop简介2.1概述2.2特点3、Hive简介3.1概述3.2特点4、Spark4.1概述4.2特点1、Flink1.1概述Flink是一个开源的流式数据处理和批处理框架
ha_lydms·2023-07-14 08:15

JobInitializationException: Could not start the JobMaster

java.util.concurrent.ExecutionException:java.lang.RuntimeException:org.apache.flink.runtime.client.JobInitializationException
消八哥·2023-07-14 07:53

SQL server + Dinky + doris 数据导入demo

1、SQLserver+Dinky+doris+flinkcdc导入plugins的jar包离线数仓部分希望可以1、一次性导入整张表(全量历史数据)2、实时增量导入通过flinkcdc方式要开启MySQLbinglog
wangqiaowq·2023-07-14 07:23

Dinky0.7.0源码初探

Flink目前是一个使用广泛的基于流计算的流批一体的大数据计算框架，它关注的是流计算的底层实现、集群运行最优化、高效运行的设计等；Dinky是基于Flink的一个应用平台：目前最核心的功能，就是在
武舞悦·2023-07-14 07:22

Dinky，让 Flink SQL 纵享丝滑

之前用java封装flink-sql-client提交脚本文件，很是摩擦。不过，在研发流批一体平台的时候发现了Dinky，终于丝滑了。今天就给小伙伴们推荐下低调但实力强大的Dinky！
大数据指北·2023-07-14 07:52

记录：Dinky 连接Flink推送任务local class incompatible: stream classdesc serialVersionUID = -61472550461454874

Dinky推送成功，Flink日志异常2022-09-2314:37:39org.apache.flink.streaming.runtime.tasks.StreamTaskException:Cannotinstantiateuserfunction.atorg.apache.flink.streaming.api.graph.StreamConfig.getStreamOperatorFac
红歌之行·2023-07-14 07:41

flink 开发平台Dinky 构建 Flink CDC 整库入仓入湖

原文：http://www.senlt.cn/article/866753893.html摘要：本文介绍了如何使用Dinky实时计算平台构建FlinkCDC整库入仓入湖。
javastart·2023-07-14 07:40

dinky安装问题

2、dinky0.7.0集成flink1.16.0并连接kafka源1、删除dinky目录下plugins所有包。
山顶看数据·2023-07-14 07:10

开源共建 | Dinky 扩展批流统一数据集成框架 ChunJun 的实践分享

一、前言ChunJun（原FlinkX）是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如binlog，Kafka
袋鼠云数栈·2023-07-14 07:38

基于 Dinky + FlinkSQL + Flink CDC 同步 MySQL 数据到 Elasticsearch、Kafka

一、概述Dinky是一个开箱即用的一站式实时计算平台以ApacheFlink为基础，连接OLAP和数据湖等众多框架致力于流批一体和湖仓一体的建设与实践。本文以此为FlinkSQL可视化工具。
拉裤兜兜子·2023-07-14 07:07

dinky+flink+doris实时架构全流程demo

一、版本doris：doris-1.2.3-rc02flink：flink1.4.6dinky：0.7.2jdk：1.8.0_191mysql：5.7二、安装doris官网下载地址：https://archive.apache.org
BarryAllenx·2023-07-14 07:34

Flink 系列三 Flink 实战

目录编辑前言1、安装flink环境2、在idea中创建flink的第一个demo2.1、执行如下maven命令2.2、填写'groupId'、'artifactId'、'version'、'package
阳仔的屁仔·2023-07-14 04:07

[Flink]wordcount

一、有界流1、代码packagewc;importorg.apache.flink.api.common.functions.FlatMapFunction;importorg.apache.flink.api.java.functions.KeySelector
胖胖学编程·2023-07-14 04:01

1.13.Flink理论_Flink部署（四）命令行提交Job

image.pngimage.pngimage.pngimage.png查看最近取消的是哪个任务image.png占用的slot和最大的并行度有关
bigdata张凯翔·2023-07-14 02:08

Flink的windows窗口介绍与API使用

在Flink中，有一个重要的概念，就是窗口，我也常用到，这里记录一下用法以及一些概念。本文依据最新版Flink1.16.1版本来说明。
蜗牛@漫步·2023-07-14 00:17

Flink API分层

Flink的API基本可分为三层：FlinkSQL/TableFlinkDataStream/DataSetFlink有状态底层处理API越是高级API，代码越是简洁，但灵活性会相对的减少，反之同理。
蜗牛@漫步·2023-07-14 00:16

flink 读取resource配置返回null

问题以下代码在本机可以,docker环境下跑不行测试服务器表现为无法正常读取资源文件,返回的是null解决分析,服务器多线程环境,需要获取当前线程的ClassLoaderpublicstaticPropertiesgetPom(){Propertiespom=newProperties();try{//获取当前线程的ClassLoaderClassLoaderclassLoader=Thread.
pardon110·2023-07-13 23:56

Flink实时任务性能调优

前言通常我们在开发完Flink任务提交运行后，需要对任务的参数进行一些调整，通常需要调整的情况是任务消费速度跟不上数据写入速度，从而导致实时任务出现反压、内存GC频繁（FullGC）频繁、内存溢出导致TaskManager
王义凯_Rick·2023-07-13 17:25

Flink HA方案介绍

1.FlinkHA方案介绍每个Flink集群只有单个JobManager，存在单点失败的情况。
Hello.Reader·2023-07-13 16:19

Flink基本原理剖析讲解

1.Flink简介Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。
Hello.Reader·2023-07-13 16:48

flink-conf.yaml的参数

参数⚫jobmanager.memory.process.size：对JobManager进程可使用到的全部内存进行配置，包括JVM元空间和其他开销，默认为1600M，可以根据集群规模进行适当调整。⚫taskmanager.memory.process.size：对TaskManager进程可使用到的全部内存进行配置，包括JVM元空间和其他开销，默认为1600M，可以根据集群规模进行适当调整。⚫t
贾斯汀玛尔斯·2023-07-13 16:46

FlinkCDC第四部分-同步mysql到mysql，ctrl就完事~（flink版本1.17.1）

注：此版本支持火焰图Flink版本：1.17.1环境：LinuxCentOS7.0、jdk1.8基础文件：flink-1.17.1-bin-scala_2.12.tgz、flink-connector-jdbc
草莓不苦·2023-07-13 16:11

Flink的状态是否支持任务间共享

原理追踪：首先对于flink来说，对于算子的每个并行任务，每个任务也就是每个task都有存储有一份自己的状态，也就是Fl
lixia0417mul2·2023-07-13 16:05

Flink基于信用值的流量控制

背景flink内部实现了一个类似于tcp滑动窗口概念的流量控制功能，以满足其内部的流量控制功能，本文就来讲解下flink实现的基于信用值的流量控制的原理实现原理首先，我们先来看一下在flink中是如何实现数据传输的
lixia0417mul2·2023-07-13 16:05

Flink使用总结

本文主要是为Flink的java客户端使用和flink-sql使用的大致介绍，具体使用查看文档页面。
csdncjh·2023-07-13 16:00

Flink DataStream之Union合并流

新建类packagetest01;importjdk.nashorn.internal.runtime.regexp.joni.Config;importorg.apache.flink.api.java.ExecutionEnvironment
QYHuiiQ·2023-07-13 16:55

Flink DataStream之Connect合并流

新建类packagetest01;importorg.apache.flink.configuration.Configuration;importorg.apache.flink.streaming.api.datastream.ConnectedStreams
QYHuiiQ·2023-07-13 16:55

Flink DataStream之输出数据到File中

新建类packagetest01;importorg.apache.flink.api.common.serialization.SimpleStringEncoder;importorg.apache.flink.configuration.Configuration
QYHuiiQ·2023-07-13 16:55

Flink DataStream之使用filter实现分流

新建类packagetest01;importorg.apache.flink.api.common.JobExecutionResult;importorg.apache.flink.configuration.Configuration
QYHuiiQ·2023-07-13 16:55

Flink TaskSlot，算子链和并行度

FlinkTaskSlot，算子链和并行度(108条消息)FlinkTaskSlot与并行度_flinkslot和并行度的关系_保护我方胖虎的博客-CSDN博客
Zyy~·2023-07-13 16:17
上一页 95 96 97 98 99 100 101 102 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他