大数据框架flink

Flink在ubuntu环境下的集群部署

下载Flink安装包下载flinkhttps://mirror.bit.edu.cn/apache/flink/flink-1.11.2/flink-1.11.2-bin-scala_2.12.tgz#
封闭火车·2023-11-03 03:49

ubuntu启用本地Flink集群

1：安装ubuntu，安装方式安装方式2：在Oracle官网下载flink-1.10.1-bin-scala_2.12.tgz3：找到你安装的linux系统的文件地址，在rootfs下有很多文件，把flink
asdfwxy·2023-11-03 03:48

Ubuntu环境下配置Flink

注：操作系统为Ubuntu20.04.6；Java版本为8；Flink版本为Flink1.16.2。1本地启动配置1.1JAVA环境配置输入javac可查看安装提示信息。
White_Ink_·2023-11-03 03:18

Ubuntu部署flink及简单使用

1下载1.0基础环境Ubuntu18.04Java1.8.0_191Scala2.12.91.2下载flink传送门:https://flink.apache.org/downloads.html选择与
天然玩家·2023-11-03 03:18

ubuntu部署flink集群 ，运行wordcount 例子

说明：事先完成了以下的准备工作：ubuntu16安装了hadoop集群（完全分布式）hadoop集群有5个节点：hadoop1~hadoop6（没有hadoop2）每个节点都安装了flink-1.12.0
Sonder_s·2023-11-03 03:47

flink的安装与使用（ubuntu）

组件版本虚拟机：ubuntu-20.04.6-live-server-amd64.isoflink：flink-1.18.0-bin-scala_2.12.tgzjdk：jdk-8u291-linux-x64
学吧太深了·2023-11-03 03:47

绝对实用-Docker单节点和跨服务搭建CDH6.3.2集群

本制作安装的全部流程，在虚拟机，阿里云，腾讯云上都可实践制作部署，使用的版本情况：CentOS7，CDH6.3，Flink1.10，MySQL5.7，JDK1.8等。根据Dock
secretWHD·2023-11-03 03:08

0基础学习PyFlink——使用datagen生成流式数据

大纲可控参数字段级规则生成方式数值控制时间戳控制表级规则生成速度生成总量结构生成环境定义行结构定义表信息案例随机Int型顺序Int型随机型Int数组带时间戳的多列数据完整代码参考资料在研究Flink的水印
breaksoftware·2023-11-03 00:34

1、Flink基础概念

1、基础知识（1）、数据流上的有状态计算（2）、框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。（3）、事件驱动型应用，有数据流就进行处理，无数据流就不进行处理，就像挤牙膏一样。（4）、无界数据流&&有界数据流：其中，无界数据流就相当于水龙头，流的开始就是打开水龙头，但原则上，只要不关闭水龙头，水就会一直流下去，所以没有定义流的结束。有界数据流，相当于给一个水桶中装满水，水桶底部存在一
弦之森·2023-11-02 20:12

如何使用 Apache Flink 查询 Pulsar 流

原作者:SijieGuo、MarkosSfikas翻译：StreamNative-Sijia在之前的博客中，我们介绍了ApachePulsar及其与其他消息系统的不同之处，并讲解了如何融合Pulsar和Flink
StreamNative·2023-11-02 18:40

Pytorch基础代码实战系列之定义一个简单的卷积神经网络

深度学习框架Pytroch系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-02 14:52

【Apache Flink】Flink DataStream API的基本使用

FlinkDataStreamAPI的基本使用文章目录前言1.基本使用方法2.核心示例代码3.完成工程代码pom.xmlWordCountExample测试验证4.Stream执行环境5.参考文档前言FlinkDataStreamAPI
冰点.·2023-11-02 13:29

邮件发送报No appropriate protocol (protocol is disabled or cipher suites are inappropriate)

现象邮件发送开启ssl加密后，对于普通的springboot服务，可以正常发送，但是在flink里面写的业务逻辑报Noappropriateprotocol(protocolisdisabledorciphersuitesareinappropriate
未来的资深Java架构师·2023-11-02 13:41

Flink源码阅读（13）--- Flink 不同版本新特性整理

一.Flink1.9新特性总的变更：https://issues.apache.org/jira/secure/ReleaseNote.jspa?
sj_91d7·2023-11-02 05:39

FlinkSQL 整合 Hive

FlinkSQL整合Hive介绍Flink从1.9开始支持集成Hive，不过1.9版本为beta版，不推荐在生产环境中使用。
关掉别看了，再学就秃啦！·2023-11-02 00:28

Flink SQL整合Hive

FlinkSQL整合Hive1、将整合需要的jar上传到flink的lib目录flink-sql-connector-hive-1.2.2_2.11-1.11.0.jarhive-exec-1.2.1.
小谢不缺女朋友·2023-11-02 00:57

FlinkCDC系列：数据同步对部分字段的处理，只更新部分字段

在flinkCDC源数据配置中，只对表中的部分字段关注，通过监控部分字段进行数据更新或者不更新，对数据进行同步。
ITZHIHONH·2023-11-01 23:45

Flink1.18新特性生产环境应用的重点解读！

Flink1.18已经于近期发布了。在这个新版本中新增了很多新的功能和特性。在这些特性中，有一些是生产环境非常重要的能力，大家在使用过程中可以重点参考和了解其中的原理。
王知无(import_bigdata)·2023-11-01 23:40

【flink】flink获取-D参数方式

参考官网一、idea本地运行使用Flink官方的ParameterTool或者其他工具都可以。
lisacumt·2023-11-01 23:35

linux 上flink单机安装详解

目录一准备安装包二解压三配置环境变量四验证是否部署成功一准备安装包官网地址：Downloads|ApacheFlink百度网盘资源：链接:https://pan.baidu.com/s/15aXmF3JLxnOlPiDxId637Q
超爱慢·2023-11-01 23:34

Flink SQL Hive Connector使用场景

目录1.介绍2.使用2.1注册HiveCatalog2.2HiveRead2.2.1流读关键配置2.2.2示例
数据与后端架构提升之路·2023-11-01 23:25

通过apache seatunnel将mysql数据和hive同步

Flink集群部署安装Standalone模式部署Flink安装部署需要准备3台Linux机器。具体要求如下：系统环境为CentOS7.5版本。安装Java8（略）。
贾斯汀玛尔斯·2023-11-01 21:51

Flink Table API 和 SQL 需要引入的依赖

记下来后续使用先把需要的依赖贴上：org.apache.flinkflink-table-api-scala-bridge_2.11${flink.version}org.apache.flinkflink-table-api-java-bridge
hankl1990·2023-11-01 18:52

Apache Doris 整合 FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询

1.概览这篇教程将展示如何使用FlinkCDC+Iceberg+Doris构建实时湖仓一体的联邦查询分析，Doris1.1版本提供了Iceberg的支持，本文主要展示Doris和Iceberg怎么使用，
hf200012·2023-11-01 18:45

Flink WC 案例

一、pom.xmlorg.apache.flinkflink-scala_2.11${flink.version}org.apache.flinkflink-streaming-scala_2.11${
喵星人ZC·2023-11-01 17:14

Flink：job报错NoResourceAvailableException: Could not acquire the minimum required resources

flink报错NoResourceAvailableException:Couldnotacquiretheminimumrequiredresources意思是:没有可以使用的资源。。
蓝奕世·2023-11-01 15:45

一文教你快速上手PyFlink

简介：本文介绍了PyFlink项目的目标和发展历程，以及PyFlink目前的核心功能，包括PythonTableAPI、PythonUDF、向量化PythonUDF、PythonUDFMetrics、PyFlink
阿里开发者·2023-11-01 07:11

0基础学习PyFlink——时间滚动窗口(Tumbling Time Windows)

大纲mapreduce完整代码参考资料在《0基础学习PyFlink——个数滚动窗口(TumblingCountWindows)》一文中，我们发现如果窗口内元素个数没有达到窗口大小时，计算个数的函数是不会被调用的
breaksoftware·2023-11-01 05:39

技术解析｜Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once精准接入

本篇文档将演示如何使用ApacheDorisFlinkConnector结合FlinkCDC以及DorisStreamLoad的两阶段提交，实现MySQL数据库分库分表实时高效接入，并实现ExactlyOnce
Apache Flink·2023-10-31 20:03

进击的 Flink：网易云音乐实时数仓建设实践

作者|汪磊（网易云音乐/数据平台开发专家）整理|杨涛（Flink社区志愿者）如何基于Flink的新API升级实时数仓架构？
Apache Flink·2023-10-31 20:03

生态扩展：Flink Doris Connector

生态扩展：FlinkDorisConnector官网地址：https://doris.apache.org/zh-CN/docs/dev/ecosystem/flink-doris-connectorflink
墨卿风竹·2023-10-31 20:56

大数据实时（2）-BK的FLink实时数仓实践

18年Flink不太成熟，使用Sparkstreaming属于正常的选择范畴，同时，构建了任务调度平台+SQL开发平台，降低开发难度，提升开发效率，是一个不错的选择。
天天沐沐·2023-10-31 16:08

Java修仙传之Flink篇

大道三千:最近我修Flink目前个人理解：处理有界，无界流的工具FLINK：FLINK定义：Flink特点Flink分层API流的定义有界数据流（批处理）：有界流：数据结束了，程序也就结束了知道数据开始以及结束的地方无界数据流
一键三联啊·2023-10-31 13:44

210.Flink（五）：Flink的sql-client，流处理中的表，表的crud，kafka、file、mysql的connect读写，savepoint，catalog，代码中实现

目录一、sql-client准备1.基于yarn-session模式2.常用配置二、流处理中的表1.动态表（DynamicTables）2.持续查询（ContinuousQuery）3.将流转换成动态表4.用SQL持续查询（1）更新（Update）查询（2）追加（Append）查询5.将动态表转换为流（1）仅追加（Append-only）流（2）撤回（Retract）流（3）更新插入（Upsert
鹏哥哥啊Aaaa·2023-10-31 07:22

07-flink UI 介绍

只介绍yarn模式下一、在yarn的ResourceManager界面查看执行情况yarnyarn-02二、点击ApplicationMaster跳转FlinkUIflink-uiRunningJobsmetricscheckpointtaskManagerJobManager
比格肖·2023-10-31 05:38

Apache Flink 在国有大型银行智能运营场景下的应用

▼关注「ApacheFlink」，获取更多技术干货▼摘要：现代的应用大都以前后端分离的模式开发，在建设银行新一代系统中每笔交易对应三条消息报文：前端的埋点信息，发送的HTTP请求，返回的HTTP响应。
Apache Flink·2023-10-31 02:58

flink 反压原理

背景在flink中由于数据倾斜或者数据处理速率的不匹配，很容易引起反压，本文就看一下flink反压的原理flink反压原理flink全流程pineline的反压实现其实依赖于TaskManager之间的反压和
lixia0417mul2·2023-10-30 23:15

flink常用的几种调优手段的优缺点

背景:不管是基于减少反压还是基于减少端到端的延迟的目的，我们有时候都需要对flink进行调优，本文就整理下几种常见的调优手段以及他们的优缺点flink调优手段1.使用事件时间EventTime模式时，可以设置水位线发送的时间间隔
lixia0417mul2·2023-10-30 23:15

识别flink的反压源头

背景flink中最常见的问题就是反压，这种情况下我们要正确的识别导致反压的真正的源头，本文就简单看下如何正确识别反压的源头反压的源头首先我们必须意识到现实中轻微的反压是没有必要去优化的，因为这种情况下是由于偶尔的流量峰值
lixia0417mul2·2023-10-30 23:10

Checkpoint复杂流程

下图左侧是CheckpointCoordinator，是整个Checkpoint的发起者，中间是由两个source，一个sink组成的Flink作业，最右侧的是持久化存储，在大部分用户场景中对应HDFS
bigdata张凯翔·2023-10-30 19:57

2.flink编码第一步(maven工程创建)

概述万里第一步，要进行flink代码开发，第一步先整个flink代码工程flink相关文章链接flink官方文档两种方式一种命令行mvn创建，另一种直接在idea中创建一个工程，使用mvn的一些配置mvn
流月up·2023-10-30 13:48

java flink使用addSink方法保存流数据到redis

博主把核心的内容写在最前面，其他内容和完整的代码放在最后面哈：文章目录pom配置主要代码其他内容：MyData2类，与生成数据源的类MyDataSource2pom配置redis.clientsjedis3.0.1主要代码create_data.MyData2与create_data.MyDataSource2;在后面哈packagewrite_to_redis;importcreate_data
呆萌的代Ma·2023-10-30 10:57

【Flink】Source 源算子 『fromCollection() | readTextFile() | socketTextStream | addSource() | Flink流支持的数据』

文章目录1.Flink直接连接的数据源1.1从集合中读取数据(用于有界流数据的测试场景)1.2.从文件读取数据（用于有界流数据的实际场景）1.3从Socket读取数据(用于无界流数据的测试场景)2.Flink
ElegantCodingWH·2023-10-30 10:25

Flink - Sink

Flink-Sink在说sink前，我们提一句flink数据传输重分区，也是DataStream内所拥有方法。shuffle：设置DataStream的分区，以便输出元素随机地均匀地移至下一个操作。
腹黑客·2023-10-30 10:23

flink之startNewChain、disableChaining、slotSharingGroup

一、基本概念图1图二1.task：一个task可以看成是一条完整的算子连（source->sink），在默认情况下，且线程够用的情况下，一个task运行在一个slot里面；2.subtask：task的组成单位，一个subtask由一个线程来运行；3.operatorchain：subtask中的算子连成链；4.形成subtask的规则：①当数据发生重定向时例如KeyBy操作。②当程序算子并行度发
客舟听雨2·2023-10-30 10:52

Flink读数据 addSource

1.首先创建数据源Flink生成数据源2.消费数据源packagecom.claroja;importorg.apache.flink.streaming.api.datastream.DataStream
Claroja·2023-10-30 10:20

flink之addSource & fromSource 、addSink & SinkTo

这两组算子区别在于：addSource和addSink需要自己实现SourceFunction或者是SinkFunction，其中读取数据的逻辑，容错等都需要自己实现；fromSource和SinkTo，是flink
客舟听雨2·2023-10-30 10:45

从 Flink Forward Asia 2021，看 Flink 未来开启新篇章

律回春晖渐，万象始更新，这句诗用来形容2021年的大数据领域再合适不过，而Flink在2021年也开启了新的篇章。2022年1月8-9号，FlinkForwardAsia（FFA）线上峰会成功举行。
阿里云技术·2023-10-30 07:51

Flink问题总结

FlinkException:Failedtovalidateanyoftheconfigureddirectoriestomoniflink1.9关联hadoop配置需要上传flink-shaded-hadoop
勇者1108·2023-10-30 04:16

大数据-玩转数据-Flink -job报错NoResourceAvailableException: Could not acquire the minimum required resources

Flink测试单机模式遇到flink报错NoResourceAvailableException:Couldnotacquiretheminimumrequiredresources没有可以使用的资源。
人猿宇宙·2023-10-30 03:04
上一页 46 47 48 49 50 51 52 53 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他