大数据框架flink

集度汽车 Flink on native k8s 的应用与实践

摘要：本文整理自集度汽车数据部门实时方向负责人、ApacheFlinkContributor周磊&集度汽车数据开发专家顾云，在FFA2022行业案例专场的分享。
Apache Flink·2023-12-28 15:05

flink k8s 安装 问题合集

Flinkkubernetessession部署方案参照flink官方文档https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/
岁月不止·2023-12-28 15:05

flink-1.10 native-k8s (Beta)

注意：flink-1.10版本的native-k8s还是实验版本，相关配置或客户端可能在未来变更。
yuchuanchen·2023-12-28 15:05

Flink开发利器StreamX

背景Hadoop体系虽然在目前应用非常广泛，但架构繁琐、运维复杂度过高、版本升级困难，且由于部门原因，数据中台需求排期较长，我们急需探索敏捷性开发的数据平台模式。在目前云原生架构的普及和湖仓一体化的大背景下，我们已经确定了将Doris作为离线数据仓库，将TiDB(目前已经应用于生产)作为实时数据平台，同时因为Doris具有onMySQL的odbc能力，所以又可以对外部数据库资源进行整合，统一对外输
Apache StreamPark·2023-12-28 15:34

一次在K8s上运行Flink的实录

本文先介绍一下K8s的ConfigMap资源和Ingress的基本概念,然后讲一下如何在K8s上部署Flink,最后看一下Flink的Operator又是怎么编写的ConfigMap问题背景:生产环境可能需要多个
小凯Alex·2023-12-28 15:04

【flink配置系列】FLink配置大全

FLink配置文章目录FLink配置配置基本设置常见设置选项主机和端口容错可重试的清理检查点和状态后端高可用性内存配置杂项选项安全性SSL与外部系统进行身份验证资源编排框架YARNKubernetesStateBackendsRocksDBStateBackendMetricsRocksDB
BigDataMLApplication·2023-12-28 15:03

flink on k8s(Flink1.15.0 on Native Kubernetes)

实验环境macOSx86-64minikube准备工作安装minikube下载安装curl-LOhttps://storage.googleapis.com/minikube/releases/latest/minikube-darwin-amd64sudoinstallminikube-darwin-amd64/usr/local/bin/minikubeminikubestart--drive
小迷糊同学·2023-12-28 15:33

Flink1.17实战教程（第七篇：Flink SQL）

系列文章目录Flink1.17实战教程（第一篇：概念、部署、架构）Flink1.17实战教程（第二篇：DataStreamAPI）Flink1.17实战教程（第三篇：时间和窗口）Flink1.17实战教程
阿moments·2023-12-28 15:01

flink1.13报错：The file STDOUT does not exist on the TaskExecutor

1.执行环境flink1.13jdk82.日志内容2022-08-2917:28:35.789[main]INFOorg.apache.flink.configuration.GlobalConfiguration
海若[MATRIX]·2023-12-28 15:01

Flink on K8s 企业生产化实践

背景为了解决公司模型&特征迭代的系统性问题，提升算法开发与迭代效率，部门立项了特征平台项目。特征平台旨在解决数据存储分散、口径重复、提取复杂、链路过长等问题，在大数据与算法间架起科学桥梁，提供强有力的样本及特征数据支撑。平台从Hive、Hbase、关系型数据库等大数据ODS(OperationalDatastore)层进行快速的数据ETL，将数据抽取到特征平台进行管理，并统一了数据出口，供数据科学
house.zhang·2023-12-28 15:00

PyFlink on K8s 部署实践

PyFlinkonK8s部署模式1.1Flink的部署模式https://blog.csdn.net/yunxiao6/article/details/1087052441.2PyFlinkonK8sStandalone
bao_since·2023-12-28 15:28

使用streampark进行flink on k8s LoadBalancer配置域名访问flink ui

在使用yarn部署flink任务时，yarn自动代理了flinkwebui，通过yarn的地址即可访问任务web页面。
Java小田·2023-12-28 14:26

Hadoop：Flink on Yarn服务配置与设置

之前打算直接在ambari上安装配置flink服务方便管理，但是发现ambari集成的flink会出现很多问题反而不方便管理（可能是没找到正确的方法），于是打算单独配置服务下载两个文件文件flink-1.10.1
william_cheng666·2023-12-28 13:14

Apache Flink 1.14.4 on yarn ha环境搭建

Flink支持多种安装模式Local—本地单机模式，学习测试时使用Standalone—独立集群模式，Flink自带集群，开发测试环境使用StandaloneHA—独立集群高可用模式，Flink自带集群
一位搬砖工·2023-12-28 13:14

flink的onYarn模式环境搭建

一.onYarn模式把资源管理器交给yarn模式进行管理1.两种运行模式1）session-cluster模式session：会话，开辟一块新的公共的空间先启动集群，直接向yarn申请空间，资源（session）保持不变，这个集群会常驻在yarn的集群中，不需要时进行手动停止，job任务可以向这个session提交，所有任务共享这个session，如果资源用完，需要等待之间的任务执行完毕释放资源才
奶糖~·2023-12-28 13:14

Apache Flink连载（五）：Apache Flink快速入门 - 环境准备及入门案例

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-12-28 13:43

Apache Flink连载（十七）：Flink On Standalone任务提交-Standalone Application模式

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-12-28 13:43

Apache Flink连载（十九）：Flink On Yarn运行-Yarn Session模式

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.任务提交命令2.任务提交流程1.任务提交命令
IT贫道·2023-12-28 13:43

org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster.

在cdh集群上，通过如下命令，提交flink任务到yarn集群中：flinkrun-myarn-cluster-d-ynmmy_flink_jobxxx.jar报错，信息如下：org.apache.flink.client.program.ProgramInvocationException
赶路人儿·2023-12-28 13:42

Flink1.8 on yarn 环境搭建及使用

一、下载flink包官网下载flink-1.8.1-bin-scala_2.11.tgz，然后解压下载地址https://flink.apache.org/downloads.html或https://
magic_kid_2010·2023-12-28 13:42

Flink on Yarn实战

使用方式：flink的安装包解压之后，即可直接使用，而不需要额外的配置。
fancyChuan·2023-12-28 13:11

Apache Flink连载（十八）：Flink On Yarn运行原理及环境准备

博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.FlinkOnYarn运行原理2.代码及Yarn环境准备
IT贫道·2023-12-28 13:40

hadoop hive spark flink 安装

下载地址Indexof/distubuntu安装hadoop集群准备IP地址主机名称192.168.1.21node1192.168.1.22node2192.168.1.23node3上传hadoop-3.3.5.tar.gz、jdk-8u391-linux-x64.tar.gzJDK环境node1、node2、node3三个节点解压tar-zxvfjdk-8u391-linux-x64.tar
nsa65223·2023-12-28 11:59

Flink--DataSink学习

基于flink-1.8.1概述flink流式计算中需要经计算的结果进行输出（可以是msyql/hbase/ES等常见的DB或者filesystem，也可以是钉钉/邮件/短信等通知类信息），官网上成为connector
李小李的路·2023-12-28 09:36

Flink on K8S生产集群使用StreamPark管理

（一）直接部署（手动测试用，不推荐）FlinkonNativeKubernetes目前支持Application模式和Session模式，两者对比Application模式部署规避了Session模式的资源隔离问题
tuoluzhe8521·2023-12-28 02:38

【知乎大数据技术】用Flink取代Spark Streaming！知乎实时数仓架构演进

“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实践以及架构的演进，这包
yoku酱·2023-12-27 19:34

基于 Flink CDC 实现海量数据的实时同步和转换

摘要：本文整理自ApacheFlinkCommitter，FlinkCDCMaintainer，阿里巴巴高级开发工程师徐榜江（雪尽）在5月21日FlinkCDCMeetup的演讲。
Apache Flink·2023-12-27 16:51

深入解读 Flink CDC 增量快照框架

导读：随着大数据的迅猛发展，企业越来越重视数据的价值，数据采集工具也在不断改进，实时采集工具也在由长链路向短链路发展，今天和大家分享一下FlinkCDC技术。
学而知之@·2023-12-27 16:20

Flink Has Become the De-facto Standard of Streaming Compute

摘要：本文整理自ApacheFlink中文社区发起人、阿里巴巴开源大数据平台负责人王峰（莫问），在FlinkForwardAsia2023主会场的分享。
Apache Flink·2023-12-27 16:20

实战Java springboot 采用Flink CDC操作SQL Server数据库获取增量变更数据

ApplicationContextUtil7、自定义sink交由spring管理，处理变更数据前言：我的场景是从SQLServer数据库获取指定表的增量数据，查询了很多获取增量数据的方案，最终选择了Flink
arden.WANG·2023-12-27 16:50

Flink CDC介绍及原理

CDC(ChangeDataCapture)是一种用于捕捉数据库变更数据的技术，Flink从1.11版本开始原生支持CDC数据（changelog）的处理，目前已经是非常成熟的变更数据处理方案。
大大大大肉包·2023-12-27 16:49

深入解析 Flink CDC 增量快照读取机制

一、Flink-CDC1.x痛点FlinkCDC1.x使用Debezium引擎集成来实现数据采集，支持全量加增量模式，确保数据的一致性。
Light Gao·2023-12-27 16:47

Flink实时电商数仓之Doris框架（七）

Doris框架大规模并行处理的分析型数据库产品。使用场景：一般先将原始数据经过清洗过滤转换后，再导入doris中使用。主要实现的功能有：实时看板面向企业内部分析师和管理者的报表面向用户或者客户的高并发报表分析即席查询统一数仓构建：替换了原来由Spark,Hive，Kudu,Hbase等旧框架数据湖联邦查询：通过外表的方式联邦分析位于Hive，IceBerg,Hudi中的数据Doris架构后端：C语
十七✧ᐦ̤·2023-12-27 16:47

Flink 输出至 Redis

【1】引入第三方Bahir提供的Flink-redis相关依赖包org.apache.bahirflink-connector-redis_2.111.0【2】Flink连接Redis并输出Sink处理结果
程序猿进阶·2023-12-27 14:16

Flink CDC 原理、实践和优化

本文基于腾讯云Oceanus提供的FlinkCDC引擎，着重介绍Flink在变更数据捕获技术中的应用。一、CDC是什么？
坨坨的大数据·2023-12-27 14:33

Flink on K8S集群搭建及StreamPark平台安装

1.环境准备1.1介绍在使用Flink&Spark时发现从编程模型,启动配置到运维管理都有很多可以抽象共用的地方,目前streampark提供了一个flink一站式的流处理作业开发管理平台,从流处理作业开发到上线全生命周期都做了支持
tuoluzhe8521·2023-12-27 10:45

FlinkCDC从Mongodb同步数据至elasticsearch（ES) 新版

FlinkCDC从Mongodb同步数据至elasticsearch（ES）一、DataStreamingAPI方式pom.xml二、主程序-配置三、主程序四、其他问题一、DataStreamingAPI
tuoluzhe8521·2023-12-27 10:14

datax 同步mongodb数据库到hive(hdfs)和elasticserch（es)

（有点老了，后来发现flinkcdc都只能监控一张表，多张表无法监控）2.datax版本：自己编译的DataX-datax_v2022103.hdfs版本：3.1.34.hive版本：3.1.2二、同步思路
tuoluzhe8521·2023-12-27 10:14

五分钟，Docker安装flink，并使用flinksql消费kafka数据

1、拉取flink镜像，创建网络dockerpullflinkdockernetworkcreateflink-network2、创建jobmanager#创建JobManagerdockerrun\-
刘金宝_Arvin·2023-12-27 10:52

删除azkaban的执行历史

azkaban通常用在大数据任务调度场景，把任务提交之后，如果任务是spark，hive，hadoop，flink等任务的话，
飞有飞言·2023-12-27 07:09

Flink去重计数统计用户数

1.数据订单表，分别是店铺id、用户id和支付金额"店铺id,用户id,支付金额","shop-1,user-1,1","shop-1,user-2,1","shop-1,user-2,1","shop-1,user-3,1","shop-1,user-3,1","shop-1,user-1,1","shop-1,user-2,1","shop-1,user-4,1","shop-2,user-4
不爱吃鱼的馋猫·2023-12-27 06:28

Flink-1.17集群部署

1、部署1.1、修改flink-conf.yaml1.1.1、flink-17jobmanager.rpc.address:boshi-122jobmanager.rpc.port:6123#设置jobmanager
docsz·2023-12-27 03:05

Flink1.13 Checkpoint原理

介绍Flink具体如何保证exactly-once呢?它使用一种被称为"检查点"（checkpoint）的特性，在出现故障时将系统重置回正确状态。下面通过简单的类比来解释检查点的作用。
万事万物·2023-12-26 20:23

从零开始学Flume：这个大数据框架学习网站让你快速上手！

介绍：Flume是一个分布式、高可用、高可靠的海量日志采集、聚合和传输的系统，最初Flume是一个分布式、高可用、高可靠的海量日志采集、聚合和传输的系统，最初由Cloudera开发并现在广泛应用于数据采集流式处理。其设计目标是支持从各种数据源收集数据，包括本地文件（spoolingdirectorysource）、实时日志（taildir、exec）、REST消息、Thift、Avro、Syslo
知识分享小能手·2023-12-26 20:42

掌握大数据框架ZooKeeper一站式学习网站，让你轻松入门！

介绍：ZooKeeper是一个开源的分布式协调服务，最初由雅虎创建，现在广泛应用于解决分布式系统中的数据同步、配置管理、命名服务等问题。它提供了一个树形结构的命名空间，类似于文件系统，允许用户在该命名空间中创建节点、读取节点数据、监视节点变化等操作。ZooKeeper的设计目标是为分布式应用提供可靠的、高性能的、易用的服务，包括维护配置信息，命名服务，提供分布式同步和集群服务。值得一提的是，Zoo
知识分享小能手·2023-12-26 20:42

大数据框架DolphinScheduler学习网站：让你的任务调度更高效！

介绍：ApacheDolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度开源系统ApacheDolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度开源系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。DolphinScheduler适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解
知识分享小能手·2023-12-26 20:12

从零开始学大数据框架Hudi，这些学习网站，助你一臂之力！

介绍：ApacheHudi是一个开源的流数据湖平台，由Uber开发并现在已经成为Apache的顶级项目。Hudi的设计使得您可以在Hadoop兼容的存储之上存储大量数据，并且它提供了两种原语，除了经典的批处理之外，还可以在数据湖上进行流处理。Hudi将核心仓库和数据库功能直接带到数据湖中，包括表、事务、高效的upserts/删除、高级索引、流式摄取服务、数据群集/压缩优化以及并发，同时保持数据以开
知识分享小能手·2023-12-26 20:39

优维产品最佳实践第20期：控制台全链路监控

之前我们会觉得cmdb自动发现没有上报很难排查，弄不清楚数据的上报链路；监控指标的数据断点很难定位，flink对现场来说是一个黑盒子；apm数据更新不及时到底是上报异常还是入库失败呢？
优维科技EasyOps·2023-12-26 18:53

Flink实战案例四部曲

Flink实战案例四部曲第一部曲:统计5分钟内用户修改创建删除文件的操作日志数量输入1001,delete1002,update1001,create1002,delte输出1001，21002，2代码如下
play_big_knife·2023-12-26 18:51

【Flink-Kafka-To-Mongo】使用 Flink 实现 Kafka 数据写入 Mongo（根据对应操作类型进行增、删、改操作，写入时对时间类型字段进行单独处理）

【Flink-Kafka-To-Mongo】使用Flink实现Kafka数据写入Mongo（根据对应操作类型进行增、删、改操作）1）导入依赖2）resources2.1.appconfig.yml2.2
bmyyyyyy·2023-12-26 17:15
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他