Flink流处理

flink 消费Kafka 空指针问题

flink消费Kafka空指针问题error：2021-12-0210:51:55,644WARNorg.apache.flink.runtime.taskmanager.Task[]-Source:CustomSource
青涩的芒果汁·2023-12-30 06:30

基于Rsyslog+Kafka+Flink+Clickhouse的高性能日志采集、分析、汇聚存储方法

在上一篇博文中介绍了简单的实用负载均衡与实时监控方案（tengine+rsyslog+goaccess），功能上是满足日常需要的。但是用户的需求是没有止境的，更何况我们做技术的都有一颗追求极致的心。在实际场景中客户需要了解平台整体UV、PV，各功能模块PV、UV，区域PV、UV，各手机型号、应用版本的使用情况，平台使用的趋势分析，功能模块的热度分析等指标。用户端精确埋点和基于Haddop的大数据采
IT 行者·2023-12-30 05:02

六路大功率MOS控制板

该控制板的核心是大功率MOS管，这种元件具有极高的电流处理能力和耐压能力，能够轻松驱动
芯航路IOT·2023-12-30 02:39

PiflowX组件-WriteToKafka

计算引擎flink有界性StreamingAppendMode组件分组kafka端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子kafka_hostKAFKA_HOST
暗影八度·2023-12-29 23:14

PiflowX组件-DataGen

具体可以查看Flink官方DataGenconnector。计算引擎flink有界性字段的数据全部生成完成后，source就结束了。因此，有界性取决于字段的有界性。
暗影八度·2023-12-29 23:14

flink generic log-based incremental checkpoints 设计

背景flink在1.15版本后开始提供genericlog-basedincrementalcheckpoints的检查点方案，目的在于减少checkpoint的耗时，尽量缩短端到端的数据处理延迟，本文就来看下这种新类型的
lixia0417mul2·2023-12-29 23:43

PiflowX大数据流水线系统

支持分布式计算引擎flink和spark。以所见即所得的方式，实现大数据采集、处理、存储与分析流程化配置、运行与智能监控。
暗影八度·2023-12-29 23:43

PiflowX组件-ReadFromKafka

计算引擎flink有界性Unbounded组件分组kafka端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子kafka_hostKAFKA_HOST“”
暗影八度·2023-12-29 23:13

flink中值得监控的几个指标

背景为了维持flink的正常运行，对flink的日常监控就变得很重要，本文我们就来看一下flink中要监控的几个重要的指标重要的监控指标1.算子的处理速度的指标：numRecordsInPerSecond
lixia0417mul2·2023-12-29 23:12

大数据HelloWorld-Flink实现WordCount

MR，Spark，Flink以来开篇第一个程序都是WordCount。那么今天Flink开始目标就是在本地调试出WordCount。[图片上传失败...
指尖数虫·2023-12-29 22:38

给linux(centos)操作系统设置主机名的几种方式

镜像下载、域名解析、时间同步请点击阿里云开源镜像站一、前言就是我们需要集群部署hadoop,Flink时，写ip地址太长了，然后大家想的就是能不能用比如：node1,node2,node3去代替IP地址
萌褚·2023-12-29 21:13

Flink实时电商数仓之DWS层

org.apache.dorisflink-doris-connector-1.17com.janeluoikanalyzer测试代码如下：publicclassIkUtil{publicsta
十七✧ᐦ̤·2023-12-29 17:19

【flink番外篇】9、Flink Table API 支持的操作示例（5）- 表的列操作

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-29 17:18

【flink番外篇】9、Flink Table API 支持的操作示例（4）- Table API 对表的查询、过滤操作

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-29 17:17

【flink番外篇】9、Flink Table API 支持的操作示例（1）-通过Table API和SQL创建表

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-29 17:47

【flink番外篇】9、Flink Table API 支持的操作示例（3）- 通过API查询表和使用窗口函数的查询

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-29 17:47

【flink番外篇】9、Flink Table API 支持的操作示例（2）- 通过Table API 和 SQL 创建视图

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-29 17:15

Flink Forward Asia 2023 主会场精彩回顾

2023年12月8日-9日，FlinkForwardAsia（FFA）峰会成功举行。FlinkForwardAsia是由Apache软件基金会官方授权、由阿里云承办的技术峰会。
Apache Flink·2023-12-29 12:05

flink的三个state backend的选择

flink的三个状态MemoryStateBackend默认，小状态，本地调试使用FsStateBackend大状态，长窗口，高可用场景RocksDBStateBackend超大状态，长窗口，高可用场景
gegeyanxin·2023-12-29 09:12

Flink消费pubsub问题

我看网上flink消费pubsub的资料并不多，最近跑通了，大家有问题的可以给我留言。
gegeyanxin·2023-12-29 09:41

SeaTunnel流处理同步MySQL数据至ClickHouse

ClickHouse是一种OLAP类型的列式数据库管理系统，ClickHouse完美的实现了OLAP和列式数据库的优势，因此在大数据量的分析处理应用中ClickHouse表现很优秀。SeaTunnel是一个分布式、高性能、易扩展、用于海量数据同步和转化的数据集成平台。用户只需要配置作业信息，就能完成数据的同步。提交作业后，源连接器负责并行读取数据并将数据发送到下游转换或直接发送到接收器，接收器将数
万山数据@yqj1987·2023-12-29 09:02

ElasticSearch 实现分词全文检索 - SpringBoot 完整实现 Demo

suggest)分词全文搜索所用的技术如下：ElasticSearchKibana管理界面IKAnalysis分词器SpringBoot实现流程可以通过Canal对MySQLbinlog进行数据同步，或者flink
手把手教你学Java·2023-12-29 08:18

kafka相关面试题及答案

Kafka是一个分布式流处理平台，由LinkedIn开发并于2011年开源，目前是Apache软件基金会的一个顶级项目。
爬山算法·2023-12-29 07:25

Kafka优异的性能是如何实现的？

ApacheKafka是一个分布式流处理平台，设计用来处理高吞吐量的数据。它被广泛用于构建实时数据管道和流式应用程序。
KevinAha·2023-12-29 07:49

FlinkSQL窗口实例分析

WindowingTVFsWindowingtable-valuedfunctions(WindowingTVFs)，即窗口表值函数注意：窗口函数不可以单独使用，需要聚合函数，按照window_start、window_end分区，即存在：groupbywindow_start,window_endTUMBLE函数采用三个必需参数，一个可选参数：TUMBLE(TABLEdata,DESCRIPTO
PONY LEE·2023-12-29 06:42

Flink项目系列1-项目介绍

一.电商的用户行为  电商平台中的用户行为频繁且较复杂，系统上线运行一段时间后，可以收集到大量的用户行为数据，进而利用大数据技术进行深入挖掘和分析，得到感兴趣的商业指标并增强对风险的控制。  电商用户行为数据多样，整体可以分为用户行为习惯数据和业务行为数据两大类。用户的行为习惯数据包括了用户的登录方式、上线的时间点及时长、点击和浏览页面、页面停留时间以及页面跳转等等，我们可以从中进行流量统计和热门
只是甲·2023-12-29 05:37

Hbase - 自定义Rowkey规则

>在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制`TableInputFormat`来实现我们的需求了，我们还可以采用Flink的`DataSet
kikiki5·2023-12-29 01:49

C++中的stringstream用法

目录stringstream介绍stringstream应用1.转换类型2.数据切分3.选择特定符号进行数据分割stringstream介绍在C++中，std::stringstream是一个用于字符串流处理的类
互联网的猫·2023-12-28 22:13

【大数据】Hudi HMS Catalog 完全使用指南

HudiHMSCatalog完全使用指南1.HudiHMSCatalog基本介绍2.在Flink中写入数据3.在FlinkSQL中查看数据4.在Spark中查看数据5.在Hive中查看数据1.HudiHMSCatalog
G皮T·2023-12-28 18:24

Next Station of Flink CDC

摘要：本文整理自阿里云智能FlinkSQL、FlinkCDC负责人伍翀（花名：云邪），在FlinkForwardAsia2023主会场的分享。
Apache Flink·2023-12-28 17:30

Actor模型与Akka Actor体系基础总结

前言最近用业余时间把Flink的RPC基础设施翻了个底朝天，又与之前分析过的SparkRPC机制做了一些对比，越发觉得Actor模型甚为精妙，值得简单记录一下，顺便也可作为日后解析FlinkRPC机制的基础入门
LittleMagic·2023-12-28 17:51

Flink项目实战篇 基于Flink的城市交通监控平台（下）

系列文章目录Flink项目实战篇基于Flink的城市交通监控平台（上）Flink项目实战篇基于Flink的城市交通监控平台（下）文章目录系列文章目录4.智能实时报警4.1实时套牌分析4.2实时危险驾驶分析
阿moments·2023-12-28 17:28

Flink1.17实战教程（第五篇：状态管理）

系列文章目录Flink1.17实战教程（第一篇：概念、部署、架构）Flink1.17实战教程（第二篇：DataStreamAPI）Flink1.17实战教程（第三篇：时间和窗口）Flink1.17实战教程
阿moments·2023-12-28 17:27

Flink1.17实战教程（第六篇：容错机制）

系列文章目录Flink1.17实战教程（第一篇：概念、部署、架构）Flink1.17实战教程（第二篇：DataStreamAPI）Flink1.17实战教程（第三篇：时间和窗口）Flink1.17实战教程
阿moments·2023-12-28 17:27

Flink1.17实战教程（第三篇：时间和窗口）

系列文章目录Flink1.17实战教程（第一篇：概念、部署、架构）Flink1.17实战教程（第二篇：DataStreamAPI）Flink1.17实战教程（第三篇：时间和窗口）Flink1.17实战教程
阿moments·2023-12-28 17:57

Flink1.17实战教程（第四篇：处理函数）

系列文章目录Flink1.17实战教程（第一篇：概念、部署、架构）Flink1.17实战教程（第二篇：DataStreamAPI）Flink1.17实战教程（第三篇：时间和窗口）Flink1.17实战教程
阿moments·2023-12-28 17:57

Flink项目实战篇 基于Flink的城市交通监控平台（上）

系列文章目录Flink项目实战篇基于Flink的城市交通监控平台（上）Flink项目实战篇基于Flink的城市交通监控平台（下）文章目录系列文章目录1.项目整体介绍1.1项目架构1.2项目数据流1.3项目主要模块
阿moments·2023-12-28 17:21

Dbeaver，Hudi，Hive，Spark，Presto应用问题及解决措施梳理

近期频繁在mysql源端数据通过底层位Flink的平台进行数据接入至Hudi，过程中出现了一些问题，也通过了其他办法进行解决，现将整个过程的思路进行总结，以供大家共同学习进步。
p1i2n3g4·2023-12-28 17:31

Flink导入StarRocks

1、pom依赖881.13.62.12org.apache.flinkflink-java${flink.version}org.apache.flinkflink-streaming-java_${scala.binary.version
docsz·2023-12-28 16:29

Flink 在有赞实时计算的实践

其次是在调研阶段我们为什么选择了Flink。在这个部分，主要是Flink与Spark的structuredstreaming的一些对比和选择Flink的原因。
有赞技术团队·2023-12-28 15:11

flink-1.11 native k8s 测试

flinkonk8s目前有两种模式：Kubernetes：用户通过定义flink的k8s资源描述文件，由kubectl命令启动，最终以standalonesessioncluster或standalonejobcluster
yuchuanchen·2023-12-28 15:35

集度汽车 Flink on native k8s 的应用与实践

摘要：本文整理自集度汽车数据部门实时方向负责人、ApacheFlinkContributor周磊&集度汽车数据开发专家顾云，在FFA2022行业案例专场的分享。
Apache Flink·2023-12-28 15:05

flink k8s 安装 问题合集

Flinkkubernetessession部署方案参照flink官方文档https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/
岁月不止·2023-12-28 15:05

flink-1.10 native-k8s (Beta)

注意：flink-1.10版本的native-k8s还是实验版本，相关配置或客户端可能在未来变更。
yuchuanchen·2023-12-28 15:05

Flink开发利器StreamX

背景Hadoop体系虽然在目前应用非常广泛，但架构繁琐、运维复杂度过高、版本升级困难，且由于部门原因，数据中台需求排期较长，我们急需探索敏捷性开发的数据平台模式。在目前云原生架构的普及和湖仓一体化的大背景下，我们已经确定了将Doris作为离线数据仓库，将TiDB(目前已经应用于生产)作为实时数据平台，同时因为Doris具有onMySQL的odbc能力，所以又可以对外部数据库资源进行整合，统一对外输
Apache StreamPark·2023-12-28 15:34

一次在K8s上运行Flink的实录

本文先介绍一下K8s的ConfigMap资源和Ingress的基本概念,然后讲一下如何在K8s上部署Flink,最后看一下Flink的Operator又是怎么编写的ConfigMap问题背景:生产环境可能需要多个
小凯Alex·2023-12-28 15:04

【flink配置系列】FLink配置大全

FLink配置文章目录FLink配置配置基本设置常见设置选项主机和端口容错可重试的清理检查点和状态后端高可用性内存配置杂项选项安全性SSL与外部系统进行身份验证资源编排框架YARNKubernetesStateBackendsRocksDBStateBackendMetricsRocksDB
BigDataMLApplication·2023-12-28 15:03

flink on k8s(Flink1.15.0 on Native Kubernetes)

实验环境macOSx86-64minikube准备工作安装minikube下载安装curl-LOhttps://storage.googleapis.com/minikube/releases/latest/minikube-darwin-amd64sudoinstallminikube-darwin-amd64/usr/local/bin/minikubeminikubestart--drive
小迷糊同学·2023-12-28 15:33

Flink1.17实战教程（第七篇：Flink SQL）

系列文章目录Flink1.17实战教程（第一篇：概念、部署、架构）Flink1.17实战教程（第二篇：DataStreamAPI）Flink1.17实战教程（第三篇：时间和窗口）Flink1.17实战教程
阿moments·2023-12-28 15:01

flink1.13报错：The file STDOUT does not exist on the TaskExecutor

1.执行环境flink1.13jdk82.日志内容2022-08-2917:28:35.789[main]INFOorg.apache.flink.configuration.GlobalConfiguration
海若[MATRIX]·2023-12-28 15:01
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他