大数据框架flink

SeaTunnel下载安装与使用

2.1SeaTunnel安装2.2SeaTunnel使用1SeaTunnel简介1.1SeaTunnel概述SeaTunnel是一个简单易用的数据集成框架，可运行于自身引擎或架构于ApacheSpark和ApacheFlink
你是光芒丶·2023-11-30 09:42

SeaTunnel 2.1.3 任务执行流程源码解析

通过我们努力让Spark、Flink的使用更简单、更高效，将行业的优质经验和我们对Spar、Flinkk的使用固化到产品SeaTunnel中，显着降低学习成本，加速分布式数据处理能力的部署
EdwardsWang丶·2023-11-30 09:57

Flink 源码周边之Maven Plugin

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言为了实现构建自动化，Flink项目使用了多种Maven插件，从而将构建过程各个步骤做成标准的、配置式流程。
AlienPaul·2023-11-30 07:40

Hadoop入门笔记

2006Cloudera内部集成了很多大数据框架，对应产品CDH。2008Hortonworks文档较好，对应产品HDP。2011Horton
阳宝宝的向日葵·2023-11-30 05:44

Flink-sql 计数窗口

1.Flink的计数窗口有两种1.1计数混动窗口packagecom.wudl.flink.sql;importcom.wudl.flink.bean.WaterSensor;importorg.apache.flink.api.common.functions.MapFunction
wudl5566·2023-11-30 04:18

Flink-shell

1.FlinkSQl客户端启动一个flink的集群可以使用flink独立集群，也可以使用yarn-session.sh1.启动Hadoop集群2.yarn-session.sh-d3.sql-client.sh1.1sql-client.sh-isql-client.sh-i
大学生爱编程·2023-11-30 04:46

Flink窗口-计数窗口（CountWindow）

文章目录Flink窗口-CountWindow使用（一）数量窗口的本质（二）数量窗口的使用（1）调用WindowAPI（2）Window触发时执行计算逻辑①匿名内部类方式②自定义WindowFunction③
保护我方胖虎·2023-11-30 04:15

Flink-时间窗口源码分析

Flink-时间窗口源码分析Flink系列文章更多Flink系列文章请点击Flink系列文章更多大数据文章请点击大数据好文推荐1时间窗口基本概念见Flink学习1-基础概念-时间窗口窗口生命周期：2滚动窗口
迷路剑客·2023-11-30 04:14

Flink - 窗口

就是将无限流切割为有限流的一种方式，它会将流数据分发到有限大小的桶（bucket）中进行分析时间窗口（TimeWindow）滚动时间窗口将数据依据固定的窗口长度对数据进行切分时间对齐，窗口长度固定，没有重叠滑动时间窗口会话窗口（只有Flink
javafanwk·2023-11-30 04:44

Flink-时间窗口

在流数据处理应用中，一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。时间语义1、处理时间（ProcessingTime）处理时间的概念非常简单，就是指执行处理操作的机器的系统时间。在这种时间语义下处理窗口非常简单粗暴，不需要各个节点之间进行协调同步，也不需要考虑数据在
open_test01·2023-11-30 04:13

flink1.8.2 on yarn 运行在jdk1.7环境上

要知道flink是建立在jdk1.8上面的，奈何集群环境的是1.7flink-conf.yaml追加三行env.java.home:/opt/jdk1.8.0_31containerized.master.env.JAVA_HOME
南修子·2023-11-30 02:25

Apache Flink——处理函数

前言在更底层，可以不定义任何具体的算子（比如map，filter，或者window），而只是提炼出一个统一的“处理”（process）操作——它是所有转换算子的一个概括性的表达，可以自定义处理逻辑，所以这一层接口就被叫作“处理函数”（processfunction）。在处理函数中，我们直面的就是数据流中最基本的元素：数据事件（event）、状态（state）以及时间（time）。这就相当于对流有了
小波同学·2023-11-29 23:14

Flink SQL实战演练之CSV Format

简介：实时业务中行为数据一般是以日志的形式收集的，日志的结构通常类似于nginxaccesslog，我们在接收到日志后，需要对数据结构进行解析，按照一定的schema存储到后续的存储系统中，接下来聊聊近期对点击数据的处理方式。前言CSVFormat允许我们基于CSVschema进行解析和生成CSV数据，然后再将健值对数据映射成map，查询时根据字段取出对应的值作为字段值，下面分不同的实现方式进行阐
Coder小咚·2023-11-29 22:19

flink AskTimeoutException异常

java.util.concurrent.CompletionException:akka.pattern.AskTimeoutException:Asktimedouton[Actor[akka.tcp://flink
Jackson_Tan·2023-11-29 22:48

flink源码分析之功能组件(三)-rpc组件

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics
中间件XL·2023-11-29 21:06

flink源码分析之功能组件(四)-slotpool组件II

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics
中间件XL·2023-11-29 21:06

flink源码分析之功能组件(四)-slotpool组件I

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics
中间件XL·2023-11-29 21:03

Cufflinks --转录组组装有参考基因组

一.简介Cufflinks下主要包含cufflinks,cuffmerge,cuffcompare和cuffdiff等几支主要的程序。主要用于基因表达量的计算和差异表达基因的寻找。
g863402758·2023-11-29 18:45

flink任务编程-java版-基础环境准备

flink是目前流处理方面快速发展的计算平台，在针对该平台的编程介绍不少，但是有很多坑并没有完全搞清，这里将以往的使用经验与大家分享，希望能够加速大家掌握和使用。
李征兵·2023-11-29 18:35

HBase初识之学生心得总结

c、HBase：理解为Hadoopbase--3.大数据框架：a、数据的存储：hdfs/hive/hbaseb、数据的传输：flume/sqoopc、数据的计算
程序员驴子酱·2023-11-29 15:33

Flink项目系列2-实时热门商品统计

一.项目剖析基本需求:统计近1小时内的热门商品，每5分钟更新一次热门度用浏览次数（“pv”）来衡量解决思路在所有用户行为数据中，过滤出浏览（“pv”）行为进行统计构建滑动窗口，窗口长度为1小时，滑动距离为5分钟image.png按照商品Id进行分区image.png设置时间窗口image.png时间窗口（timeWindow）区间为左闭右开同一份数据会被分发到不同的窗口image.png窗口聚合i
只是甲·2023-11-29 15:21

大数据开发：Flink容错机制Task Failover策略

在Flink的容错机制当中，作业执行层面的容错，有一个非常重要的策略，就是TaskFailover策略，这是针对于计算层面的最小执行层面，在大数据流计算场景下，Task错误非常常见。
成都加米谷大数据·2023-11-29 12:37

pytest系列——allure之集成缺陷管理系统和测试管理系统(@allure.link()、@allure.issue()、@allure.testcase()

三个装饰器源码deflink(url,link_type=LinkType.LINK,name=None):returnsafely(plugin_manager.hook.decorate_as_link
测试小婉·2023-11-29 09:39

Flink读取MongoDB中的数据

1.pom.xml添加相关依赖org.apache.flinkflink-hadoop-compatibility_2.111.6.0org.mongodb.mongo-hadoopmongo-hadoop-core2.0.02
fantasticMao·2023-11-29 08:01

HCIA-Big Data华为认证大数据工程师 习题册 含答案

大数据发展趋势与鲲鹏大数据2.HDFS分布式文件管理系统和ZooKeeper3.Hive分布式数据仓库4.HBase技术原理5.MapReduce和Yarn技术原理6.Spark基于内存的分布式计算7.Flink
k Chivalrous man·2023-11-29 08:16

Flink流批一体计算（21）：Flink SQL之Flink DDL

目录执行CREATE语句Python脚本Java代码SQL语句列定义物理/常规列元数据列计算列WATERMARKPRIMARYKEYPARTITIONEDBYASselect_statementFlinkSQL
victory0508·2023-11-29 07:50

Apache Flink（一）：Apache Flink是什么？

博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.Flink的定义2.Flink前身Stratosphere3.Flink发展时间线及重大变更在当前数据量激增的时代
IT贫道·2023-11-29 07:47

Flink Flink中的合流

一、Flink中的基本合流操作在实际应用中，我们经常会遇到来源不同的多条流，需要将它们的数据进行联合处理。所以Flink中合流的操作会更加普遍，对应的API也更加丰富。
文文鑫·2023-11-29 06:11

Flink-执行拓扑图与作业调度

算子与作业提交一、Flink执行模式1.流执行模式2.批执行模式二、Flink拓扑图1.基本概念2.拓扑图生成过程三、拓扑生成和优化1.应用程序2.逻辑视图3.算子链4.TaskSlots四、作业调度1
临江蓑笠翁·2023-11-29 06:38

Flink流批一体计算（22）：Flink SQL之单流kafka写入mysql

1.准备工作什么是Kafka源表Kafka是分布式、高吞吐、可扩展的消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域。docker部署zookeeperdockerpullwurstmeister/zookeeperdockerrun-d--restart=always\--log-driverjson-file\--log-optmax-size=100m\
victory0508·2023-11-29 06:08

修炼k8s+flink+hdfs+dlink（七：flinkcdc）

一：flinkcdc官网链接。
宇智波云·2023-11-29 05:34

Flink二阶段提交方式写入MySQL

项目中需要使用Flink消费Kafka中的数据，然后使用事务的方式写入到MySQL里面。
淡定一生2333·2023-11-29 04:28

Flink 之 mysql二阶段提交简述

1.2PC简介两阶段提交（two-phasecommit,2PC）是最基础的分布式一致性协议，应用广泛。在分布式系统中，为了让每个节点都能够感知到其他节点的事务执行状况，需要引入一个中心节点来统一处理所有节点的执行逻辑，这个中心节点叫做协调者（coordinator），被中心节点调度的其他业务节点叫做参与者（participant）。2PC。顾名思义，2PC将分布式事务分成了两个阶段，两个阶段分别
程序猿郭鹏飞神奇经历·2023-11-29 04:58

使用Kafka、Flink、Druid构建实时数据系统架构

但开源领域有一个解决方案：Kafka、Flink和Druid一起使用时，可以创建一个实时数据架构，减少这些等待时间。在这篇文章中，我们将探讨如何利用Kafka、Flink、Druid实现
guohuang·2023-11-28 23:51

Flink 配置详解及如何配置高可用？

在讲解7.2节中如何部署Flink作业之前，希望能够再细讲下Flink中的配置，虽然在2.2节中简单讲解过。
zhisheng_blog·2023-11-28 23:56

flink集群搭建TaskManagerRunner启动失败

但是就是启动失败并且启动时没有TaskManagerRunner节点启信息：下图为正常启动：有工作节点的启动信息，但是我启动时就遇到这个问题，没有工作节点的启动信息提示问题原因：scp拷贝到其余工作节点的flink
dogplays·2023-11-28 14:03

flink sql 知其所以然（十四）：维表 join 的性能优化之路（上）附源码

1.序篇废话不多说，咱们先直接上本文的目录和结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：背景及应用场景介绍：博主期望你能了解到，flinksql提供了轻松访问外部存储的lookupjoin
程序员的隐秘角落·2023-11-28 14:08

StarRocks从入门到精通系列六：使用EXPORT、Spark、Flink从StarRocks中导出数据

StarRocks从入门到精通系列六：使用EXPORT、Spark、Flink从StarRocks中导出数据一、使用EXPORT导出数据1.背景信息2.导出流程3.基本原理4.相关配置5.基本操作6.最佳实践二
最笨的羊羊·2023-11-28 11:38

京东：Flink SQL 优化实战

主要内容为：背景FlinkSQL的优化总结Tips：点击「阅读原文」报名参加8.7ApacheFlinkMeetup～GitHub地址欢迎大家给Flink点赞送star~一、背景目前，京东搜索推荐的数据处理流程如上图所示
Apache Flink·2023-11-28 09:00

Flink读取Kafka数据写入Hive

前言本文针对数据库CDC(changedatacapture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例可供参考。
另存為·2023-11-28 07:15

Apache Doris 整合 FLINK 、 Hudi 构建湖仓一体的联邦查询入门

1.概览多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。在之前的Doris版本中，用户数据只有两个层级：Database和Table。当我们需要连接一个外部数据目录时，我们只能在Database或Table层级进行对接。比如通过createexternaltable的方式创建一个外部数据目录中的表的映射，或通过crea
hf200012·2023-11-28 07:59

Flink入门（一）——Apache Flink介绍

fileApacheFlink是什么？在当代数据量激增的时代，各种业务场景都有大量的业务数据产生，对于这些不断产生的数据应该如何进行有效的处理，成为当下大多数公司所面临的问题。
大数据流动·2023-11-27 20:03

flink on yarn集群环境(生产环境使用)

flinkonyarn集群环境(生产环境使用)在一个企业中，为了最大化的利用集群资源，一般都会在一个集群中同时运行多种类型的Workload。
huahailing1024·2023-11-27 20:30

Flink实时流计算入门系列（一）

阿里巴巴双11大屏在峰值期间可以承担每秒超过4.72亿次的访问，这是多高的访问量……为什么学习Flink？
晨冉1688·2023-11-27 17:17

window性能提升100倍！怎么做到的？

1.背景在时序数据库的业务使用场景中，经常有统计每天的平均值、最大值等需求，我们参照Flink设计在FalconTSDB里引入了Window概念来满足业务需求。
TargetLiu·2023-11-27 12:21

Java程序员说：世界上有三个伟大的发明【火、轮子、kafka】

在流式计算中，Kafka一般用来缓存数据，例如Flink通过消费Kafka的数据进行计算。关于Kafka，我们最先需要了解的是以下四点：imageApacheKafka是一个开源「消息」系统，由Sc
Java李太白·2023-11-27 08:07

Flink系列（一）数据集类型和数据运算模型

流式：只要数据一直在生产，计算就持续地运行批处理：在预先定义的时间内运行计算，当完成时候释放计算机资源Flink它可以处理有界的数据集，也可以处理无界的数据集，它可以流式的处理数据，也可以批量的处理数据
香山上的麻雀·2023-11-27 08:25

《十堂课学习 Flink SQL》第三章：Flink SQL 环境搭建

本章内容包括安装和配置Flink环境；Flink官方示例代码解读；使用FlinkSQLCLI进行基本查询以及FlinkSQL连接外部数据源。
smile-yan·2023-11-27 07:57

C语言线性表的链式存储（框架）

用一块连续的内存空间线性表的链式存储：不连续的内存空间链表是由一系列的节点组成，每个节点包含两个域，一个是数据域，一个是指针域链表的插入和删除原理单项链表框架的搭建头文件具体的代码如下所示#ifndefLINKLIST_H
qq_45973003·2023-11-27 06:56

Spark分布式机器学习源码分析：线性模型

Spark是一个极为优秀的大数据框架，在大数据批处理上基本无人能敌，流处理上也有一席之地，机器学习则是当前正火热AI人工智能的驱动引擎，在大数据场景下如何发挥AI技术成为优秀的大数据挖掘工程师必备技能。
大数据之眸·2023-11-27 06:55
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他