Streaming

基于PiflowX构建MySQL和Postgres的Streaming ETL

[[基于FlinkCDC构建MySQL和Postgres的StreamingETL](基于FlinkCDC构建MySQL和Postgres的StreamingETL—CDCConnectorsforApacheFlink
PiflowX·2024-01-21 18:07

pyspark之Structured Streaming文件file案例

#generate_file.py#生成数据生成500个文件,每个文件1000条数据#生成数据格式：eventtimenameprovinceaction()时间用户名省份动作)importosimporttimeimportshutilimporttimeFIRST_NAME=['Zhao','Qian','Sun','Li','Zhou','Wu','Zheng','Wang']SECOND_
heiqizero·2024-01-21 06:59

pyspark之Structured Streaming window函数-滚动模式

#file文件使用pyspark之StructuredStreamingfile文件案例1生成文件，以下代码主要探讨window函数使用window三种方式：滚动、滑动、会话，只有windowDuration
heiqizero·2024-01-21 06:59

pyspark之Structured Streaming结果保存到Mysql数据库-socket例子统计(含批次)

frompyspark.sqlimportSparkSession,DataFramefrompyspark.sql.functionsimportexplode,split,lit"""实现将数据保存到mysql数据库，同时将流计算batch保存到数据库中"""if__name__=='__main__':spark=SparkSession.builder.getOrCreate()spark
heiqizero·2024-01-21 06:28

pyspark之Structured Streaming file文件案例1

#generate_file.py#生成数据生成500个文件,每个文件1000条数据#生成数据格式：eventtimenameprovinceaction()时间用户名省份动作)importosimporttimeimportshutilimporttimeFIRST_NAME=['Zhao','Qian','Sun','Li','Zhou','Wu','Zheng','Wang']SECOND_
heiqizero·2024-01-21 06:23

m3u8详解

“M3U”和“M3U8”文件都是苹果公司使用的HTTPLiveStreaming（HLS）协议格式的基础，这种协议格式可以在iPhone和Macbook等设备播放。上述文字定义来自于维基百科。
汤米粥·2024-01-21 04:36

流式系统：前言到第四章

原文：StreamingSystems译者：飞龙协议：CCBY-NC-SA4.0前言或：你在这里要做什么？你好，冒险的读者，欢迎来到我们的书！
绝不原创的飞龙·2024-01-21 03:29

流式系统：第五章到第八章

原文：StreamingSystems译者：飞龙协议：CCBY-NC-SA4.0第五章：一次性和副作用我们现在从讨论编程模型和API转向实现它们的系统。模型和API允许用户描述他们想要计算的内容。
绝不原创的飞龙·2024-01-21 03:59

StructuredStreaming输出模式和结果输出文件中

输出模式#format指定输出位置console：控制台#append不支持排序，不支持聚合，每次输出数据都是最新的数据内容#complete必须聚合，支持聚合后排序每次输出数据都会将原来的数据一起输出#update支持聚合，支持select单纯的查询不支持聚合后排序，每次输出时，只展示最新聚合后的结果df.writeStream.start(format='console',outputMode
中长跑路上crush·2024-01-20 23:55

Spark Streaming通过receiver方式消费kafka数据时数据积压问题

1.问题在通过receiver方式接受kafka消息时，发现有大量消息在队列中阻塞最终导致spark任务执行失败。经过排查发现，利用receiver方式来消费kafka的数据时可能会因为zk的group是首次创建或者有一段时间未消费，在程序启动的时候一次性读取进来大量的数据导致数据积压严重报错oom或者yarn资源不够而崩溃，可以通过设置最大批次的数据量来调节。2.解决办法这里可以通过一个参数来解
sinat_36710456·2024-01-20 22:23

Vegas基础+进阶教程，Vegas大师级课程，从入门到精通，一个月就够了

剪辑、特效、合成、Streaming一气呵成。结合高效率的操作界面与多功能的优异特性，让用户更简易地创造丰富的影像。其中无限制的视轨与音轨，更是其他影音软件所没有的特性。
大白师兄·2024-01-20 20:53

三、IDEA Springboot Flink 项目创建

Maven项目2.填入项目名3.选择项目位置，完成4.在pom.xml中引入依赖org.apache.flinkflink-clients_2.121.9.1org.apache.flinkflink-streaming-java
战神_Lee·2024-01-20 18:13

hls转流服务的nginx配置和一些脚本

HLS（HTTPLiveStreaming）作为一种流媒体传输协议，被广泛应用于视频直播、点播等应用场景中。而Nginx作为一款高性能的Web服务器，也可以被用于构建HLS转流服务。
EelBarb·2024-01-20 18:10

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

摘要：本文主要介绍巴别时代基于ApachePaimon(Incubating)构建StreamingLakehouse的生产实践经验。
Apache Flink·2024-01-20 12:21

阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse

01背景信息数据湖与传统的数据仓库相比，可以更灵活地处理各种类型的数据，并支持高度可扩展的存储，通常被用于大数据分析。为了支持准实时乃至实时的数据处理，数据湖需要能够快速地接收和存储数据（数据入湖），同时提供低延迟的查询性能以满足分析需求。ApachePaimon和ApacheHudi作为数据湖存储格式，有着高吞吐的写入和低延迟的查询性能，是构建数据湖的常用组件。本文将在阿里云EMR[1]上，针对
Apache Spark中国社区·2024-01-20 12:51

【Flink-CDC】Flink CDC 介绍和原理概述

和基于日志的CDC2）FlinkCDC3）FlinkCDC原理简述4）基于FlinkSQLCDC的数据同步方案实践4.1.案例1:FlinkSQLCDC+JDBCConnector4.2.案例2:CDCStreamingETL4.3
bmyyyyyy·2024-01-20 10:27

vlc播放rtsp视频流

$nextTick(()=>{//constmrl='rtsp://admin:[email protected]:554/Streaming/Channels/101';if(this
小菜花29·2024-01-20 05:25

流式系统：第九章到第十章

原文：StreamingSystems译者：飞龙协议：CCBY-NC-SA4.0第九章：流连接当我开始学习连接时，这是一个令人生畏的话题；LEFT、OUTER、SEMI、INNER、CROSS：连接的语言是富有表现力和广泛的
绝不原创的飞龙·2024-01-20 03:08

大数据学长面试之OPPO面试题

1）技术部分（1）SparkStreaming消费方式及区别，Spark读取HDFS的数据流程（2）Kafka高性能（3）Hive调优，数据倾斜（4）Zookeeper怎么避免脑裂，什么是脑裂。
大数据小理·2024-01-19 16:01

Unity中最方便的动态加载资源方法

在编程过程中动态加载资源是非常常用的需求，但是无论是Resources加载还是StreamingAssets加载都比较麻烦，多写很多代码不说名称也不方便修改，管理起来也很不方便，接下来要说的就是我个人比较常用的的动态加载资源的方法
十画_824·2024-01-19 12:05

flink之max与maxBy的区别

importorg.apache.flink.api.common.functions.MapFunction;importorg.apache.flink.api.java.tuple.Tuple;importorg.apache.flink.streaming.api.data
北斗星的城堡·2024-01-19 08:53

Flink1.17 基础知识

Flink1.17基础知识来源：B站尚硅谷目录Flink1.17基础知识Flink概述Flink是什么Flink特点FlinkvsSparkStreamingFlink的应用场景Flink分层APIFlink
魅美·2024-01-19 08:16

sparkstreaming实时写入hive

pom文件spark-streaming-kafka-0-10_2.112.1.0spark-core_2.11spark-sql_2.11scala-library采用的是scala2.11.8实现逻辑
会飞的蜗牛66666·2024-01-18 16:11

django大数据_草稿本01

文档Learning_Spark/5.SparkStreaming/ReadMe.mdatmaster·LeslieZhoa/Learning_Spark#在pyspark下运行frompyspark.ml.featureimportHashingTF
哈都婆·2024-01-18 09:15

三种主流流协议的浏览器播放解决方案

三种主流流协议的浏览器播放解决方案流协议介绍主流的流协议（streamingprotocol）包括HLS、RTMP、RTSP，下面依次介绍下三种视频流。
3的4次方·2024-01-18 02:19

Spark面试

适当增加sparkstandbymaster编写shell脚本，定期检测master状态，出现宕机后对master进行重启操作2.Sparkstreaming以及基本工作原理？
lune_Lucky·2024-01-17 05:30

【INTEL（ALTERA）】错误 （14566）： 由于与现有约束 （1 HSSI_Z1578A_CLUSTER） 冲突，拟合器无法放置 0 个外围组件。

说明由于英特尔®Quartus®Prime专业版软件23.2版本存在问题，针对IntelAgilex®7AGI041设备时，使用面向PCIExpress*的R-TileAvalon®Streaming英特尔
神仙约架·2024-01-17 03:27

hive:创建自定义python UDF

然而，Apache也使非Java开发人员能够轻松地使用Hadoop，这是通过使用HadoopStreaming接口完成的!
-柚子皮-·2024-01-16 16:35

【Flink-1.17-教程】-【一】Flink概述、Flink快速入门

【Flink-1.17-教程】-【一】Flink概述、Flink快速入门1）Flink是什么1.1.有界流和无界流1.2.Flink的发展史2）Flink特点3）FlinkvsSparkStreaming4
bmyyyyyy·2024-01-16 08:16

flink 时态表 Join

创建所以可以使时态表功能相近并且时态表可以DDL创建使用时态表函数只能使用TABLEAPI去注册packagecom.cn.sql.joins.temporaljoins;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironme
卤蛋x001·2024-01-16 08:41

Spark Structured Streaming + Kafka +Json

  org.apache.spark  spark-sql-kafka-0-10_2.11  2.1.1    org.apache.spark    spark-sql_2.11    2.1.1importorg.apache.spark.sql.SparkSessionobjectMyTest{defmain(args:Array[String]):Unit={valspark=SparkS
zhangxl-jc·2024-01-16 07:00

StructStreaming整合Kafka操作

StructStreaming整合Kafka操作Maven依赖org.apache.sparkspark-sql-kafka-0-10_2.123.3.1实时数据ETL准备数据/***模拟产生基站日志数据
健鑫.·2024-01-16 07:29

Structured Streaming 整合 Kafka指南

用于Kafka0.10的结构化流式处理集成，用于从Kafka读取数据和写入数据。从kafka读取数据//Subscribeto1topicvaldf=spark.readStream.format("kafka").option("kafka.bootstrap.servers","host1:port1,host2:port2").option("subscribe","topic1").loa
鸭梨山大哎·2024-01-16 07:27

结构化流(Structured Streaming)

结构化流介绍有界和无界数据有界数据:指的数据有固定的开始和固定的结束，数据大小是固定。我们称之为有界数据。对于有界数据，一般采用批处理方案（离线计算）特点：1-数据大小是固定2-程序处理有界数据，程序最终一定会停止无界数据:指的数据有固定的开始，但是没有固定的结束。我们称之为无界数据对于无界数据，我们一般采用流式处理方案（实时计算）特点：1-数据没有明确的结束，也就是数据大小不固定2-数据是源源不
小希 fighting·2024-01-16 07:25

PySpark Structured Streaming kafka示例

PySparkStructuredStreamingkafka示例直接上代码：#!
张行之·2024-01-16 07:52

StructuredStreaming整合kafka&Mysql

上回简单带领大家简单了解了一下StructuredStreaming，那么这一回，我们就来使用StructuredStreaming整合一些其他的技术。
小哪吒的BD·2024-01-16 07:18

Structured Streaming配置Kafka参数

overridedefstream():DataFrame={valkafkaConf=newKafkaConfigurationvalspark=GxSparkSession().session()valdf:DataFrame=spark.readStream.format("kafka").option("subscribe",kafkaConf.intelligentDrivingTopi
sunyang098·2024-01-16 07:18

Structured Streaming整合Kafka实时统计

StructuredStreaming整合Kafka实时统计一、实时ETL启动Zookeeper和kafka#启动zookeeperbin/zkServer.shstart#启动kafkabin/kafka-server-start.sh-daemonconfig
Joker_Jiang3·2024-01-16 07:47

structured streaming+kafka 异常处理

由于使用structuredstreaming+kafka处理数据，任务运行一段时间后就会出现Kafka数据无法消费，任务运行正常，但是从日志中看到Thismemberwillleavethegroup
嘘、不语·2024-01-16 07:46

Structured_Streaming和Kafka整合

结构化编程模型输出终端/位置默认情况下，Spark的结构化流支持多种输出方案：1-consolesink:将结果数据输出到控制台。主要是用在测试中，并且支持3种输出模式2-Filesink:输出到文件。将结果数据输出到某个目录下，形成文件数据。只支持append模式3-foreachsink和foreachBatchsink:将数据进行遍历处理。遍历后输出到哪里，取决于自定义函数。并且支持3种输出
小希 fighting·2024-01-16 06:14

任务12：使用Hadoop Streaming解压NCDC天气原始数据

任务描述知识点：NCDC原始的气象数据上传到HDFSMapReduce程序处理NCDC原始数据重点：熟练使用HDFS基础命令查看HDFS文件块的分布情况掌握Linux系统Shell脚本的编写熟练使用MapReduce程序解压缩文件使用MapReduce程序处理NCDC气象数据内容：NCDC气象数据上传至HDFS检查HDFS文件块的分布情况编写LinuxShell脚本生成input文件编写Shell
Dija-bl·2024-01-15 22:21

pg主从修复

登陆从库查看日志：2016-01-0602:28:51.122UTC,,,83039,,568c7be3.1445f,1,,2016-01-0602:28:51UTC,,0,LOG,00000,"startedstreamingWALfromprimaryat318
cissk24004·2024-01-15 14:01

streaming 101

看之前就知道这是两篇能够提升你对流处理理解的文章，不是一般的提升，可以说是一种升华，因为他谈的不是一个具体的工具（sparkstreaming，flink等），而是谈流处理应该是怎么样的，流处理要打败批处理一统天下的话需要有什么特性
Bitson·2024-01-15 12:31

sparkStreaming 连接kafka的方式

sparkStreaming消费kafak有两种方式1：receiver方式2：direct方式receiver方式：1：sparkStreaming将kafka之中的数据读取到spark内存之中，然后对
流砂月歌·2024-01-15 06:59

海康、大华rtsp流地址格式

海康：1、rtsp://admin:[email protected]:554/Streaming/Channels/101?
Qter_Sean·2024-01-14 23:12

Debezium发布历史65

原文地址：https://debezium.io/blog/2019/07/15/streaming-cassandra-at-wepay-part-2/欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考
大大蚊子·2024-01-14 13:47

Debezium发布历史64

原文地址：https://debezium.io/blog/2019/07/12/streaming-cassandra-at-wepay-part-1/欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考
大大蚊子·2024-01-14 13:46

b spring mvc 之 Endpoints 服务端配置 & 异步请求

1.6.1DeferredResult1.6.2Callable1.6.3ProcessingDeferredResultCallableprocessingworksasfollowsExceptionHandlingInterception1.6.4HTTPStreamingObjectsSS
舞动的痞老板·2024-01-14 12:59

怎么把m3u8文件转换为mp4？方法很简单

m3u8文件是一种特殊的媒体文件格式，通常用于在线流媒体服务，如HLS（HTTPLiveStreaming）。这种格式在很多场合下都非常有用，比如在线视频播放、直播等。
office666·2024-01-14 02:06

2024.1.13 Kafka六大机制和Structured Streaming

目录一.Kafka中生产者数据分发策略二.Kafka消费者的负载均衡机制三.数据不丢失机制生产者端是如何保证数据不丢失的呢？Broker端如何保证数据不丢失消费端如何保证数据不丢失Kafka中消费者如何对数据仅且只消费一次四.启动Kafkaeagle命令数据积压问题处理五.结构化流数据源FileSourceOPERATIONS数据处理操作Sink输出操作六大机制:分区,副本,存储,查询,数据不丢失
白白的wj·2024-01-13 18:37
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他