-----Streaming

SparkStreaming-相关窗口操作

目录提前封装好的重复代码将日志信息调整为ERRORwindowcountByWindowreduceByWindowreduceByKeyAndWindow不保留数值保留数值countByValueAndWindow提前封装好的重复代码按照我的习惯，先把重复的代码做一个简单的封装，后面直接继承就可，这里的窗口长度为3，滑动频率为1packagecom.shujia.testimportorg.ap
啊帅和和。·2023-03-22 11:47

Flink API简介

StreamingAnalytics章节介绍了实时流处理的概念。本章对Flink架构和运行时如何实现这些概念做了深入的讲解。Flink中的APIFlink为流式和批处理应用
独行者独行者·2023-03-22 08:19

file的accept属性（文件上传的类型）

accept属性值类型3gppaudio/3gpp,video/3gpp3GPPAudio/Videoac3audio/ac3AC3Audioasfallpication/vnd.ms-asfAdvancedStreamingFormatauaudio
_默_·2023-03-22 08:19

DASH视频数据集、ABR和simulator源码、网络带宽数据集

Comyco:Quality-AwareAdaptiveVideoStreamingviaImitationLearning."
狗嗨旺·2023-03-21 18:41

kafka 核心技术实战（三）

Kafka简介ApacheKafka是消息引擎系统，也是一个分布式流处理平台（DistributedStreamingPlatform）。
fangzhan666·2023-03-21 14:18

python 导入导出文件

request):withopen('file_name.txt')asf:c=f.read()returnHttpResponse(c)2、更合理的文件下载功能fromdjango.httpimportStreamingHttpResponsedefbig_file_download
夜醉梦紅尘·2023-03-21 11:07

LAL-开源Go语言音视频流媒体服务器

https://github.com/q191201771/lal中文文档LALisanaudio/videolivestreamingbroadcastserverwritteninGo.It'ssortoflikenginx-rtmp-module
就想叫yoko·2023-03-21 06:26

unity中 StreamingAssetsPath 文件夹和 PersistentDataPath 文件夹 区别

[图片上传中...(201908221448459.png-4481ef-1581838860210-0)]streamingAssetsPath:ThepathtotheStreamingAssetsfolder
yaoyilmm·2023-03-21 01:47

12 Spark Streaming作为kafka的消费者【scala】

前面我们使用SparkStreaming去监听了端口数据，接下来我们将使用SparkStreaming作为kafka的消费者。
张力的程序园·2023-03-20 23:06

SparkStreaming 窗口操作

Streaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作。
数据萌新·2023-03-20 15:57

spark-mongodb简单上手

Spark提供的所有计算，不管是批处理，SparkSQL，SparkStreaming还是SparkML，它们底层都是通过RDD计算。所以这里就以RDD方式简单上手。
Josen_Qu·2023-03-20 03:34

flink操作hudi数据表

flink往hudi数据湖流式地写数据，hive和spark从数据湖读数据文章目录一、为hadoop、hive、flink添加hudi存储格式的支持二、flink写入hudi三、flink查询hudi（一）StreamingQuery
百战天王·2023-03-19 11:32

flink1.11.2中Table & SQL连接kafka

importorg.apache.flink.api.common.functions.FlatMapFunction;importorg.apache.flink.api.common.restartstrategy.RestartStrategies;importorg.apache.flink.streaming
嘎子吱吱吱吱·2023-03-19 11:29

FlinkSQL实现滚动窗口和滑动窗口

importorg.apache.flink.api.common.functions.MapFunction;importorg.apache.flink.api.common.typeinfo.Types;importorg.apache.flink.streaming.api.datastream.DataStream
藤井大旋風·2023-03-19 11:28

LookUpJoin案例

packagecom.cnic.app;importcom.cnic.bean.WaterSensor;importorg.apache.flink.streaming.api.datastream.DataStreamSource
cts618·2023-03-19 11:55

（2）sparkstreaming滚动窗口和滑动窗口演示

在sparkstreaming中，滚动窗口需要设置窗口大小和滑动间隔，窗口大小和滑动间隔都是StreamingContext的间隔时
NBI大数据可视化分析·2023-03-19 11:22

（1）通过FlinkSQL将数据写入mysql demo

（1）首先引入POM依赖：1.13.12.121.7.30org.apache.flinkflink-java${flink.version}org.apache.flinkflink-streaming-java
NBI大数据可视化分析·2023-03-19 11:51

Flink 专题 -3窗口滚动和滑动操作

https://github.com/soniclavier/bigdata-notebook/tree/master/flink/src/main/scala/com/vishnu/flink/streaming
千狼·2023-03-19 11:19

有状态算子、滑动窗口和滚动窗口

目录有状态算子滑动窗口和滚动窗口滑动窗口的使用及优化(包含滚动窗口)有状态算子之前我们在运行SparkStreaming的时候发现微批处理之中，每一个批次都是相对独立的如何让其能够产生累加的效果呢？
赤兔胭脂小吕布·2023-03-19 11:17

FlinkSQL 读写 MySQL

JDBCSQLConnectorpackagecom.sm.jobimportcom.sm.utils.FlinkUtilsimportorg.apache.flink.streaming.api.scala
訾零·2023-03-19 11:17

flink学习35：flinkSQL查询mysql

总览：importorg.apache.flink.streaming.api.scala.
hzp666·2023-03-19 11:46

【flink】 各种join类型对比

表定义动态表(dynamictable)：动态表是流的另一种表达方式，动态表作为一个逻辑的抽象概念，使我们更容易理解flink中将streaming发展到table这个层次的设计，本质都是对无边界、持续变更数据的表示形式
矛始·2023-03-19 11:44

flink学习33：flinkSQL连接mysql，查询插入数据

生成的表，绑定到数据库中的表），配上数据库连接信息，并执行，及注册5.查询表，可以根据注册表名查询6.插入表，可以根据生成的flink表进行数据插入完整案例：importorg.apache.flink.streaming.api.scala
hzp666·2023-03-19 11:37

Flink官方翻译-02Flink的依赖加入

org.apache.flink-DarchetypeArtifactId=flink-quickstart-java-DarchetypeVersion=1.3.2如果想手动管理flink的jar包org.apache.flinkflink-streaming-java
zachary_1db5·2023-03-19 08:59

Flink DataSet和DataStream Print方法的区别

在Flinkexample中，有两个Wordcount的example特别类似，一个是batch下的WordCount一个是streaming下的WordCount，从用法上来讲也比较类似。
biggeng·2023-03-19 01:11

译：构建音视频直播应用需要考虑的12件事

问题背景：近期看到一篇音视频技术周刊的一篇文章《12ThingstoConsiderWhenBuildingaLiveStreamingApp》，感觉写的还不错，是Red5官网挂出来的一篇博客，对设计、
潇湘落木life·2023-03-18 23:31

（1）sparkstreaming结合sparksql读取socket实时数据流

SparkStreaming是构建在SparkCore的RDD基础之上的，与此同时SparkStreaming引入了一个新的概念：DStream（DiscretizedStream，离散化数据流)，表示连续不断的数据流
NBI大数据可视化分析·2023-03-18 15:01

Flink源码阅读（八）--- Flink SQL 整体执行流程

无论是在streaming还是在batch上，TableAPI和SQL具有相同的语义并且能够得到相同的结果。TableAPI、SQL以及DataStrea
sj_91d7·2023-03-18 06:55

Flink Window

1.window概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集Window窗口就在一个无界流中设置起始位置和终止位置，让无界流变成有界流
Rex_2013·2023-03-18 03:50

11 sparkstreaming监控端口信息

前面我们已经了解了sparksql的使用，这一节我们将了解spark当中的流处理即spark-streaming。
张力的程序园·2023-03-17 13:31

七牛推拉流真机+模拟器pod路径

raw.githubusercontent.com/pili-engineering/PLPlayerKit/master/PLPlayerKit-Universal.podspec'pod"PLMediaStreamingKit
teddy8ear·2023-03-17 11:37

spark streaming源码分析之DStreamGraph 详解

更多关注sparkstreaming源码分析之流程详解DStreamGraph的作用是什么呢？
cclucc·2023-03-17 11:06

Flink 1.9 FlinkKafkaProducer 使用 EXACTLY_ONCE 错误记录

flinkFlinkKafkaProducer往kafka写入数据的时候要求使用EXACTLY_ONCE语义本以为本以为按照官网写一个就完事，但是却报错了代码packagecom.meda.testimportorg.apache.flink.streaming.connectors.kafka
利伊奥克儿·2023-03-17 10:44

spark 面试题（2）

33.选择题二、选择题1.Spark的四大组件下面哪个不是(D)A.SparkStreamingB.MlibCGraphxD.SparkR2.下面哪个端口不是spark自带服务的端口(C)A.8080B
小癫僧·2023-03-17 05:53

Spark总结篇（一）

Spark特点以下特点来源官网主页，仅做翻译Speed（快）ApacheSparkachieveshighperformanceforbothbatchandstreamingdata,实现了在批处理和流处理的高速数据处理
code_solve·2023-03-16 04:50

DataPipeline & Apache Rocket Meetup 简单回顾

4月13日下午，我司CEO郭斯杰受邀在DataPipeline&ApacheRocketMeetup中分享了EfficientSchemasinEventStreamingusingApachePulsar
StreamNative·2023-03-15 19:23

（1）通过FlinkSQL将数据写入mysql demo

（1）首先引入POM依赖：1.13.12.121.7.30org.apache.flinkflink-java${flink.version}org.apache.flinkflink-streaming-java
NBI大数据可视化分析·2023-03-15 18:01

FFmpeg推送命令

ffmpeg推流命令使用命令推送成rtp流使用rtp发送ffmpeg-irtsp://admin:[email protected]:554/Streaming/Channels/1-vcodeccopy-an-frtprtp
shuhua_qi·2023-03-15 14:21

Spark安装与入门使用

Spark之所以能被迅速的应用到各种大数据处理场景下，与其为Batchingprocessing,StreamingProcessing,Ad-hocQuery等三大大数据处理问题提供了近乎完美的解决方案息息相关
cjf_wei·2023-03-15 12:05

spark jdbc java_spark之JDBC开发（实战）

一、概述SparkCore、Spark-SQL与Spark-Streaming都是相同的,编写好之后打成jar包使用spark-submit命令提交到集群运行应用$SPARK_HOME/bin#.
weixin_39937312·2023-03-15 08:26

Spark Streaming 结合Spark SQL 案例

8247e941fcb7d65acf816b1578eb7b50.htmlhttps://blog.csdn.net/qq_41455420/article/details/79515674：SparkStreaming
qq_18219755·2023-03-15 08:42

Spark Streaming 状态管理算子的选择比较

一、updateStateByKey官方原话:Ineverybatch,Sparkwillapplythestateupdatefunctionforallexistingkeys,regardlessofwhethertheyhavenewdatainabatchornot.IftheupdatefunctionreturnsNonethenthekey-valuepairwillbeelimi
吃货大米饭·2023-03-15 08:45

Regular Join流程解析

以下文章全部基于Flink1.14StreamingJoinOperator.javadebug代码可以看到RegularJoin逻辑实现在StreamingJoinOperator.java(几种RegularJoin
幸运猪x·2023-03-15 06:29

Java-Logback-使用Logback输出日志为JSON

前提使用者需要知道如何配置logback-spring.xml解决方案覆盖Encoder类packageio.wetoo.streaming.common.customlog;importch.qos.logback.classic.encoder.PatternLayoutEncoder
芝其然·2023-03-14 22:39

开启Back Pressure使生产环境的Spark Streaming应用更稳定、有效

为了SparkStreaming应用能在生产中稳定、有效的执行，每批次数据处理时间（批处理时间）必须非常接近批次调度的时间间隔（批调度间隔），并且要一直低于批调度间隔。
数大招疯·2023-03-14 14:25

Apache Hudi简介、与Kudu、Hive、 HBase对比

一、ApacheHudi数据实时处理和实时的数据实时分为处理的实时和数据的实时，即席分析是要求对数据实时的处理，马上要得到对应的结果，Flink、SparkStreaming是用来对实时数据的实时处理，
四月天03·2023-03-14 11:47

Spark3.0分布，Structured Streaming UI登场

而且不出意外，对于StructuredStreaming进行了再一次的加强，这样Spark和Flink在实时计算领域的竞争，恐怕会愈演愈烈。
大数据流动·2023-03-14 10:19

Unity3D Assets目录下创建文件一般格式

通常需要创建六个文件夹编辑(Editor),插件(Plugins),资源(Resources),场景(Scenes),脚本(Scripts),数据存库(StreamingAssets)1.Editor存放编辑器及菜单工具脚本
子璇o·2023-03-13 13:08

Tensorflow Evaluation 计算accuracy踩的坑

Accuracy':slim.metrics.streaming_accuracy(predictions,labels),'Recall_5':slim.m
HulkyBanny·2023-03-13 12:45

Spark streaming

1说一下sparkstreaming?
小小少年Boy·2023-03-13 05:09
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他