-----Streaming

DataFlow编程模型与Spark Structured streaming

流式（streaming）和批量（batch）：流式数据，实际上更准确的说法应该是unboundeddata(processing)，也就是无边界的连续的数据的处理；对应的批量计算，更准确的说法是boundeddata
天地不仁以万物为刍狗·2023-09-27 22:37

Spark Structured Streaming Source Sink整理

Source源码调用StructuredStreamingReadRecords.pngStructuredStreaming在Source阶段的调用过程如上图1.在start时会启动StreamExecution
lioversky·2023-09-27 15:25

基于Kafka+Flink+Redis的电商大屏实时计算案例

由于Flink的“真·流式计算”这一特点，它比SparkStreaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型，并简要叙述计算流程（当然大部分都是源码）。数据格式与接入简化的子订
zhisheng_blog·2023-09-27 15:42

UnityAPI的学习——Application类

Application类的persistentDataPath属性、streamingAssets
ht_game·2023-09-27 12:11

大数据Flink（九十）：Lookup Join（维表 Join）

文章目录LookupJoin（维表Join）LookupJoin（维表Join）LookupJoin定义（支持Batch\Streaming）：LookupJoin其实就是维表Join，比如拿离线数仓来说
Lansonli·2023-09-27 09:42

Unity Android端对JSON数据的读取和修改

Application.streamingAssetsPathStreamingAsset文件夹的内容会原封不动的打
不为誰而做的程序员_·2023-09-27 09:04

Flink读取数据的5种方式（文件，Socket，Kafka，MySQL，自定义数据源）

程序代码：packagecn.jihui.flinkimportorg.apache.flink.streaming.api.environm
冀辉·2023-09-27 06:01

【Flink、java】

依赖org.apache.flinkflink-streaming-java_2.111.14.6org.apache.flinkflink-clients${flink.version}快速上手1.增添依赖
岩塘·2023-09-26 23:03

基于flink的CountWindow算子的使用

._51doit.flink.day04;importorg.apache.flink.configuration.Configuration;importorg.apache.flink.streaming.api.datastream.AllWindowedStream
江湖侠客·2023-09-26 18:04

Spark Streaming实时计算框架

SparkStreaming实时计算框架近年来，在Web应用、网络监控、传感监测、电信金融、生产制造等领域，增强了对数据实时处理的需求，而Spark中的SparkStreaming实时计算框架就是为实现对数据实时处理的需求而设计
-starshine丨·2023-09-26 10:52

“spark三剑客”之SparkStreaming流式计算框架

一流式计算概述1.1什么的流式计算数据流VS静态数据数据流静态数据不断产生的数据存储在磁盘中的固定的数据流式计算的概念对数据流进行计算，由于数据是炼苗不断的产生的，所以这个计算也是一直再计算，不会停止流式计算的数据流VS离线计算（特点大PK）流式计算的数据流离线计算数据是无界的(unbounded)数据是有界的(unbounded)数据是动态的数据是静态的计算速度是非常快的，还是基于内存的计算速度
南潇如梦·2023-09-26 10:52

如何关闭 sparkstreaming 任务

因为SparkStreaming流程序比较特殊，所以不能直接执行kill-9这种暴力方式停掉，如果使用这种方式停程序，那么就有可能丢失数据或者重复消费数据。为什么呢？
小癫僧·2023-09-25 23:31

大数据基础面试题七：Flink

大数据基础面试题七：Flink目录大数据基础面试题七：Flink十四、Flink14.1简单介绍一下Flink14.2Flink跟SparkStreaming的区别14.3Flink集群有哪些角色？
大数据面壁者·2023-09-25 16:45

spark streaming背压机制

sparkstreaming背压机制背压机制产生的背景背压(backpressure)机制主要用于解决流处理系统中，业务流量在短时间内剧增，造成巨大的流量毛刺，数据流入速度远高于数据处理速度，对流处理系统构成巨大的负载压力的问题
小～蜉蝣·2023-09-25 16:44

大数据Flink（八十八）：Interval Join（时间区间 Join）

文章目录IntervalJoin（时间区间Join）IntervalJoin（时间区间Join）IntervalJoin定义（支持Batch\Streaming）：IntervalJoin在离线的概念中是没有的
Lansonli·2023-09-25 06:51

Flink SQL:Queries(Windowing TVF)

Windowingtable-valuedfunctions(WindowingTVFs)BatchStreamingWindowsareattheheartofprocessinginfinitestreams.Windowssplitthestreaminto
曹木青芸·2023-09-24 11:32

Flink-SQL 设置水位线（Watermark）和开窗（window）示例

主代码*Appimportorg.apache.flink.streaming.api.datastream.DataStream;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment
笑面天下·2023-09-24 11:31

Spark-streaming-kafka

最近在用spark-streaming-kafka遇到的问题问题1Therearesomemessageswhosesizeislargerthanthefetchsize1048576andhencecannotbeeverreturned.Increasethefetchsize
非ban必选·2023-09-23 16:45

Unity3D WebGL异常：RangeError:Maximum call stack size exceeded

2.StreamingAssets文件夹目录问题。
skask007·2023-09-23 02:50

Unity的配置文件在安卓路径下使用的方法

步骤1.建立一个Unity项目，将版本转换为安卓版本，和PC项目一样，在项目下建立StreamingAssets文件夹，并在里面建立
波波斯维奇·2023-09-23 01:38

AV Foundation ⑪ 视频播放

使用AVFoundation，可以有效地加载和控制媒体资产的播放，例如QuickTime电影、MP3音频文件，甚至是通过HTTPLiveStreaming远程提供的视听媒体。
_涼城·2023-09-22 23:44

spark structedStreaming是如何实现容错的

sss如何实现eoc的sparkstructedStreaming简称sss，它主要还是采用微批的模式提供端到端的eoc(exactly-once)语义，要实现eoc，需要3方面保证，一个是可以replay
hongshen·2023-09-22 16:09

Flink Batch SQL Improvements on Lakehouse

本文整理自阿里云研发工程师刘大龙（风离），在StreamingLakehouseMeetup的分享。
·2023-09-22 12:29

【kafka实战】01 Docker安装kafka

localhost~]#dockersearchkafkaNAMEDESCRIPTIONSTARSOFFICIALAUTOMATEDbitnami/kafkaApacheKafkaisadistributedstreamingplat
suyukangchen·2023-09-22 07:00

Spark的基础

实训笔记--Spark的基础Spark的基础一、Spark的诞生背景二、Spark概念2.1SparkCore2.2.SparkSQL2.3SparkStreaming2.4SparkMLlib2.5SparkGraphX2.6SparkR
cai-4·2023-09-21 18:56

如何用java获取视频流处理

*;importorg.bytedeco.opencv.opencv_core.Mat;publicclassVideoStreamingExample{publicstaticvoidmain(String
西蓝花MQ·2023-09-21 18:25

介绍Server-Sent Events，以及使用，超级简单！

但是，有一种变通方法，就是服务器向客户端声明，接下来要发送的是流信息（streaming）。也就是说，发送的不是一次性的数据包，而是一个数据流，会连续不断地发送过来。
喝汽水的猫^·2023-09-21 16:50

RockChip GMS media FAQ

Android131.CtsMediaPlayerTestCasesandroid.media.player.cts.StreamingMediaPlayerTest#testHTTP_H264Base_AAC_Video1android.media.player.cts.StreamingMediaPlayerTest
左山艾艾·2023-09-21 01:47

Android 源码分析之基于NuPlayer的HLS流媒体协议

HLS概述HTTPLiveStreaming（HLS）是苹果公司实现的基于HTTP的流媒体直播和点播协议，主要应用在iOS系统。
avel__·2023-09-20 11:27

unity获取android本地的文件,Unity中C# 文件本地读取，本地保存等实例

usingUnityEngine;usingSystem.Collections;usingSystem.IO;usingSystem;publicclassFileReadWrite:MonoBehaviour{//不同平台下StreamingAssets
苗苗小姐·2023-09-20 10:03

unity 发布WebGL 读取TXT 遇到的问题

路径问题//stringpath=Path.Combine(Application.streamingAssetsPath,"data.txt");//unityEditor，webgl端都可以读取//
乱七八糟的笔记·2023-09-20 10:02

Unity读取本地文本txt的研究

在streamingAssets文件夹或其他文件夹下新建txt文件，代码部分usingSystem.Collections;usingSystem.Collections.Generic;usingSystem.IO
Dore__·2023-09-20 10:59

Unity中常用的几种读取本地文件方式

usingSystem.IO;usingSystem.Text;usingUnityEngine;usingUnityEngine.Networking;1、通过UnityWebRequest获取本地StreamingAssets
科幻之眼·2023-09-20 10:27

记录一次Flink ElasticsearchSink SocketTimeoutException异常问题排查

ElasticsearchSinkSocketTimeoutException异常问题排查解决1.问题记录2.第一次排查问题3.问题复现4.定位问题5.问题解决1.问题记录不多说，上异常信息：2021-08-o520:06:12ERROR:org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException
HugeBitter·2023-09-19 21:18

幸福里基于 Flink & Paimon 的流式数仓实践

摘要：本文整理自字节跳动基础架构工程师李国君，在StreamingLakehouseMeetup的分享。幸福里业务是一种典型的交易、事务类型的业务场景，这种业务场景在实时数仓建模中遇到了诸多挑战。
Apache Flink·2023-09-19 07:26

Flink相关

墨滴社区用Flink取代SparkStreaming！
丢雷劳谋·2023-09-19 07:24

Paimon+StarRocks 湖仓一体数据分析方案

本文整理自阿里云高级开发工程师曾庆栋（曦乐）在StreamingLakehouseMeetup分享的内容，深入探讨了传统数据仓库分析、Paimon+StarRocks湖仓一体数据分析、StarRocks
StarRocks_labs·2023-09-19 04:35

幸福里基于 Flink & Paimon 的流式数仓实践

摘要：本文整理自字节跳动基础架构工程师李国君，在StreamingLakehouseMeetup的分享。幸福里业务是一种典型的交易、事务类型的业务场景，这种业务场景在实时数仓建模中遇到了诸多挑战。
·2023-09-18 17:57

fiddler

fiddler代理模式-流模式（Streaming）：实时通信，请求之后实时返回-缓冲模式（Buffering）：等所有请求都到了再一起返回工作原理Fiddler是以代理web服务器的形式工作的，浏览器与浏览器之间通过建立
伞下时光·2023-09-18 12:57

Flink SQL:Getting Started

GettingStartedFlinkSQLmakesitsimpletodevelopstreamingapplicationsusingstandardSQL.ItiseasytolearnFlinkifyouhaveeverworkedwithadatabaseorSQLlikesystembyremainingANSI-SQL2011compliant.Thistutorialwillhe
曹木青芸·2023-09-18 10:38

Apache Ignite 基本概念

是为开发人员提供了实时处理大数据和内存计算的方便易用的解决方案：一个以内存为中心的数据平台可持久化、强一致和高可用强大的SQL、键-值存储及相关的APIBigdataaccelerator大数据加数器Streaminggrid
wank1259162·2023-09-17 10:11

Kerberos安全认证-连载12-Kafka Kerberos安全配置及访问

目录1.Kafka配置Kerberos2.客户端操作Kafka3.JavaAPI操作Kafka4.StructuredStreaming操作Kafka5.Flink操作Kafka技术连载系列，前面内容请参考前面连载
IT贫道·2023-09-17 10:02

ffmpeg抓取rtsp流并保存_详细解析RTSP框架和数据包分析(1)

手把手搭建RTSP流媒体服务器HLS实战之Wireshark抓包分析HTTP实战之Wireshark抓包分析1.RTSP协议简述RTSP：RealTimeStreamingProtocol是⼀种实时⽹络流传输协议
publicstaticfinal·2023-09-17 07:00

流媒体协议——RTSP

RTSPRTSP(RealTimeStreamingProtocol):实时流媒体协议，是基于文本的协议，采用ISO10646字符集，使用UTF-8编码RTSP-over-TCP，默认端口554RTSP-over-HTTP
bingshanzhu·2023-09-16 17:20

如何管理Spark Streaming消费Kafka的偏移量（三）

前面的文章已经介绍了在sparkstreaming集成kafka时，如何处理其偏移量的问题，由于sparkstreaming自带的checkpoint弊端非常明显，所以一些对数据一致性要求比较高的项目里面
尼小摩·2023-09-16 16:23

为什么 OAuth 里除了 Access Token 之外，还需要 Refresh Token？

问题：我有一个与YouTubeLiveStreamingAPI集成的程序。我以每50分钟的时间间隔，使用刷新令牌(refreshtoken)获取一个新的访问令牌(AccessToken)。
JerryWang_汪子熙·2023-09-16 11:28

1.spark读取数据与scala编程

2003291.0org.apache.sparkspark-core_2.112.3.1org.apache.sparkspark-sql_2.112.3.1org.apache.sparkspark-streaming
一杭oneline·2023-09-16 10:59

导读

Chapter1Streaming101，覆盖了基础流式处理，基础术语的构建，讨论流式系统的能力，以及区
Sol__C·2023-09-16 07:00

Flink

flink应用场景maven依赖1.17.0org.apache.flinkflink-streaming-java${flink.version}providedorg.apache.flinkflink-clients
yzhSWJ·2023-09-16 06:58

FlinkSQL_1.12_用DDL实现Kafka到MySQL的数据传输_实现按照条件进行过滤写入MySQL

1.FlinkSQL_用DDL实现Kafka到MySQL的数据传输_实现按照条件进行过滤写入MySQLpackagecom.atguigu.day10;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment
旧城里的阳光·2023-09-16 06:58
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他