-----Streaming

为什么 OAuth 里除了 Access Token 之外，还需要 Refresh Token？

问题：我有一个与YouTubeLiveStreamingAPI集成的程序。我以每50分钟的时间间隔，使用刷新令牌(refreshtoken)获取一个新的访问令牌(AccessToken)。
·2023-07-13 15:58

HLS 协议入门指南以及延迟优化策略

HLS是什么HLS是HTTPLiveStreaming的缩写，是由苹果公司推出的基于HTTP的能自适应的流媒体传输协议，常用于直播和点播。
CBDxin·2023-06-24 07:59

RTSP，RTMP，HTTP-FLV协议浅析，HTML5监控应用

RTSP（RealTimeStreamingProtocol）：实时流传输协议，应用层协议，传输层可为UDP（默认），RDP，TCP，一般用于直播。
wcghhk·2023-06-23 23:01

openguass dcf启动详解

openguassdcf启动详解先启动walreceiverPMSIGNAL_START_WALRECEIVERWALRECEIVERWALRECEIVERRequestXLogStreamingSendPostmasterSignalCheckPostmasterSignalinitialize_util_threadInternalThreadFuncGetThreadEntryGaussDb
growdu_real·2023-06-23 18:45

GDP Streaming RPC 设计

GDPStreamingRPC是基于GDPRPC能力开发的流式RPC框架，在实现功能基础上设计的一套面向流传输场景的传输框架，提供了流式传输应用场景的方案。
·2023-06-23 13:14

【UE5】分分钟简单使用像素流云服务（Pixel Streaming）

【UE5】分分钟简单使用像素流云服务（PixelStreaming）前言UE5的PixelStreaming已经封装的很好，简单三步实现简单的服务搭建。
小生云木·2023-06-23 12:31

SparkSteaming运行流程分析以及CheckPoint操作

本文主要通过源码来了解SparkStreaming程序从任务生成到任务完成整个执行流程以及中间伴随的checkpoint操作注：下面源码只贴出跟分析内容有关的代码，其他省略1分析流程应用程序入口：valsparkConf
朝和(zixi0825)·2023-06-23 08:42

《kafka中文手册》-快速开始（二）

Thiscombinationofmessaging,storage,andstreamprocessingmayseemunusualbutitisessentialtoKafka’sroleasastreamingplatform
weixin_34162695·2023-06-23 06:17

Kafka最佳实践

前言Kafka最佳实践，涉及典型使用场景Kafka使用的最佳实践Kafka典型使用场景DataStreamingKafka能够对接到Spark、Flink、Flume等多个主流的流数据处理技术。
东风微鸣·2023-06-22 21:04

Spark Streaming Join与优雅关闭

join两个流之间的join需要两个流的批次大小一致，这样才能做到同时触发计算。计算过程就是对当前批次的两个流中各自的RDD进行join，与两个RDD的join效果相同。linux>nc-lk1111linux>telnet192.168.58.2001111linux>nc-lk2222linux>telnet192.168.58.2002222importorg.apache.spark.Sp
房石阳明i·2023-06-22 01:07

Spark集群架构和核心组件介绍

：3.3.2Executor：3.3.3Master&Worker：3.3.4ApplicationMaster：四.Spark核心组件：4.1SparkCore4.2SparkSQL4.3SparkStreaming4.4SparkMLlib4
难以言喻wyy·2023-06-22 01:31

“易+”开源 | 基于 ijkplayer 的 LLS-Player 移动端应用实践

云信低延时直播（Low-LatencyStreaming，LLS）是在网易云信标准直播的基础上，依托自研的全球实时传输网WE-CAN推出的低延时直播产品方案。
·2023-06-21 14:49

用Flink取代Spark Streaming！知乎实时数仓架构演进

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实
·2023-06-21 14:37

用Flink取代Spark Streaming！知乎实时数仓架构演进

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实
·2023-06-21 14:37

用Flink取代Spark Streaming！知乎实时数仓架构演进

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实
·2023-06-21 14:06

Spark各种问题汇总

1.sparkstreaming与kafka报错不能序列化ConsumerRecord,描述：objectnotserializable(class:org.apache.kafka.clients.consumer.ConsumerRecord
DevinShuai·2023-06-21 13:23

时间序列表征之SAX（Symbolic Aggregate approXimation）算法

SymbolicAggregateapproXimation),由JessicaLin等在2003年发表的论文中提出的，该论文的题目为《ASymbolicRepresentationofTimeSeries,withImplicationsforStreamingAlgorithms
AI蜗牛车·2023-06-21 12:20

Flink 学习二 Flink 编程基础API

Flink学习二Flink编程基础API1.基础依赖引入org.apache.flinkflink-java1.14.4org.apache.flinkflink-streaming-java_2.121.14.4org.apache.flinkflink-clients
C0oOder·2023-06-21 11:26

flink Spark 和 Flink对比

除了计算速度快、可扩展性强，Spark还为批处理（SparkSQL）、流处理（SparkStreaming）、机器学习（SparkMLlib）、图计算（SparkGraphX）
但行益事莫问前程·2023-06-20 04:49

spark 和 flink 的对比

初期的SparkStreaming是通过将数据流转成批(micro-batches)，即收集一段时间(time-window)内到达的所有数据，并在其上进行常规批处理，所以严格意义上，还不能算作流式处理
five小点心·2023-06-19 23:03

SparkStreaming

1、SparkStreaming概述数据处理类型分类静态数据数据源是不变的、有限的、显式离散的多适用于批量计算、离线计算流数据数据是变动的、无限的、连续的多适用于实时计算，能在秒级、秒内处理完成实时数据分类小时级分钟级秒级
SparkSql·2023-06-19 18:47

【Apache Spark】

文章目录ApacheSpark的安装与配置ApacheSpark用法ApacheSpark的组件1.SparkCore2.SparkSQL3.SparkStreaming4.MLib5.GraphX6.
我是廖志伟·2023-06-19 16:58

flink(scala版)学习二之常用的Sink

Sink之kafka存储importorg.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimportorg.apache.flink.streaming.connectors.kafka
皮皮虾不皮呀·2023-06-19 16:49

导入音频文件

Streaming即时解码声音设置建议DecompressOnLoad适合小音频(200kb)CompressInMemory适合较大的音频(大于200kb)Streaming适合背景音乐，加载不卡顿，
心前阳光·2023-06-19 16:03

Spark01-Spark快速上手、运行模式、运行框架、核心概念

TheGoogleFileSystem)MapReduce总结：性能横向扩展变得容易，横向拓展:增加更多的计算节点来扩展系统的处理能力Hbase：分布式数据库SparkSparkCoreSparkSQLSQL方言（HQL)SparkStreaming
:Concerto·2023-06-19 14:49

Spark-核心常见面试题集锦(RDD、shuffle类型、数据倾斜优化、小文件问题、性能调优、streaming流程、checkpoint机制)

1Spark的任务执行流程第一种standalone模式整体：driver中有sparkcontext，RDDDAG和DAGScheduler和taskscheduler，master是资源管理，worker中executor，executor中有多个task构建一个application环境，driver创建sparkcontextsparkcontext中的taskcheduler连接到集群管
:Concerto·2023-06-19 14:48

90、Spark Streaming之updateStateByKey以及基于缓存的实时wordcount程序

updateStateByKeyupdateStateByKey操作，可以让我们为每个key维护一份state，并持续不断的更新该state。首先，要定义一个state，可以是任意的数据类型；其次，要定义state更新函数——指定一个函数如何使用之前的state和新值来更新state。对于每个batch，Spark都会为每个之前已经存在的key去应用一次state更新函数，无论这个key在batc
ZFH__ZJ·2023-06-19 13:48

Spark Streaming实时计算实例

SparkStreaming实时计算实例一、实验内容编写SparkSteaming应用程序，实现实时词频统计。二、实验步骤1．运行nc，模拟数据源。nc-lk9999启动服务端且监听Socket服务。
兜里没有一毛钱·2023-06-19 11:23

Flink自定义数据源

*;importorg.apache.commons.lang3.RandomUtils;importorg.apache.flink.streaming.api.datastream.D
飞天小老头·2023-06-19 10:57

ITU-T P.1203/P.1204视频质量评估标准介绍

输出质量计算概述简介国际电信联盟（ITU-T）第12研究组（SG12）和视频质量专家组（VQEG）联合开展了P.NATS（Parametricnon-intrusiveassessmentofTCP-basedmultimediastreamingquality
Green Lv·2023-06-19 08:58

Flink概述

前言Sparkstreaming可以说是根据时间分区的批处理系统。Fink则是基于事件驱动的。也就是说可以把时间定义成事件，也可以把数量定义成事件…也就是说Fink的场景更灵活。
懒猫gg·2023-06-19 06:47

flink概述

文章目录flink概述flink应用场景重要特点事件驱动型(Event-driven)流与批的世界观分层api其它特点对比sparkstreamingflink概述ApacheFlink是一个框架和分布式处理引擎
sgxmr·2023-06-19 06:16

Structured Streaming 入门（整合、数据分析）

#博学谷IT学习技术支持#Sink扩展:三种消息语义流式数据处理步骤针对任何流式应用处理框架（Storm、SparkStreaming、StructuredStreaming和Flink等）处理数据时，
y鱼鱼·2023-06-19 05:16

【Spark手机流量日志处理】使用SparkSQL按月统计流量使用量最多的用户

文章简介：本篇文章属于Spark系列文章，专栏将会记录从spark基础到进阶的内容内容涉及到Spark的入门集群搭建，核心组件，RDD，算子的使用，底层原理，SparkCore，SparkSQL，SparkStreaming
大数据小禅·2023-06-19 05:44

spark-streaming笔记

SparkStreaming笔记框架的类型：1.离线批处理：mapreduce、hive、SparkCore、Sparksql=》mapreducespark2.SQL的交互式查询：hive、SparkSQL3
最美不过你回眸·2023-06-18 23:34

Spark 环境搭建 阿善没用

WordCount4.完成将Spark任务提交到Yarn1.课程说明1.1课程安排整个Spark框架课程分为如下9个部分，如下图所示：第1章：Spark环境搭建第2章：SparkCore第3章：SparkStreaming
okbin1991·2023-06-18 23:03

【CesiumJS入门】（4）加载3D Tiles并获取tileset

前言本次，我们将写一个函数来加载3DTiles数据，3DTiles数据的文档：CesiumGS/3d-tiles:Specificationforstreamingmassiveheterogeneous3Dgeospatialdatasets
ReBeX·2023-06-18 18:02

Flink_SQL Interval Join

packagecom.ygy.gmall.realtime.test3;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment
a 茶叶蛋吃蛋白不吃蛋黄·2023-06-18 16:14

Flink SQL:Queries(Joins)

JoinsBatchStreamingFlinkSQLsupportscomplexandflexiblejoinoperationsoverdynamictables.Thereareseveraldifferenttypesofjoinstoaccountforthewidevarietyofsemanticsqueriesmayrequire.FlinkSQL
曹木青芸·2023-06-18 16:14

Flink SQL之Regular Joins

1.RegularJoins（双流join）双流join是最通用的联接类型（支持Batch\Streaming），其中任何新记录或联接两侧的更改都是可见的，并影响整体的Join结果。
土豆马铃薯·2023-06-18 16:14

Flink SQL之Interval Joins

1.IntervalJoins（区间Join）区间是双流join的优化，基于处理时间或事件时间，在一定时间区间内数据，相同的key进行join（支持Batch\Streaming）。
土豆马铃薯·2023-06-18 16:42

python fastapi 向页面推送视频流，网站播放python获取的rtsp视频

代码如下importcv2importuvicornfromfastapiimportFastAPI,Responsefromfastapi.responsesimportStreamingResponse
张多阔·2023-06-18 10:41

Unity3d LitJson中文乱码问题

stringmainPath=Application.streamingAssetsPath+"/main.txt";stringmainJson=JsonMapper.ToJson(m_ListMainObj
JoeManba·2023-06-18 03:42

Hadoop Streaming： c++编写uniq程序

1.描述使用Hadoopstreaming对输入数据的第一列进行uniq去重计算，采用c++编写map-reduce程序。
yfk·2023-06-17 23:01

Spark高频面试题(建议收藏)

它内部的组成模块，包含SparkCore，SparkSQL，SparkStreaming，SparkMLlib，SparkGraghx等...它的特点：快Spark计算速度是MapReduce计算速度的
无精疯·2023-06-16 22:12

PostgreSQL主备同步详解

前言：PostgreSQL支持物理复制和逻辑复制，物理复制也可以称为流复制（StreamingReplication），通过流复制技术，可以从实例级复制出一个与主库一模一样的从库，主库可读写数据，从库仅能读取数据
Spring雷·2023-06-16 21:46

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

摘要：本文主要介绍巴别时代基于ApachePaimon(Incubating)构建StreamingLakehouse的生产实践经验。
·2023-06-16 20:24

java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.CATALOG_IMPLEMENTATION()Lo...

Exceptioninthread"streaming-job-executor-0"java.lang.NoSuchMethodError:org.apache.spark.internal.config.package
仔仔H·2023-06-16 19:19

RocketMQ

官网：GitHub-apache/rocketmq:ApacheRocketMQisacloudnativemessagingandstreamingplatform,makingitsimpl
qingsongxyz·2023-06-16 16:05

Flink将数据写入到hdfs中

importorg.apache.flink.api.java.tuple.Tuple;importorg.apache.flink.api.java.tuple.Tuple4;importorg.apache.flink.streaming.api.fun
wudl5566·2023-06-16 15:35
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他