-----Streaming

【入门Flink】- 02Flink经典案例-WordCount

WordCount需求：统计一段文字中，每个单词出现的频次添加依赖1.17.0org.apache.flinkflink-streaming-java${flink.version}org.apache.flinkflink-clients
不进大厂不改名二号·2023-11-03 13:04

0基础学习PyFlink——个数滚动窗口(Tumbling Count Windows)

而Flink是可以处理流式（Streaming）数据的，就是数据会源源不断输入。对于这种数据，我们称之为无界流，即没有“终止的界限”。但是程序在底层一
breaksoftware·2023-11-03 13:17

Spark的那些事(二)Structured streaming中Foreach sink的用法

Structuredstreaming默认支持的sink类型有Filesink，Foreachsink，Consolesink，Memorysink。
假文艺的真码农·2023-11-02 14:01

我也能写数据库 —— Streaming(下)

概述在上一篇文章中介绍了，如何在select语句中使用stream关键字，进行流查询,并且模拟了简单数据结构，有兴趣的同学可以移步去看看(streaming上篇)。
dafei1288·2023-11-02 03:40

Flink WC 案例

一、pom.xmlorg.apache.flinkflink-scala_2.11${flink.version}org.apache.flinkflink-streaming-scala_2.11${
喵星人ZC·2023-11-01 17:14

spark streaming 与kafaka结合 低阶 高阶api的一些理解

1.createStream会使用Receiver；而createDirectStream不会,数据会通过driver接收。2.createStream使用Receiver源源不断的接收数据并把数据交给ReceiverSupervisor处理最终存储为blocks作为RDD的输入，从kafka拉取数据与计算消费数据相互独立；而createDirectStream会在每个batch拉取数据并就地消费
搞什么呀·2023-11-01 15:44

上传file时accept限制文件类型pdf、doc、docx、 jpg、 png、xls 、xlsx等格式

：*.3gppaudio/3gpp,video/3gpp3GPPAudio/Video*.ac3audio/ac3AC3Audio*.asfallpication/vnd.ms-asfAdvancedStreamingFormat
Nazgul丶戒灵·2023-11-01 12:21

利用开源 SNI PROXY+DNSMASQ 工具链实战 Netflix 流媒体解锁

开源工具为“liulilittle/sniproxy:Enhancedsni-proxysupports"HTTP,HTTP-SSL"andreverseproxy,andcanbeusedtounlockstreamingmediaresourcesof"Netflix
liulilittle·2023-11-01 05:09

让LLM模型输入token无限长

然而这些思路其实都没能很彻底的解决无限长token问题，根据《EFFICIENTSTREAMINGLANGUAGEMODELSWITHATTENTIONSINKS》这篇工作的研究原因在于：注意力陷阱。
远洋之帆·2023-11-01 02:19

【unity】在unity中播放透明视频

pwd=0mkn提取码：0mkn2、导入unity中后会有3个文件注：StreamingAssets是推荐存放视频的文件3、准备透明视频在AVProVideo播放的透明视频需要是一个左右镜像的视频，左边为原视频
西米2231·2023-10-31 18:46

大数据实时（2）-BK的FLink实时数仓实践

18年Flink不太成熟，使用Sparkstreaming属于正常的选择范畴，同时，构建了任务调度平台+SQL开发平台，降低开发难度，提升开发效率，是一个不错的选择。
天天沐沐·2023-10-31 16:08

GB28181和RTSP使用场景区别有哪些？

场景差异好多开发者纠结，到底使用GB28181还是RTSP，这里简单的谈下二者使用场景区别，GB28181和RTSP（Real-TimeStreamingProtocol）是用于视频监控和流媒体传输的两种不同的协议
音视频牛哥·2023-10-31 13:20

Debezium日常分享系列之：Debezium 2.5.0.Alpha1 发布

Debezium日常分享系列之：Debezium2.5.0.Alpha1发布一、Debezium2.5.0.Alpha1发布二、IBMInformixConnector三、MariaDB预览支持四、OracleStreaming
最笨的羊羊·2023-10-31 13:48

unity2020 webgl 加载配置文件 ScriptableObject 和StreamingAssets

一、使用ScriptableObject：（优点：unity自带无需配置，缺点：打包后无法在进行修改）建议项目初期，配置项目数据相关的数值参数。便于新项目或策划修改。1.创建配置文件相关的类型usingSystem;usingSystem.Collections.Generic;usingUnityEngine;publicclassStudent:ScriptableObject{publicL
顽皮的小猴子·2023-10-31 04:02

GPU 初理解

2、计算单元（StreamingMultiprocessor，SM）：执行计算的。每一个SM都有自己的控制单元（ControlUnit），寄存器（Register），缓存（Cache），
DingXiong·2023-10-31 01:49

Streaming Telemetry翻译学习

您需要了解的有关管道的所有信息典型的基本分析平台架构管道：简要概述管道：如何开始管道：metrics.json管道：内部监控管道：TCP拨出管道：UDP拨出gRPC：有关的知识管道：gRPC拨出（无TLS）管道：gRPC拨出（TLS）管道：gRPC拨入（无TLS）管道：gRPC拨入（TLS）管道：转到“dump.txt”管道：到InfluxDB管道：到Prometheus管道：到Kafka这么多方
郭大侠笔记·2023-10-30 19:58

AI视觉领域流媒体知识入门介绍（一）

流媒体常见传输协议RTSP（Real-TimeStreamingProtocol）是一种网络流媒体传输协议，可用于从网络摄像头等设备中获取实时视频流。许多网络摄像头和视频服务器都支持RTSP协议。
Hugo Lei·2023-10-30 13:39

【Spark Streaming】Spark Streaming整合kafka进行操作

目录整合Kafka两种模式说明spark-streaming-kafka-0-8spark-streaming-kafka-0-10Kafka手动维护偏移量整合Kafka两种模式说明Receiver接收方式
没去过埃及的法老·2023-10-30 10:24

Flink读数据 addSource

1.首先创建数据源Flink生成数据源2.消费数据源packagecom.claroja;importorg.apache.flink.streaming.api.datastream.DataStream
Claroja·2023-10-30 10:20

真实大数据简历模版（一）【大数据-4年经验】在线教育

抗压能力强，能自我激励，善于沟通与团队协作3.具备扎实的Java相关知识，熟练使用Java和Scala语言编程4.掌握Spark及其组件SparkCore、SparkSQL、SparkStreaming
大模型Maynor·2023-10-30 03:25

GRPC入门实战

RPC1、GO语言实现rpc服务端2、Go语言实现rpc客户端二、GRPC1、protobuf2、gRPC支持4类服务方法a、简单RPC（SimpleRPC）b、服务端数据流式RPC（Server-sidestreamingRPC
进击的程序猿~·2023-10-30 01:49

Apache Solr RemoteStreaming 文件读取与SSRF漏洞

0x00简介Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过HttpGet操作提出查找请求，并得到XML格式的返回结果.0x01漏洞概述ApacheSolr是一个开源的搜索服务器。在ApacheSolr未开启认证的情况下，攻击者可直接构造特定请求开启特定配置，并最终
5f4120c4213b·2023-10-29 22:15

Flink - CEP监控下单付款超时通知

执行流程Flink-CEP监控Usage导入依赖compilegroup:'org.apache.flink',name:'flink-streaming-scala_2.11',version:"1.6.2
大猪大猪·2023-10-29 07:57

【Flink】java.lang.NumberFormatException: Not a version: 9

2.1异常原因2.2.解决办法M.参考1.背景写了一个flink1.10的程序，测试ProcessAllWindowFunction方法，运行的时候报错packageorg.apache.flink.streaming.examples.window
九师兄·2023-10-29 02:04

flinkcdc將MySQL數據寫入kafka

java.version}${java.version}2.123.1.3org.apache.flinkflink-java${flink-version}org.apache.flinkflink-streaming-java
m0_37759590·2023-10-28 17:14

FlinkCDC 2.0

CDC主要分为基于查询和基于Binlog两种方式基于查询的CDC基于Binlog的CDC开源产品Sqoop、KafkaJDBCSourceCanal、Maxwell、Debezium执行模式BatchStreaming
asd623444055·2023-10-28 17:13

2.spark 读取流数据

{SparkConf,SparkContext}importorg.apache.spark.SparkContextimportorg.apache.spark.streaming.StreamingContextimportorg.apache.spark.streaming.Se
一杭oneline·2023-10-28 16:52

Spark(Streaming)写入数据到文件-关键为根据数据内容输出到不同自定义名称文件(saveAsHadoopFile以及自定义MultipleOutputFormat)

之前的Spark实时流处理的数据处理程序，要求把数据从kafka接收之后，分2路分别写入kafka和hdfs，写入kafka的部分之前已经有过总结，现在回过头来把之前的写入HDFS的地方重新总结一下，整个过程从头到尾有一个写入方式的优化，不过时间有点长啦，尽量描述完整(˘³˘)♥。注意:本文中使用的版本是spark2.2.1和2.6.0-cdh5.11.0背景在工作中，需要将从kafka收到的数据
超级侠哥·2023-10-28 15:17

细说RTSP、RTMP和GB28181区别

RTSP（Real-TimeStreamingProtocol）、RTMP（Real-TimeMessagingProtocol）和GB28181都是用于实时流媒体传输，大概区别如下：1.RTSP：-RTSP
音视频牛哥·2023-10-28 12:38

2018-09-11

Unsupervisedreal-timeanomalydetectionforstreamingdata背景：我们知道现在每天产生大量流式的、具有时间序列性的数据，如何对这些数据进行实时的检测成为一个挑战
creamelody·2023-10-28 11:57

Unity Json数据生成可视化对象

publicListm_AllPlanetaryData=newList();privatevoidStart(){m_AllPlanetaryData=JsonLoad.Instance.LoadJsonDatas>(Application.streamingAssetsPath
龙胖胖的博客·2023-10-28 05:36

Flink Streaming-Sink

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料100篇原创内容公众号圣诞节快乐该连接器提供了对Flink文件系统抽象支持的文件系统中的分区文件的访问.文件系统连接器本身就被包括在Flink中，不需要任何额外的依赖。当从文件系统中读取或向文件系统写入记录时，需要指定相应的记录格式。文件系统连接器支持对本地文件系统或分布式文件系统的读取和写入。可以通过
hyunbar·2023-10-28 02:49

SparkStreaming【实例演示】

前言1、环境准备启动Zookeeper和Kafka集群导入依赖：org.apache.sparkspark-core_2.123.2.4org.apache.sparkspark-streaming_2.123.2.4org.apache.sparkspark-streaming-kafka
让线程再跑一会·2023-10-28 02:15

spark on yarn 时，使用rest api 查看job的信息，然而看官方文档，没有明确告诉url到底是什么

首先，打开sparkstreaming的web页面，按F12打开控制台，点击Executors，发现有一个allexecutors请求，暴露出了restapi的地址http://ip:8088/proxy
Jaming R·2023-10-27 22:48

【计网 CDN】计算机网络 CDN（Content Delivery Network）分布式网络架构详解：中科大郑烇老师笔记 （八）

2视频流化服务2.1多媒体：视频2.2存储视频的流化（Streaming）服务2.3流媒体传输协议：DASH2.4面临挑战：服务器如何向上百万用户同时提供视频流化内容？
海码007·2023-10-27 08:31

unity打包后无法读取Excel解决方法

二、解决办法第一种，未能解决：在脚本中使用文件路径的时候尽量使用Application.streamingAsset
紫龙大侠·2023-10-27 03:22

使用Flink Streaming Query 查询Hudi(出现包冲突以及Hive 3.1.3 编译Hudi 时间戳异常)

关于Hudi0.13.1StreamingQuery报错org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormatClassNotFoundExceptionKeywords
Such Devotion·2023-10-27 01:31

Kafka Introduction

1.Whatiseventstreaming?
Eazow·2023-10-26 21:37

Spark【Spark Streaming】

1、基本数据源1.1、文件流在sparkShell下运行：[[email protected]]$spark-shellSettingdefaultloglevelto"WARN".Toadjustlogginglevelusesc.setLogLevel(newLevel).ForSparkR,usesetLogLevel(newLevel).2022-09-0808:5
让线程再跑一会·2023-10-26 20:13

12 Cool Things to Do With a Home Server

CoolThingstoDowithaHomeServer1.StreamingMedia2.OnlineGaming3.RunningaTestServer4.CompilingSmartDevices5
码鹿的笔记·2023-10-26 19:28

文件的常用操作（读取压缩文件、解压、删除）

背景：最近做一个腾讯cos桶文件的读写与本地数据库查询等操作Retrofit中文件下载的可以添加@Streaming@Streaming@GETObservabledownloadCosFile(@UrlStringdownloadUrl
weixin_37716758·2023-10-26 15:52

flink接入mqtt数据源

packagecom.agioe.flink.source.mqtt;importorg.apache.flink.streaming.api.functions.source.RichSourceFunction
如果丶可以坑·2023-10-26 14:45

大数据系列之Spark集群环境部署

Spark作为一种大数据分布式计算框架，已经构建SparkStreaming、SparkSQL、SparkML等组件，与文件系统HDFS、资源调度YARN一起，构建了Spark生态体系，如下图所示：以下部分将主要介绍
solihawk·2023-10-26 04:51

Redis -- 基础知识1

1.介绍1.初识RedisRedis：Theopensource,in-memorydatastoreusedbymillionsofdevelopersasadatabase,cache,streamingengine
哈里沃克·2023-10-26 00:19

海康摄像机/录像机rtsp视频流地址格式

★目前海康录像机、网络摄像机，网络球机的RTSP单播取流格式如下（车载录像机不支持RTSP取流）：rtsp://用户名:密码@IP:554/Streaming/Channels/101→录像机示例：取第
期待mizi·2023-10-26 00:47

通俗介绍：什么是 Redis ？

Redis官网可以看到，官方对Redis的介绍是这样的：Theopensource,in-memorydatastoreusedbymillionsofdevelopersasadatabase,cache,streamingengine
碳基肥宅·2023-10-25 21:34

大数据面试题汇总

8.SparkStreaming
kuntoria·2023-10-25 20:28

6 Flink 窗口及其函数

6Flink窗口及其函数window窗口概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段
一直奔跑的马·2023-10-25 18:57

活动回顾 | MatrixOne 在 SaaS 企服领域的应用解读

通过全新从零自研的统一分布式数据库引擎，能够同时灵活支持OLTP、OLAP、Streaming等不同工作负载的数据管理和应用，用户可以在公有云、自建数据中心和边缘节点上
MatrixOrigin·2023-10-25 16:25

2021 gstreamer插件编写指南中英对照 (一) 前言

Introduction介绍GStreamerisanextremelypowerfulandversatileframeworkforcreatingstreamingmediaapplications.ManyofthevirtuesoftheGStreamerframeworkcomefromitsmodularity
Aero Auto·2023-10-25 10:09
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他