-----Streaming

Spark（39）：Streaming DataFrame 和 Streaming DataSet 输出

.Append模式(默认)2.2.Complete模式2.3.Update模式2.4.输出模式总结3.输出接收器(outputsink)3.1.filesink3.2.kafkasink3.2.1.以Streaming
电光闪烁·2023-08-14 19:30

视频流媒体领域，常用的技术有哪些呢？

今天，咱们分享下在视频流媒体领域，常用的技术和协议，主要包括以下几种：HTTPLiveStreaming(HLS)：HLS是由Apple开发的一种流媒体传输协议，它使用HTTP作为传输协议，将视频流切分成小的
字节跳远·2023-08-14 16:18

影院尚处寒冬 国内流媒体已迎来春天？

01流媒体（streamingmedia）是指将一连串的媒体数据压缩后，经过网上分段发送数据，在网上即时传输影音以供观赏的一种技术与过程，此技术使得数据包得以像流水一样发送；如果不使用此技术，就必须在使用前下载整个媒体文件
铁锹电影·2023-08-13 21:51

flink快速上手

快速上手1.添加依赖UTF-8881.12.21.82.12com.fasterxml.jackson.corejackson-databind2.8.3org.apache.flinkflink-streaming-java
繁星-赵老师·2023-08-13 15:21

05_Hudi 集成 Flink、Streaming query、Flink SQL Writer、Flink SQL集成Kafka、Flink SQL写入Hudi、消费Kafka数据等

课程5.第五章Hudi集成Flink5.1安装Flink1.125.2快速入门5.2.1集成Flink概述5.2.2环境准备5.2.3创建表5.2.4插入数据5.2.5查询数据5.2.6更新数据5.3Streamingquery5.3.1
涂作权的博客·2023-08-13 10:03

Flink CDC系列之：基于 Flink CDC 构建 MySQL 和 Postgres 的 Streaming ETL

FlinkCDC系列之：基于FlinkCDC构建MySQL和Postgres的StreamingETL一、技术路线二、MySQL数据库建表三、PostgreSQL数据库建表四、在FlinkSQLCLI中使用
最笨的羊羊·2023-08-13 09:22

SSE(Server Sent Event)消息推送

但是，有一种变通方法，就是服务器向客户端声明，接下来要发送的是流信息（streaming）。也就是说，发送的不是一次性的数据包，而是一个数据流，会连续不断地发送过来。
从不讲道理·2023-08-12 02:33

Redis的简介，安装（Linux、Windows），配置文件的修改---详细介绍

企业应用广泛1、Redis入门1.1、Redis简介Theopensource,in-memorydatastoreusedbymillionsofdevelopersasadatabase,cache,streamingengine
曼诺尔雷迪亚兹·2023-08-11 04:48

flink报错：not find implicit value for evidence parameter

解决方法在代码中引入以下包：importorg.apache.flink.streaming.api.scala.如果数据是有限的（静态数据集），我们可以引入以下包：importorg.apache.flink.api.scala
朤长弓·2023-08-11 01:26

MacOS安装RabbitMQ

官网地址：RabbitMQ:easytouse,flexiblemessagingandstreaming—RabbitMQ一、brew安装brewupdate#更新一下homebrewbrewinstallrabbitmq
做测试的喵酱·2023-08-10 12:20

apache paimon-update

apachepaimonApachePaimon(incubating)isastreamingdatalakeplatformthatsupportshigh-speeddataingestion,changedatatrackingandefficientreal-timeanalytics
呵呵小短腿·2023-08-10 10:28

Apache Paimon 学习笔记

1概述1.1简介Flink社区希望能够将Flink的Streaming实时计算能力和Lakehouse新架构优势进一步结合，推出新一代的StreamingLakehouse技术，促进数据在数据湖上真正实时流动起来
第一片心意·2023-08-10 10:55

回顾｜Streaming Lakehouse Meetup · 北京站（附问题解答 & PPT 下载）

更多活动现场照片：https://live.photoplus.cn/live/pc/53265145/#/7月29日StreamingLakehouseMeetup邀请了来自阿里巴巴、字节跳动的七位技术专家
Apache Flink·2023-08-10 07:30

原神音乐解包

使用方法：下载并且解压项目压缩包把原神的音乐文件（位置为GenshinImpact\GenshinImpactGame\YuanShen_Data\StreamingAssets\Audio\GeneratedSoundBanks
雪靡·2023-08-09 23:46

flink事件水位线Watermark样例

JSONObject}importorg.apache.flink.api.common.serialization.SimpleStringSchemaimportorg.apache.flink.streaming.api.TimeCharacteristicimportorg
BigData-0·2023-08-09 22:36

UE4 像素流 学习笔记

使用场景：1、登录服务器，服务器上安装node.jsDownload|Node.js(nodejs.org)点击该网址点击WindowsInstaller2、登录服务器，拷贝本地UEPixelStreaming
远离UE4·2023-08-09 20:39

Unity 获取 AB 源文件路径（打包进安装包的）

stringpath,boolforWWW=true){stringfilePath=null;#ifUNITY_EDITORif(forWWW)filePath=string.Format("file://{0}/StreamingAssets
_灯下影子·2023-08-09 03:23

【IDEA+Spark Streaming 3.4.1+Dstream监控套接字流统计WordCount保存至MySQL8】

【IDEA+SparkStreaming3.4.1+Dstream监控套接字流统计WordCount保存至MySQL8】把DStream写入到MySQL数据库中Spark3.4.1MySQL8.0.30sbt1.9.2
pblh123·2023-08-08 12:28

hadoop Java API 比较python 下的hadoop streaming

javaapi来运行mapreduce程序1首先需要搭建一个hadoop集群。2配置环境变量exportCLASSPATH=$($HADOOP_HOME/bin/hadoopclasspath):$CLASSPATH[root@masterworkspace]#$HADOOP_HOME/bin/hadoopclasspath/root/software/hadoop/hadoop-2.6.1/et
sadamu0912·2023-08-08 11:23

[CKA]考试之Sidecar代理

添加streamingsidecar容器是实现此要求的一种好方法。Task使用busyboxImage来将名为sidecar的sidecar容器添加到现有的
一杯咖啡半杯糖·2023-08-08 08:45

基于大数据框架的协同过滤算法餐饮推荐系统【Update2023-6-25】

Github地址：https://github.com/share23/Food_Recommender他的系统采用实时大数据技术组件，具体有SparkStreaming，HDFS分布式存储，Hbase
程序终结者·2023-08-08 06:47

C# 调用ffmpeg把rtsp视频流保存为MP4文件

()=>{stringffmpegPath=@"J:\ffmpeg\ffmpeg.exe";stringcmd=@"-y-irtsp://admin:[email protected]:1024/Streaming
yzcheng90·2023-08-07 14:05

打包AssetBundle上传服务器,并用lua进行更新

这个脚本需要放在Assets下建一个Editor文件里面引入命名空间：usingUnityEditor;和文件留的命名空间：usingSystem.IO;这里会创建一个文件夹streamingAssets
Optimistic_lx·2023-08-07 13:36

1、sparkStreaming概述

1、sparkStreaming概述1.1SparkStreaming是什么它是一个可扩展，高吞吐具有容错性的流式计算框架吞吐量：单位时间内成功传输数据的数量之前我们接触的spark-core和spark-sql
Wzideng·2023-08-07 13:51

2、Spark Streaming编码实践

2、SparkStreaming编码实践SparkStreaming编码步骤：1，创建一个StreamingContext2，从StreamingContext中创建一个数据对象3，对数据对象进行Transformations
Wzideng·2023-08-07 13:51

spark-submit脚本

/bin/bashcount=`ps-ef|greptotalUriStreaming|grep-vgrep|wc-l`kinit-kt/root/hdfs.keytabhdfs/p37.awi
gofun·2023-08-07 07:37

七牛直播拉流端、直播推流端支持模拟器

raw.githubusercontent.com/pili-engineering/PLPlayerKit/master/PLPlayerKit-Universal.podspec'#七牛直播推流端pod"PLMediaStreamingKit
富春江水·2023-08-07 04:53

postgresq高可用、负载均衡、复制说明(官方文档)

文章目录26.1不同的方案比较26.2高可用26.2.1主备要求26.2.2备库处理Wal26.2.3准备主库26.2.4配置备库26.2.4.1log模式复制26.2.4.2streaming模式复制
飙风宅男·2023-08-06 23:42

Unity的图片轮播

的界面注意在左边和右边的按钮上，添加两个监听，左边按钮是ClickLeft(),右边是ClickRight().也可以在代码中添加监听（这里没写）option设置3核心代码控制图片的滑动，外部导入图片是在StreamingAssets
石阿包·2023-08-06 20:39

SparkStreaming实时流处理

SparkStreaming之前项目中用过一段时间，最近正好闲下来做一下梳理。
朱Sir_小猿·2023-08-06 09:39

unity Application 本地目录资源路径详解 Application.StreamingAssetsPath、Application.PersistentDataPath等

目录介绍Application.StreamingAssetsPath：普通资源目录【读写权限】：pc可读写，移动端只读【功能特点】：不压缩，外部可访问资源内容【Editor路径】：Assets/StreamingAssets
千年奇葩·2023-08-06 06:16

UnityAssetBundle

AssetBundle动态加载在Asset目录下新建一个StreamingAssets文件夹创建一个BundleEditor.cs脚本文件usingUnityEditor;usingUnityEngine
林一怂儿·2023-08-05 17:37

Spark、RDD、Hive 、Hadoop-Hive 和传统关系型数据库区别

mapreduce的作用MapReduce的缺点运行速度慢（没有充分利用内存）接口比较简单，仅支持MapReduce功能比较单一只能做离线计算Spark优势运行速度快自身生态比较完整sparksqlsparkstreamingsparkmllibSparkMLap
Wzideng·2023-08-05 15:22

Linux V4L2驱动框架分析之（三）：v4l2设备的缓存管理

：平台v4l2设备驱动LinuxV4L2驱动框架分析之（三）：v4l2设备的缓存管理LinuxV4L2驱动框架分析之（四）：sensor驱动v4l2设备读取数据的方式有两种，一种是read方式，一种是streaming
m0_46525308·2023-08-05 13:46

Spark Streaming反压机制2

背景在默认情况下，SparkStreaming通过receivers(或者是Direct方式)以生产者生产数据的速率接收数据。
麦子星星·2023-08-05 12:07

大数据-玩转数据-FLINK-从kafka消费数据

packagecom.lyh.flink04;importorg.apache.flink.api.common.serialization.SimpleStringSchema;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvir
人猿宇宙·2023-08-05 09:10

HLS、Smooth Streaming、HDS和Dash

主流的基于HTTP的流媒体网络传输协议主要有四种：苹果的HLS微软的SmoothStreamingAdobe的HDS国际标准MPEG-DASH分别介绍一下。
长夜西风·2023-08-05 06:51

Spark Core、Spark SQL、Spark Streaming一锅端

目录一、什么是Spark？介绍特点与MapReduce相比技术栈二、Spark架构运行架构核心组件三、SparkCoreRDD概念特性RDD依赖关系DAG分区Shuffle过程RDD创建方式算子常用的转换算子(Scala版)常用的转换算子(Java版)常用的动作算子(Scala)RDD持久化RDD共享变量RDD分区设计数据倾斜示例：WordCount四、SparkSQLShark：SparkSQL
菜鸟也学大数据·2023-08-05 02:16

flink写入DataHub(DatahubSinkFunction的使用方法）

*;importorg.apache.flink.api.common.functions.MapFunction;importorg.apache.flink.streaming
Appreciate(欣赏)·2023-08-04 15:10

Flink实时写入Mysql数据

importorg.apache.flink.api.common.functions.MapFunction;importorg.apache.flink.api.common.typeinfo.BasicTypeInfo;importorg.apache.flink.streaming.api.datastream.DataStream
Appreciate(欣赏)·2023-08-04 15:10

FlinkCDC实时监控Mysql

importcom.alibaba.ververica.cdc.connectors.mysql.MySQLSource;importcom.alibaba.ververica.cdc.debezium.DebeziumSourceFunction;importorg.apache.flink.streaming.api.datastream.DataStream
Appreciate(欣赏)·2023-08-04 15:10

StAX解析器

StAX（StreamingAPIforXML）是一种用于解析和生成XML文档的Java编程语言API。
hello_中年人·2023-08-04 13:20

基于 Flink & Paimon 实现 Streaming Warehouse 数据一致性管理

摘要：本文整理自字节跳动基础架构工程师李明，在ApachePaimonMeetup的分享。本篇内容主要分为四个部分：背景方案设计当前进展未来规划点击查看原文视频&演讲PPT一、背景早期的数仓生产体系主要以离线数仓为主，业务按照自己的业务需求将数仓分为不同的层次，例如DWD、DWS、ADS等。在离线数仓中，业务数据会经过离线ETL加工进入数仓，层与层之间的数据转换也会使用离线ETL来进行处理。ADS
Apache Flink·2023-08-04 11:03

Flink 之输出算子Sink

Flink之输出算子Sink一、StreamingFileSink1.1、SinkUtils类1.2、SinkStream类二、KafkaSink2.1、SinkUtils类2.2、SinkStream
码上_成功·2023-08-04 09:41

Apache Flink概述

通常被人们称为第三代大数据分析方案第一代大数据处理方案：基于Hadoop的MapReduce静态批处理|Storm实时流计算，两套独立的计算引擎，难度大（2014年9月）第二代大数据处理方案：SparkRDD静态批处理、SparkStreaming
LJiaWang·2023-08-03 10:15

Flink系列-基本概念：Streaming 101: The world beyond batch

Editor'snote:Thisisthefirstpostinatwo-partseriesabouttheevolutionofdataprocessing,withafocusonstreamingsystems
神奇的考拉·2023-08-02 19:07

Spark-Hbase重点知识回顾

mapreduce的作用MapReduce的缺点运行速度慢（没有充分利用内存）接口比较简单，仅支持MapReduce功能比较单一只能做离线计算Spark优势运行速度快自身生态比较完整sparksqlsparkstreamingsparkmllibSparkMLap
Wzideng·2023-08-02 14:35

SpringBoot使用stream查询实现Mysql百万级数据导出

SpringBoot使用stream查询实现Mysql百万级数据导出一JPA实现百万级数据导出参考博客：http://knes1.github.io/blog/2015/2015-10-19-streaming-mysql-results-using-java8
勉之~·2023-08-02 11:50

【电影推荐系统】实时推荐

实时推荐服务：项目采用SparkStreaming作为实时推荐系统，通过接收Kafka中缓存的数据，通过设计的推荐算法实现对实时推荐的数据处理，并
编程小白呀·2023-08-02 06:35

HDFS 分布式存储 spark storm HBase

masterslavenamenodeclient负责文件的拆分128MB3份datanodeMapReduce分布式计算离线计算2.X之前速度比较慢对比spark编程思想Map分Reduce合hadoopstreamingMrjobYarn
Wzideng·2023-08-01 12:07
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他