streaming

Flink实战案例四部曲

importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment;importorg.apache.fli
play_big_knife·2023-12-26 18:51

Debezium发布历史26

原文地址：https://debezium.io/blog/2018/01/17/streaming-to-elasticsearch/欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.将数据更改从数据库流式传输到
大大蚊子·2023-12-26 07:12

HttpRetryException: cannot retry due to redirection, in streaming mode

错误栈2021-07-3016:56:09.979ERROR18697---[nio-8000-exec-1]o.a.c.c.C.[.[.[/].[dispatcherServlet]:Servlet.service()forservlet[dispatcherServlet]incontextwithpath[]threwexception[Requestprocessingfailed;nes
朱阿朱·2023-12-25 21:37

安装RabbitMQ

官网：RabbitMQ:easytouse,flexiblemessagingandstreaming—RabbitMQ单机部署：在Centos7虚拟机中使用Docker来安装。
Winter.169·2023-12-25 20:16

幸福里基于 Flink & Paimon 的流式数仓实践

摘要：本文整理自字节跳动基础架构工程师李国君，在StreamingLakehouseMeetup的分享。幸福里业务是一种典型的交易、事务类型的业务场景，这种业务场景在实时数仓建模中遇到了诸多挑战。
浪尖聊大数据-浪尖·2023-12-25 10:45

Flink1.17实战教程（第一篇：概念、部署、架构）

系列文章目录Flink1.17实战教程（第一篇：概念、部署、架构）文章目录系列文章目录1.Flink概述1.1Flink是什么1.2Flink特点1.3FlinkvsSparkStreaming1.4Flink
阿moments·2023-12-25 04:02

Flink知识点

Flink1.简单介绍一下Flink2.Flink的运行必须依赖Hadoop组件吗3.Flink集群运行时角色4.Flink相比SparkStreaming的区别4.1、什么是两阶段提交协议？
芝麻仗剑走天涯·2023-12-24 22:26

Introduction to Apache Flink - CH2 -Traditional Architecture versus Streaming Architecture

传统结构与流式结构的对比传统上，一个数据后端的典型结构是使用数据库来存储业务事务性数据。换句话说，数据库（无论是SQL还是NoSQL数据库）存储着就”新鲜的“（准确的近义词）数据，这些数据代表了业务的当前状态。举例来说，这些新鲜的数据可能代表着有多少用户登录了你的系统，你的网站有多少活跃用户或者每个用户当前账户的余额是多少等等。需要使用新鲜数据的数据应用就是建立再这些数据库的基础上的。另一些数据存
耳边的火·2023-12-24 20:44

Outsource Streaming Range Query Authentication

Concentration:rangequeryauthenticationdatastreampartiallymaterializeddigest(PMD)one-shotandslidingwindowqueriesProblemDefinitionUsetheslidingwindowmodel(querythelatestntuple)tosearchthedatastream.Defi
SeanC52111·2023-12-24 19:18

Debezium发布历史20

原文地址：https://debezium.io/blog/2017/09/25/streaming-to-another-database/欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯
大大蚊子·2023-12-24 15:18

iOS 边学边记 HLS协议 m3u8 ts详解

HLS就是“HTTPLiveStreaming”的缩写，它诞生自2009年，QuickTime和iPhone3GS黄金搭档下的一个标准，一个意在颠覆流媒体产业的新协议。
一了百-了·2023-12-24 10:52

Spark Streaming流计算框架的运行流程源码分析

1.sparkstreaming程序代码实例代码如下：objectOnlineTheTop3ItemForEachCategory2DB{defmain(args:Array[String]){valconf
尼小摩·2023-12-24 01:47

rtsp报文

客户端请求：OPTIONSrtsp://172.29.180.26:8554/liveRTSP/1.0CSeq:2User-Agent:LibVLC/3.0.18(LIVE555StreamingMediav2016.11.28
lxzlife·2023-12-24 01:57

unity 发布WebGL 读取streamingAssets文件夹内的TXT 遇到的问题

读取的文件路径上代码stringpath=Path.Combine(Application.streamingAssetsPath,"data.txt");//unityEditor，webgl端都可以读取
AD_喵了个咪·2023-12-23 22:16

SparkStreaming和Kafka

0.一些问题SparkStreaming如何消费KafkaKafka的offset如何维护如何获取Kafka的offsetKafka获取offset的时候会不会消费kafka的记录Kafka的分区和sparktask
天之見證·2023-12-23 16:25

使用QT实现RTSP视频流传输编程

使用QT实现RTSP视频流传输编程RTSP（Real-TimeStreamingProtocol）是一种用于在计算机网络上通过IP网络传输多媒体数据的协议。
程序世界航海·2023-12-23 10:36

Apache Flink 进阶教程（七）：网络流控及反压剖析

目录前言网络流控的概念与背景为什么需要网络流控网络流控的实现：静态限速网络流控的实现：动态反馈/自动反压案例一：Storm反压实现案例二：SparkStreaming反压实现疑问：为什么Flink（beforeV1.5
话数Science·2023-12-23 08:10

SparkStreaming学习记录

版本：Spark2.4.01.OverviewSparkingStreaming是对SparkAPI的一种扩展，用于处理实时数据流。
Jorvi·2023-12-23 08:49

kafka流数据_使用数据流将Kafka转换为BigQuery

流分析(Streaminganalytics)Manyorganizationsarerelyingontheopen-sou
weixin_26752759·2023-12-23 08:24

PySpark 日志治理方法

无论是PySpark程序、还是Scala编写的Spark程序，对于运行中的日志写入与查看的现状都是类似的，大体有两点痛点：1.特别是一直在线运行的Streaming项目，通过print打印的日志直接进入了
AGERA_0429·2023-12-23 03:37

Flink系列之：Elasticsearch SQL 连接器

ElasticsearchSQL连接器二、创建Elasticsearch表三、连接器参数四、Key处理五、动态索引六、数据类型映射一、ElasticsearchSQL连接器Sink:BatchSink:StreamingAppend
最笨的羊羊·2023-12-22 21:46

RTP/RTCP/RTSP/SIP/SDP/RTMP对比

RTSP（Real-TimeStreamingProtocol）是一种用于流
CONNY~·2023-12-22 15:07

Apache Paimon核心原理和Flink应用进阶

1.1简介Flink社区希望能够将Flink的Streaming实时计算能力和Lakehouse新架构优势进一步结合，推出新一代的StreamingLakehouse技术，促进数据在数据湖上真正实时流动起来
王知无(import_bigdata)·2023-12-22 11:57

Streaming 101: The world beyond batch

ByTylerAkidauAugust5,2015Editor'snote:Thisisthefirstpostinatwo-partseriesabouttheevolutionofdataprocessing,withafocusonstreamingsystems
slivelight·2023-12-21 20:56

Kafka | Flume Sink日志到Kafka&HDFS

记录下将服务端AC设备产生的数据采集到Flume中，然后基于FlumeSink把数据日志同时写入到Kafka与HDFS中，对于Kafka中的数据保存到指定的Topic中，然后后续基于SparkStreaming
点滴笔记·2023-12-21 17:53

###好好好######Spark GraphX处理图数据

我们已经了解了如何将ApacheSpark应用于处理批数据（SparkCore）以及处理实时数据（SparkStreaming）。有时候，所需处理的数据是很自然地联系在一起的。
mishidemudong·2023-12-21 11:03

Flink利用process算子进行分流操作

org.apache.flinkflink-streaming-scala_2.111.11.1org.apache.flinkflink-client
iFence·2023-12-21 06:36

Flink系列之：Upsert Kafka SQL 连接器

、可用元数据五、键和值格式六、主键约束七、一致性保证八、为每个分区生成相应的watermark九、数据类型映射一、UpsertKafkaSQL连接器ScanSource:Unbounded、Sink:StreamingUpsertModeUpsertKafka
最笨的羊羊·2023-12-20 17:19

编写工具栏

1.编辑器上方的菜单栏image.pngimage.png这里设置的输出路径为StreamingAssets,build完成后会有下图的两个相同名字的文件，这是总的配置文件Windows.manifestimage.png
醉酒青牛_fa4e·2023-12-19 16:10

从零开始了解大数据(一)：数据分析入门篇

目录前言一、数据分析1.企业数据分析方向(1)原因分析：离线分析(BatchProcessing)(2)现状分析：实时分析(RealTimeProcessing|Streaming)(3)预测分析：机器学习
橘子-青衫·2023-12-19 13:23

Shell脚本实现MapReduce统计单词数程序

一、原理介绍概述HadoopStreaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如：采用shell脚本语言中的一些命令作为mapper
鹅鹅鹅_·2023-12-19 08:32

Flink系列之：窗口去重

Flink系列之：窗口去重一、窗口去重二、示例三、限制一、窗口去重适用于Streaming窗口去重是一种特殊的去重，它根据指定的多个列来删除重复的行，保留每个窗口和分区键的第一个或最后一个数据。
最笨的羊羊·2023-12-18 21:22

API管理-架构-1-概要设计

API管理-架构-概要设计前言API为中心的架构RESTAPIUnlessStreamingAPI微服务与APIAPI分类API分层API平台API安全一些必要点Reference前言为了在企业中能够更好的支持
Xu Kun·2023-12-18 17:25

大数据分析技术与实战之Spark Streaming

SparkStreaming是Spark上
丨程序之道丨·2023-12-18 11:30

GPU架构浅析以及对游戏着色器编码的启发（包含最新40系架构）

SM（StreamingMultiprocessor）是基础的计算单元。所有计算任务最终都要由SM中的一个或几个组件协同完成计算。
七言white·2023-12-18 09:31

MetaAI语音翻译大模型Seamless登场，主打AI无缝同声传译

论文题目：Seamless:MultilingualExpressiveandStreamingSpeechTranslation论文链接：https://ai.meta.com/research/publications
TechBeat人工智能社区·2023-12-18 08:15

Spark基础入门

spark基础入门环境搭建localstandlonesparkhasparkcodesparkcoresparksqlsparkstreaming环境搭建准备工作创建安装目录mkdir/opt/softcd
李昊哲小课·2023-12-17 21:04

91、Spark Streaming之transform以及广告计费日志实时黑名单过滤案例实战

transform以及实时黑名单过滤案例实战transform操作，应用在DStream上时，可以用于执行任意的RDD到RDD的转换操作。它可以用于实现，DStreamAPI中所没有提供的操作。比如说，DStreamAPI中，并没有提供将一个DStream中的每个batch，与一个特定的RDD进行join的操作。但是我们自己就可以使用transform操作来实现该功能。DStream.join()
ZFH__ZJ·2023-12-17 19:31

flink找不到隐式项

增加importorg.apache.flink.streaming.api.scala._即可
Thomas2143·2023-12-17 15:45

Spark-Streaming+HDFS+Hive实战

文章目录前言一、简介1.Spark-Streaming简介2.HDFS简介3.Hive简介二、需求说明1.目标：2.数据源：3.数据处理流程：4.HDFS文件保存：5.Hive外部表映射：三、实战示例演练
大数据魔法师·2023-12-17 06:38

伟大的UHD编解码器的辩论:谷歌VP9与HEVC / H.265

哪一个获得成功并where-involves很多因素和各种streaming-related市场可能会有所不同,我讨论的吗“编解码器”在2015条流媒体原始资料。
weixin_34043301·2023-12-17 05:54

JAVA 导出报表 大数据量 sxssfworkbook的使用

XSSFWorkbook但是导出数据量过大的时候经常出现OOM，现在发现使用sxssfworkbook减少内存压力官网是这样介绍的：SXSSF(package:org.apache.poi.xssf.streaming
皮之鲲·2023-12-17 03:40

On-Demand 和自金融

流媒体(Streaming)技术通过引入buffer的机制。创建流媒体协议，通过流媒体服务器和播放器。
曹博士·2023-12-16 10:37

RabbitMQ--消息模型

可参考RabbitMQ官网：RabbitMQ:easytouse,flexiblemessagingandstreaming—RabbitMQ1、简单队列模式简单队列模式的模型图：官方的HelloWorld
勤奋的小狮子YY·2023-12-16 08:39

Flink+Kafka消费

引入jarorg.apache.flinkflink-java1.8.0org.apache.flinkflink-streaming-java_2.111.8.0org.apache.flinkflink-connector-kafka
信仰_273993243·2023-12-16 06:38

Next.js加载异步组件 & 骨架屏

Next.js中有两种处理页面加载的方式，一种是LoadingUI一种是Streaming。接下来我将介绍这两种的区别，以及实际的业务场景。
远小帅·2023-12-16 05:12

Spark+Kafka构建实时分析Dashboard案例

Hadoop安装Spark安装Kafka安装Python安装Python依赖库安装vscode安装Python工程目录结构二、数据处理和Python操作Kafka数据集数据预处理运行三、StructuredStreaming
Hay Ha!·2023-12-15 22:40

Spark Streaming对接Kafka

4、SparkStreaming对接Kafka4.1对接数据的两种方式在前面的案例中，我们监听了来自网络端口的数据，实现了WordCount，但是在实际开发中并不是这样。
Echo-Niu·2023-12-15 22:09

Spark Streaming整合Kafka实战二

SparkStreaming整合Kafka实战二SparkStreaming整合kafka的第二种方式1.DirectApproach(NoReceivers)优点：缺点：2.偏移量解决方案自动提交偏移量
怒上王者·2023-12-15 22:38

sparkStreaming与kafka整合案例

pom文件4.0.0com.cllday011.0-SNAPSHOTaliyunhttp://maven.aliyun.com/nexus/content/groups/public/clouderahttps://repository.cloudera.com/artifactory/cloudera-repos/jbosshttp://repository.jboss.com/nexus/co
古城的风cll·2023-12-15 22:08
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他