Streaming

Kafka详细解析与应用分析

Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），由LinkedIn公司最初采用Scala语言开发，并基于ZooKeeper协调管理。

芊言芊语·2024-09-15 20:33

Spark 组件 GraphX、Streaming

Spark组件GraphX、Streaming一、SparkGraphX1.1GraphX的主要概念1.2GraphX的核心操作1.3示例代码1.4GraphX的应用场景二、SparkStreaming2.1SparkStreaming

叶域·2024-09-15 14:54

PostgreSQL进阶教程

CTE（公用表表达式）数据类型自定义数据类型数组JSON高级索引部分索引表达式索引GIN和GiST索引性能调优查询优化配置优化备份与恢复物理备份逻辑备份扩展与插件PostGISpg_cron集群与高可用StreamingReplicationPatroni

爱分享的码瑞哥·2024-09-14 19:05

ExoPlayer简单使用

ExoPlayer支持内置的媒体播放器支持的所有格式外加自适应格式DASH和SmoothStreaming。ExoPlayer可以被高

csdn_zxw·2024-09-14 19:32

「经济学人」Streaming-video wars

GameofphonesHBOwillleadAT&T’schallengetoNetflixTimeWarner’scrownjewelmustscaleupwhilemaintainingqualityINLATE2012,justbeforethereleaseof“HouseofCards”,TedSarandos,chiefcontentofficerofNetflix,declared

英语学习社·2024-09-14 08:03

【HDFS】【HDFS架构】【HDFS Architecture】【架构】

目录1Introduction介绍2AssumptionsandGoals假设和目标HardwareFailure硬件故障StreamingDataAccess流式数据访问LargeDataSets大型数据集

资源存储库·2024-09-14 04:53

pg13.x主从节点搭建以及数据同步

：10.211.110.55、10.211.110.56步骤2:主库配置比如在PostgreSQL中实现一主一从的集群模式，此处选定10.211.110.55为主节点，另一个为从节点，可以使用流复制（StreamingReplication

亦诗亦诗·2024-09-13 01:32

比较Spark与Flink

下面是二者的对比：1.处理模式Spark:主要支持批处理（BatchProcessing），也能通过SparkStreaming处理流式数据，但SparkStreaming本质上是通过微批（micro-batching

傲雪凌霜，松柏长青·2024-09-11 04:29

EasyDarwin开源平台直播架构

ClientClientCMSCMSEasyCameraEasyCameraEasyDarwinEasyDarwin请求设备列表设备列表json请求设备直播(携带SN序列号)推送视频请求(携带EasyDarwin地址和端口)RTSP直播推送RTPStreaming

jljf_hh·2024-09-11 02:43

推荐项目：Monibuca（m7s）—— 开源直播服务器框架的明日之星

陶真蔷Scott·2024-09-11 02:42

llm在网页中的流式输出（langchain与streamlit库）

ollama为例llm=Ollama(base_url="http://localhost:11434",model="qwen",callback_manager=CallbackManager([StreamingStdOutCallbackHandler

格瑞Lxf·2024-09-10 23:22

StarRocks Lakehouse 快速入门——Apache Paimon

文章末尾，我们集合了来自阿里云、饿了么、喜马拉雅和同程旅行等行业领导者在StarRocksxPaimonStreamingLakehouse活动中的实战经验分享。

StarRocks_labs·2024-09-08 19:20

JAVA/数据监控：如何在前端上监听到RabbitMQ发送消息

stomp协议即Simple(orStreaming)TextOrientatedMessagingProtocol，简单(流)文本定向消息协议，它提供了一个可互操作的连接格式，允许STOMP客户端与任意

JAVA炭烧·2024-09-08 07:27

pyspark kafka mysql_数据平台实践①——Flume+Kafka+SparkStreaming(pyspark)

蜻蜓点水Flume——数据采集如果说，爬虫是采集外部数据的常用手段的话，那么，Flume就是采集内部数据的常用手段之一(logstash也是这方面的佼佼者)。下面介绍一下Flume的基本构造。Agent：包含Source、Channel和Sink的主体，它是这3个组件的载体，是组成Flume的数据节点。Event：Flume数据传输的基本单元。Source：用来接收Event，并将Event批量传

weixin_39793638·2024-09-08 04:34

Python大数据：深入探索Hadoop库的使用

尽管Hadoop主要用Java编写，但通过HadoopStreaming，Python程序员也可以利用其强大的数据处理能力。Python在数据科学中的流行，加上Hadoo

t0_54coder·2024-09-07 17:22

Apache Flink 替换 Spark Stream的架构与实践( bilibili 案例解读)_streamsparkflink加载udf(1)

bilibili早期使用的引擎是SparkStreaming，后期扩展了Flink，在开发架构中预留了一部分引擎层的扩展。最下层是状态存储

2401_84165953·2024-09-07 12:44

PySpark数据分析基础：PySpark基础功能及DataFrame操作基础语法详解_pyspark rdd(2)

熟练使用pandas的话很快上手3.StreamingApacheSpark中的Streaming功能运行在Spark之上，支持跨Streaming和历史数据的强大交互和分析应用程序，同时继承了Spark

2401_84181403·2024-09-07 08:46

大数据秋招面经之spark系列

3.repartition与coalesce4.spark的oom问题怎么产生的以及解决方案5.storm与flink,sparkstreaming之间的区别6.spark的几种部署方式：7.复习spark

wq17629260466·2024-09-06 19:54

SparkStreaming业务逻辑处理的一些高级算子

packagecom.sparkscala.streamingimportorg.apache.log4j.{Level,Logger}impor

看见我的小熊没·2024-09-06 09:43

Spark与Kafka进行连接

在Java中使用Spark与Kafka进行连接，你可以使用SparkStreaming来处理实时流数据。以下是一个简单的示例，展示了如何使用SparkStreaming从Kafka读取数据并进行处理。

傲雪凌霜，松柏长青·2024-09-06 07:27

spark streaming优点和缺点

优点：sparkstreaming会被转化为spark作业执行，由于spark作业依赖DAGScheduler和RDD，所以是粗粒度方式而不是细粒度方式，可以快速处理小批量数据，获得准实时的特性；以spark

scott_alpha·2024-09-05 15:42

kafka消费者重复消费同一个topic

场景是sparkstreaming消费kafka数据在这里sparkstream和kafka都是单节点的集群模式。同时起两个不同的groupid的应用，发现会发生后起来的应用消费不到数据。

小琳ai·2024-09-05 10:06

kafka单条消息太大引起的线上故障

问题现象1.收到日志异常报警，一个Flink任务写入kafka消息出现了异常，异常消息如下org.apache.flink.streaming.connectors.kafka.FlinkKafkaException

ab342173024·2024-09-04 15:44

SparkStreaming结合kafka将offSet保存在redis中

SparkStreaming结合kafka将offSet保存在redis中SparkStreaming结合kafka的两种方式1、SparkStreaming的高级APiCreateDStream，容易发生数据多次读取

哈哈xxy·2024-09-01 03:28

Spark Streaming+Kafka整合+offset管理

并通过第三方存储zookeeper来手动管理offset目录前言offset管理一个完整的整合代码Demo（Java版）导入相关的Maven依赖创建通过ZK管理Offset的工具类测试类Demo前言SparkStreaming

JiahuiTian·2024-09-01 03:27

Spark(46) -- SparkStreaming整合kafka数据源

1.回顾Kafka可以看我前面kafka文章核心概念图解Broker：安装Kafka服务的机器就是一个brokerProducer：消息的生产者，负责将数据写入到broker中(push)Consumer：消息的消费者，负责从kafka中拉取数据(pull)，老版本的消费者需要依赖zk，新版本的不需要Topic:主题，相当于是数据的一个分类，不同topic存放不同业务的数据--主题:区分业务Rep

erainm·2024-09-01 03:26

Apache Kafka 快速学习大纲

aaaak_·2024-08-29 19:46

大数据实训笔记7：kafka

概述Kafka是一个开源的分布式事件流平台(EventStreamingPlatform)，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

Roslin_v·2024-08-29 19:14

python爬虫番外篇 | Reuqests库高级用法（1）

RequestandResponseObjects）3.准备好的请求（PreparedRequests）4.SSL证书验证5.客户端证书6.CA证书7.正文内容工作流程（BodyContentWorkflow）8.keep-alive9.流式上传（StreamingUploads

摆烂牛杂·2024-08-28 16:10

SparkStreaming 如何保证消费Kafka的数据不丢失不重复

目录SparkStreaming接收Kafka数据的方式有两种：Receiver接收数据和采用Direct方式。

K. Bob·2024-08-28 10:02

spark采坑集锦之用kafka作为DStream数据源，并行度问题

在SparkStreaming中作为数据源的Kafka怎样接收多主题发送的数据呢？

方兵兵·2024-08-27 16:41

flink报错找不到类java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream

问题：解决方法：把这个Adddependencieswith"provided"scopetoclasspath勾选上

搞数据的小杰·2024-08-26 23:22

初步认知Next.js中ISR/RSC/Edge Runtime/Streaming等新概念

前言浅窥nextjs到目前v12版本的几个重点新概念，我们有：定义说明ISR增量静态渲染EdgeRuntime边缘运行时StreamingSSR流式传输SSRReactServerComponents服务器组件下面我们对这几个新概念进行一个初步的认知

星野睡不醒·2024-08-26 14:43

9、Flink SQL 流式概念之Compiled Plan详解

执行COMPILEPLAN语句TableEnvironmenttableEnv=TableEnvironment.create(EnvironmentSettings.inStreamingMode()

猫猫爱吃小鱼粮·2024-08-25 20:53

3、Unity【基础】Resources资源&场景动态加载

文章目录一、Resources资源动态加载1、Unity中特殊文件夹1、工程路径获取2、Resources资源文件夹3、StreamingAssets流动资源文件夹4、persistentDataPath

Angle灬魔君·2024-08-25 08:38

从零到一建设数据中台 - 关键技术汇总

SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark、Flink实时流式计算：Storm/SparkStreaming

我码玄黄·2024-08-24 12:09

前端框架

常用的样式/组件等收集列表(移动优先)0.前端自动化(Workflow)前端构建工具Yeoman–asetoftoolsforautomatingdevelopmentworkflowgulp–Thestreamingbuildsystemgrunt–theJavaScriptTaskRunnerF.I.S

苏金标·2024-08-23 03:07

Apache Paimon：实时湖仓架构构建工具

paimonApachePaimonisalakeformatthatenablesbuildingaRealtimeLakehouseArchitecturewithFlinkandSparkforbothstreamingandbatchoperations

乔如黎·2024-08-22 03:15

探索实时湖仓架构的新星：Apache Paimon

ApachePaimonpaimonApachePaimonisalakeformatthatenablesbuildingaRealtimeLakehouseArchitecturewithFlinkandSparkforbothstreamingandbatchoperations

幸愉旎Jasper·2024-08-22 03:39

Android声音播放与录制

*ItallowsstreamingofPCMaudiobufferstotheaudiosinkforplayback.Thisis*achievedby"pushing"thedatatothe

轻口味·2024-08-22 02:34

解析XML文件的几种方式？

在Java中解析XML文件可以通过多种方式完成，其中最常用的有DOM（DocumentObjectModel）、SAX（SimpleAPIforXML）和StAX（StreamingAPIforXML）

人生在勤，不索何获·2024-03-26 22:42

总结近一年折腾的那些事情-致敬Frp神器

gohls折腾的事情，主要是娱乐好玩工具性的一些东西，比如抄了一下gohls这个项目GitHub-shimberger/gohls:Aserverthatexposesadirectoryforvideostreamingviawebinterface

WarmSword·2024-03-26 13:30

flink: 自定义表函数的用法

importorg.apache.flink.api.common.functions.MapFunction;importorg.apache.flink.api.java.tuple.Tuple2;importorg.apache.flink.streaming.api.datastream.DataStream

amadeus_liu2·2024-03-17 03:37

flink:自定义函数的简单用法

packagecn.edu.tju.demo3;importorg.apache.flink.api.common.functions.MapFunction;importorg.apache.flink.streaming.api.datastream.DataStream

amadeus_liu2·2024-03-17 03:07

多人音视频实时通讯架构

以下是直播中常见的协议与格式：协议RTSP(RealTimeStreamingProtocol)RTSP是一个网络流媒体协议，常用于视频监控和IPTV等场景。

从零开始学习人工智能·2024-03-15 21:26

大数据开发（Spark面试真题-卷一）

大数据开发（Spark面试真题）1、什么是SparkStreaming？简要描述其工作原理。2、什么是Spark内存管理机制？请解释其中的主要概念，并说明其作用。

Key-Key·2024-03-13 07:58

Spark Streaming（二）：DStream数据源

1、输入DStream和Receiver输入（Receiver）DStream代表了来自数据源的输入数据流，在之前的wordcount例子中，lines就是一个输入DStream（JavaReceiverInputDStream），代表了从netcat（nc）服务接收到的数据流。除了文件数据流之外，所有的输入DStream都会绑定一个Receiver对象，该对象是一个关键的组件，用来从数据源接收数

雪飘千里·2024-03-09 01:28

Hadoop Streaming原理

Streaming简介•MapReduce和HDFS采用Java实现，默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用•Streaming

可乐加冰丶丶·2024-02-20 07:18

官宣｜Apache Flink 1.18 发布公告

Tips：点击「阅读原文」免费领取5000CU*小时Flink云资源迈向StreamingLakehouseFlinkSQL提升■FlinkSQLGateway的JDB

Apache Flink·2024-02-19 14:46

Kafka(一)

xxxxxxxpp·2024-02-15 09:10

推荐频道