-----Streaming

Unity读取移动端本地路径

2有两种方式，一种是资源放在工程目录StreamingAssets，权限同样是只读，但是与Resources的区别是这个目录的资源管理可以自己灵活控制。打包的资源方式，资源管理可以自己定制。
AngerCow·2023-09-04 08:26

Flink Table API& SQL编程指南（Dynamic Table、Continuous Querires、Query Restriction）

StreamingConceptsFlink的TableAPI或者是SQL的计算针对于一些Batch或者Streaming数据在语义上是一致的。
麦田里的守望者··2023-09-03 07:30

【4-5章】Spark编程基础(Python版)

Spark编程基础(Python版)_哔哩哔哩_bilibili第4章RDD编程（21节）Spark生态系统：SparkCore：底层核心（RDD编程是针对这个）SparkSQL：SQL查询SparkStreaming
如何原谅奋力过但无声·2023-09-03 06:28

实战7.Spark Streaming（下）--Spark Streaming实战

1、实例演示1.1流数据模拟器1.1.1流数据说明在实例演示中模拟实际情况，需要源源不断地接入流数据，为了在演示过程中更接近真实环境将定义流数据模拟器。该模拟器主要功能：通过Socket方式监听指定的端口号，当外部程序通过该端口连接并请求数据时，模拟器将定时将指定的文件数据随机获取发送给外部程序。1.1.2模拟器代码importjava.io.{PrintWriter}importjava.net
贾诩是也·2023-09-03 01:42

用seatunnel替代logstash，把数据从kafka抽取到ES

(2.1.3)调用spark-sql(2.4)、flink-sql(1.14)对结构化数据进行处理；能够通过配置，在一个任务里调度多个source和sink文章目录一、为sparkstructuredstreaming
百战天王·2023-09-02 19:07

JAVA开发Spark-读取kafka数据

pom中的依赖org.apache.sparkspark-core_2.123.0.2org.apache.sparkspark-core_2.123.0.2org.apache.sparkspark-streaming
weixin_49770647·2023-09-02 11:48

使用Java编写Spark Streaming来做大数据处理（一）

写在前面：一般来说spark都是由Scala来实现，但Java一手遮天，非要以一己之力实现（不是）一、使用JAVA编写有哪几部组成？1.获取数据//往往文件都是根据配置文件修改的时间，动态获取对应的文件来处理StringfilePath="/租户目录/指标/指标分类/指标分类子分支"+startTime.substring(0,6)+".csv";//通过调用JavaSparkContext的获取
斯特凡今天也很帅·2023-09-02 11:47

spark streaming流式处理kafka中的数据（java）

sparkstreaming是spark中用来处理流式数据的，用来对接各类消息队列是极好的。sparkstreaming并不是真正实时的流式处理，它本质上还是批处理，只是每一个批次间隔的时间很短。
彬正L·2023-09-02 11:16

SparkStreaming中动态广播变量的使用【Java版本】

业务需求：SparkStreaming实时传输数据需要实时与MySql中数据进行比对，所以需要每分钟更新MySql数据数据，实现广播变量，将MySql数据更新后，实现动态变量广播。
wunanliu·2023-09-02 11:16

sparkStreaming获取kafka数据（java版本）

环境spark-2.2.0kafka_2.11-0.10.0.1jdk1.8配置好jdk，创建项目并将kafka和spark的jar包添加到项目中，除此之外还需要添加spark-streaming-kafka
a1361585·2023-09-02 11:15

Spark Streaming（制造数据到kafka，读取kafka并过滤数据写入到mysql练习）

SparkStreamingMakeDataimportjava.util.Propertiesimportorg.apache.kafka.clients.producer.
房石阳明i·2023-09-02 11:45

大数据之Spark基本概念 特点 以及各个组件的作用的详细介绍

Spark包含SparkCore、SparkSQL、SparkStreaming、MLlib、Graph可以解决大数据中的BatchProcessing
BAO7988·2023-09-02 08:35

Flink如何处理反压问题

目前主流的流处理系统Storm/JStorm/SparkStreaming/Fli
灵境旅行家·2023-09-02 06:13

Paimon+StarRocks 湖仓一体数据分析方案

摘要：本文整理自阿里云高级开发工程师曾庆栋（曦乐）在StreamingLakehouseMeetup的分享。
Apache Flink·2023-09-02 06:04

CUDA学习笔记一---GPU基本架构

SM：streamingmultiprocessor，即计算单元，一个GPU有多个SM。CPU可以使多核的
HelloMrDeng·2023-09-02 03:59

Android平台下的StreamingAsset路径

Android平台下的StreamingAsset路径_安卓streamingassets_籽麟网络的博客-CSDN博客
·且听风吟··2023-09-01 21:17

介绍一下我们的开源“充电之旅” - 两位新晋 Apache Flink Committer 专访

两位同学在ApacheFlink社区主要贡献了包括RuntimeCoordinator、StreamingWarehouse等相关Feature。
字节跳动云原生计算·2023-09-01 19:20

Paimon+StarRocks 湖仓一体数据分析方案

摘要：本文整理自阿里云高级开发工程师曾庆栋（曦乐）在StreamingLakehouseMeetup的分享。
·2023-09-01 15:37

Spark参数调优之locality wait

背景工作中使用SparkStreaming处理实时数据流，发现所处理的数据量与所消耗的时间很不对等，如下图：Stage耗时区区几KB的数据，简单的mapToPair操作，竟然耗时4~5秒，很不合理。
user0650·2023-09-01 12:32

海康摄像机取流RTSP地址规则说明

URL规定：rtsp://username:password@:/Streaming/Channels/(?
zly3500·2023-09-01 12:12

Flink SQL你用了吗？

Flink1.3.0：在StreamingSQL上支持了Retractions，显著提高了StreamingSQL的易用性，使得FlinkSQL支持了复杂的Unbounded聚合连接。
学一次·2023-09-01 12:03

SparkStreaming容错性

SparkStreaming实时流处理系统需要长时间接受并处理数据，对于SparkStreaming的容错性主要通过以下三种方式：第一、利用Spark自身的容错设计、存储级别和RDD抽象设计能够处理集群中任何
土土的简书·2023-09-01 09:45

CDH-Kafka-SparkStreaming 异常：org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/uti

参考文章：flumekafkasparkstreaming整合后集群报错org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/uthttps
高达一号·2023-09-01 07:53

Kafka-Spark Streaming 异常： dead for group td_topic_advert_impress_blacklist

最近在编写SparkStreaming作业的时候，遇到了一个比较奇怪的问题，表现如下：在本地连接Kafka集群执行作业：18/10/3117:42:58INFOAbstractCoordinator:Discoveredcoordinatorkafka1
高达一号·2023-09-01 07:53

Spark_Spark foreachRDD 使用示例 以及注意事项

参考文章：SparkStreamingforeachRDD的正确使用方式https://blog.csdn.net/q954103/article/details/79439536foreachRDD主要用于向外部数据存储写入数据
高达一号·2023-09-01 07:53

live555详解

live555RealTimeStreamingProtocol或者RTSP（实时流媒体协议），是由Realnetwork和Netscape共同提出的如何有效地在IP网络上传输流媒体数据的应用层协议。
max2009verygood·2023-09-01 07:58

live555

RealTimeStreamingProtocol或者RTSP（实时流媒体协议），是由Realnetwork和Netscape共同提出的如何有效地在IP网络上传输流媒体数据的应用层协议。
maopig·2023-09-01 07:57

Spark Streaming从Kafka中获取数据，并进行实时单词统计，统计URL出现的次数

1、创建Maven项目创建的过程参考：http://blog.csdn.net/tototuzuoquan/article/details/745713742、启动KafkaA:安装kafka集群：http://blog.csdn.net/tototuzuoquan/article/details/73430874B:创建topic等：http://blog.csdn.net/tototuzuoq
涂作权的博客·2023-09-01 06:03

Spark Streaming任务中的容错机制盘点

前言互联网场景下，经常会有各种实时的数据处理，这种处理方式也就是流式计算，延迟通常也在毫秒级或者秒级，比较有代表性的几个开源框架，分别是Storm，SparkStreaming和Filnk。
死亡之翼归来·2023-09-01 05:43

Strom、SparkStreaming、Flink反压机制阐述

反压机制（BackPressure）被广泛应用到实时流处理系统中，流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。反压机制就是指系
小晨说数据·2023-08-31 07:20

流式大处理的三种框架对比：Storm，Spark和Flink

storm、sparkstreaming、flink都是开源的分布式系统，具有低延迟、可扩展和容错性诸多优点，允许你在运行数据流代码时，将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API
往事随风_h·2023-08-31 07:18

对比Flink、Storm、Spark Streaming 的反压机制

分析&回答Flink反压机制Flink如何处理反压?Storm反压机制Storm反压机制Storm在每一个Bolt都会有一个监测反压的线程（BackpressureThread），这个线程一但检测到Bolt里的接收队列（recvqueue）出现了严重阻塞就会把这个情况写到ZooKeeper里，ZooKeeper会一直被Spout监听，监听到有反压的情况就会停止发送。因此，通过这样的方式匹配上下游的
学一次·2023-08-31 07:47

Flink Streaming SQL Join

传统的离线BatchSQL（面向有界数据集的SQL）有三种基础的实现方式，分别是Nested-loopJoin(嵌套循环)、Sort-MergeJoin和HashJoin。Nested-loopJoin最为简单直接，将两个数据集加载到内存，并用内嵌遍历的方式来逐个比较两个数据集内的元素是否符合Join条件。Nested-loopJoin虽然时间效率以及空间效率都是最低的，但胜在比较灵活适用范围广，
多彩海洋·2023-08-31 06:45

使用finksql方式将mysql数据同步到kafka中，每次只能同步一张表

使用finksql方式将mysql数据同步到kafka中，每次只能同步一张表packageflink;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment
m0_37759590·2023-08-30 10:24

流式数据湖平台—Paimon视频教程

ApachePaimon是一个流数据湖平台，是Streaming实时计算能力和Lakehouse新架构优势的结合，具有高速数据摄取、变更日志跟踪和高效的实时分析能力。
尚硅谷铁粉·2023-08-30 03:50

Flume + Kafka + Flink 简单例子

Flink程序：importorg.apache.flink.api.common.serialization.SimpleStringSchemaimportorg.apache.flink.streaming.api.scala
BigData_001_Lz·2023-08-29 09:50

聚合转换算子 （归约聚合(reduce)）

importorg.apache.flink.api.common.functions.ReduceFunctionimportorg.apache.flink.api.java.functions.KeySelectorimportorg.apache.flink.streaming.api.scala
BigData_001_Lz·2023-08-29 09:50

谈谈Kafka Consumer Group的Coordinator与Rebalance机制

前言前段时间写了三个SparkStreaming程序，负责从Kafka订阅群和用户消息，并做舆情监控必须的ETL工作。它们消费的Topic各自不同，但是分配的group.id都相同。
LittleMagic·2023-08-29 00:16

生成文件并下载

做报表用百度echarts报表功能后端渲染把Excel,PDF二进制数据放到HttpResponse里响应头中设定好content-type和content-disposition如果文件较大建议使用迭代器和StreamingHttpResponse
十二右·2023-08-28 21:58

Streaming 101

3.术语StreamingSystem一
Sol__C·2023-08-28 19:42

Apache Celeborn 让 Spark 和 Flink 更快更稳更弹性

摘要：本文整理自阿里云/数据湖Spark引擎负责人周克勇（一锤）在StreamingLakehouseMeetup的分享。
·2023-08-28 11:30

Apache RocketMQ 社区 X计划招募令

X计划包括5个项目，分别涉及Prometheus、ELK、CDC（changdatacapture)、Streaming、EventBus，其中CDC项目要求参与者熟悉mysql和mongdb，项目周期
RocketMQ技术_寈峰·2023-08-26 19:17

（四）updateStateByKey和mapWithState

一、updateStateByKey算子应用示例objectSparkStreamingApp{defmain(args:Array[String]):Unit={valconf=newSparkConf
白面葫芦娃92·2023-08-26 16:38

Flink-3.Flink SQL API

packagecom.ctgu.flink.sql;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment
笨鸡·2023-08-26 13:11

Nginx的流式响应配置

Nginx的流式响应（streamingresponse）是指在Nginx作为反向代理服务器时，将响应内容一边接收，一边逐步发送给客户端的过程。
蜗牛去旅行吧·2023-08-26 11:05

Hadoop streaming 问题记录

发现出现Permissiondenied:user=,access=READ_EXECUTE,inode=，drwxr-x--x，该问题发现其他用户读我的hdfs目录没有读权限解决方案权限说明在Hadoopstreaming
sf705·2023-08-26 10:11

Elasticsearch 集成---Spark Streaming 框架集成

一.SparkStreaming框架介绍SparkStreaming是SparkcoreAPI的扩展，支持实时数据流的处理，并且具有可扩展，高吞吐量，容错的特点。
Java捡子·2023-08-26 09:44

流的基本概念

流的基本概念Streaming101与Streaming102原文网页文章目录流的基本概念术语什么是流无界数据无界数据处理有界数据批处理引擎流引擎低延迟、近似、推测结果正确性时间推理工具数据处理模式使用经典批处理引擎进行有界数据处理用经典批处理引擎通过临时固定窗口进行无界数据处理使用经典批处理引擎通过临时固定窗口将无界数据处理为会话使用流引擎处理无界数据处理的思考方向时间域事件时间域处理时间域术语
顧棟·2023-08-26 04:06

让 exoplayer2 支持播放 ftp （ 扩展 exoplayer 支持 ftp 协议 ） 的两种方式

它提供了一个可高度扩展的音视频播放框架，支持许多媒体格式与高级媒体功能，比如adaptivestreaming，DRM，以及安卓mediasession集成。
代码盗圣·2023-08-26 02:42

StreamingWarehouse的一些思考和未来趋势

300万字！全网最全大数据学习面试社区等你来！一篇笔记。以Hudi、Iceberg、Paimon这几个框架为例，它们支持高效的数据流/批读写、数据回溯以及数据更新。具备一些传统的实时和离线数仓不具备的特性，主要有几个方面：这些存储引擎是天然统一的批流一体存储。既支持批式访问完整Table数据，也支持先全量处理Table数据，然后对Changelog进行增量的流式处理;支持UPSERT流，这个很重要
王知无(import_bigdata)·2023-08-25 23:11
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他