-----Streaming

记一次导出Excel的升级过程

多文件生成临时文件批量暂存服务器,然后再压缩文件生成zip包下载.3、下载后文件命名兼容火狐浏览器,解决了乱码问题ZipFileUtil工具类packagecn.tools;importorg.apache.poi.xssf.streaming.SXSSFWorkbook
程博颖·2023-11-29 13:15

SparkStreaming-----第一个wordcount,算子，Driver HA

1.sparkStreaming流式处理框架，是SparkAPI的扩展，RDD最终封装到DStream中2.第一个wordcountpom依赖org.apache.sparkspark-streaming
计算机界的小学生·2023-11-29 12:41

Spark Streaming流式数据处理

目录一、SparkStreaming简介二、简单的例子三、SparkStreaming相关核心类3.1StreamingContext3.2离散流DiscretizedStreams(DStreams)
NightFall丶·2023-11-29 07:38

Spark Streaming + Kafka构建实时数据流

UserBehavior.csv数据解释：本次实战用到的数据集是CSV文件，里面是一百零四万条淘宝用户行为数据，该数据来源是阿里云天池公开数据集根据这一csv文档运用Kafka模拟实时数据流，作为SparkStreaming
茶树油酸梅酱·2023-11-29 07:08

SparkStreaming基本数据源

SparkStreaming基本数据源SparkStreaming的大体流程图SparkStreaming分周期将数据封装在RDD中，底层抽象使用Dstream。本质还是对RDD中数据的处理。
简丶致·2023-11-29 07:06

Spark Streaming基本概念

SparkStreaming是构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。
晓之以理的喵~~·2023-11-29 07:36

Spark Streaming使用Kafka数据流示例

Spark作为目前最流行的分布式计算框架，可用于处理实时数据流，本文主要介绍SparkStreaming如何使用Kafka数据流做分析，具体使用的版本信息见pom配置。
追风落叶乔木生·2023-11-29 07:34

基于Spark Streaming 的流数据处理和分析

文章目录一.流介绍1.流是什么2.为什么需要流处理3.流处理应用场景4.如何进行流处理二.SparkStreaming1.SparkStreaming流数据处理架构2.SparkStreaming内部工作流程
sun_0128·2023-11-29 07:03

Spark Streaming提取数据

一、简介SparkStreaming是一个从各种来源获取实时流数据的框架。它支持的流资包括HDFS、Kafka、Flume以及自定义流等。
简单不过l·2023-11-29 07:29

Spark Streaming【数据流处理原理分析】

SparkStreaming介绍SparkStreaming它是对Spark核心API的扩展，目的在于对实时数据流进行高吞吐、高容错的处理。SparkStreaming底层是SparkCore。
Smile to everyday·2023-11-29 07:29

SparkStreaming之基本数据源输入

SparkStreaming拥有两类数据源（1）基本源（Basicsources）：这些源在StreamingContextAPI中直接可用。例如文件系统、套接字连接、Akka的actor等。
coco_ethan·2023-11-29 07:59

使用Spark Streaming处理Kafka数据流

Kafka作为优秀的日志采集系统，可以作为SparkStreaming的高级数据源，本文主要介绍如何使用SparkStreaming实时处理Kafka传递过来的数据流。
打酱油的葫芦娃·2023-11-29 07:28

Spark Streaming的基本数据流

先来介绍一下按照动静对数据的区分静态数据静态数据（StaticData）指的是在一段时间内不会或很少发生变化的数据。这种类型的数据通常是固定的，并且不会随着时间的推移而更新或仅偶尔更新。静态数据的典型例子包括配置文件、参考表、历史记录、已发布的研究报告等。在大数据环境中，尤其是使用Hadoop分布式文件系统（HDFS）时，数据通常被认为是静态的，这是因为HDFS被设计成适合一次写入和多次读取的场景
俺会hello我的·2023-11-29 07:55

Streaming Principal Component Analysis in Noisy Settings

论文背景：面对来袭的数据，连续样本不一定是不相关的，甚至不是同分布的。当前，大部分在线PCA都只关注准确性，而忽视时效性！噪声？数据缺失，观测有偏，重大异常？论文内容：在这里插入图片描述Section2OnlineSettingsOnlinePCA,就是在观察到后，“构造”一个维的子空间，通常用投影矩阵表示——为了最小化残差这篇论文重点在于界的分析，考虑下面的“遗憾”（大概就是误差的意思）：其中P
馒头and花卷·2023-11-29 03:03

消息队列Kafka介绍

介绍ApacheKafka是一个分布式流平台【distributedstreamingplatform】。这到底是什么意思呢？
梅坞茶坊·2023-11-28 11:11

Spark面试题集锦

包含Sparkcore、Sparksql、Sparkstreaming、SparkMLlib、sparkGraphX五个核心组件。2、Spark的核心组件是什么？
猿界零零七·2023-11-28 09:53

音视频学习（十四）——rtsp详解

概念rtsp（RealTimeStreamingProtocol，RFC2326），实时流传输协议，是TCP/IP协议体系中的一个应用层协议。
却道天凉_好个秋·2023-11-28 00:20

音视频协议解析(RTP/RTCP/RTSP/RTMP)——RTSP解析

讲解我们这篇文章讲解RTSP（Real-TimeStreamingProtocol）协议。这是一个应用层协议，位于RTP/RTCP协议之上。用于控制流媒
李铁山·2023-11-28 00:20

RTSP协议 —— rtsp控制系列

rtsp简介(ZT)RealTimeStreamingProtocol或者RTSP（实时流媒体协议），是由Realnetwork和Netscape共同提出的如何有效地在IP网络上传输流媒体数据的应用层协议
贺二公子·2023-11-28 00:14

Spark-Streaming KafkaClient 异常解决

在使用Spark-Streaming消费Kafka数据的时候，使用如下命令提交到yarnCausedby:java.lang.IllegalArgumentException:Couldnotfinda'KafkaClient'entryintheJAASconfiguration.Systemproperty'java.security.auth.login.config'isnotsetato
大猪大猪·2023-11-27 23:13

Structured Streaming基本使用

StructuredStreaming定义结构化流处理是Spark中用于处理实时流数据的API。它提供了类似于对静态数据集进行操作的高级抽象，允许你以类似的方式处理实时数据流。
linbokang·2023-11-27 19:46

大数据excel导出，内存溢出解决方案（SXSSF流用户模型）

SXSSF（流用户模型API）SXSSF（包：org.apache.poi.xssf.streaming）是XSSF的一个API兼容的流扩展，当必须生成非常大的电子表格并且堆空间有限时使用。
wyazyf·2023-11-27 16:21

spark官网首页翻译

官网：http://spark.apache.org/Download（下载）Libraries（SQLAndDataFrame、SparkStreaming、MLlib、Third-PartyProjects
xiaogao2017·2023-11-27 12:36

WCF分布式开发步步为赢(11):WCF流处理（Streaming）机制

Postedon2009-05-1300:49FrankXuLei阅读(2287)评论(27)编辑收藏网摘所属分类:WCF分布式开发步步为赢,SOAandEAIWSE3.0框架提供了数据优化传输机制，WSE3.0构建Web服务安全(4):MTOM消息传输优化和文件上传、下载疑问里进行了介绍。WCF同样也提供了流操作来支持大数据对象的传输和处理优化机制，今天我们WCF分布式开发步步为赢系列的(4):
老徐FrankXuLei·2023-11-27 06:52

window环境下安装spark

spark是大数据计算引擎，拥有SparkSQL、SparkStreaming、MLlib和GraphX四个模块。
FTDdata·2023-11-26 22:42

【brpc学习实践十】streaming log实战

实战实例通常我们在服务还没正式起来时，会用brpc流式log打印，支持对日志输出到ostream对象中（默认std)。同时会在服务初始化时配置LogSink，实现自己的log，这样后续都可以将输出重定向至自己的log.intinit(intargc,char**argv,constchar*product_name,constchar*mod_name){//读日志文件配置(设置baidu-rpc
小蜜蜂爱编程·2023-11-26 19:06

Spark Streaming（四）——输出

输出操作如下：1）print()：在运行流程序的驱动结点上打印DStream中每一批次数据的最开始10个元素。这用于开发和调试。2）saveAsTextFiles(prefix,[suffix])：以text文件形式存储这个DStream的内容。每一批次的存储文件名基于参数中的prefix和suffix。”prefix-Time_IN_MS[.suffix]”。3）saveAsObjectFile
爱喝水的绿萝·2023-11-26 09:29

使用Spark进行结构化流处理并将结果输出到终端或指定位置

使用Spark进行结构化流处理并将结果输出到终端或指定位置Spark是一个强大的大数据处理框架，提供了许多功能强大的组件，其中包括StructuredStreaming，它是Spark的流处理引擎。
心之所向，或千或百·2023-11-26 09:24

GPU架构分析

其中SM（StreamingMultiprocessor）和SP（streamingProcessor）是硬件层次的，其中一个SM可以包含多个SP。
eduics·2023-11-26 05:31

Flink Window

1.window概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集Window窗口就在一个无界流中设置起始位置和终止位置，让无界流变成有界流
shenjianyu_rex·2023-11-26 05:12

Flink 原理与实现：Window 机制

Flink认为Batch是Streaming的一个特例，所以Flink底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从Streaming到Batch的一个桥梁。
pengjunlee·2023-11-26 05:10

彻底搞清Flink中的Window（Flink版本1.8）

Flink认为Batch是Streaming的一个特例，所以Flink底层引擎
create17·2023-11-26 05:09

Spark Streaming + Kafka Integration Guide 位置策略和消费策略

新的Kafka消费者API可以预获取消息缓存到缓冲区，因此Spark整合Kafka让消费者在executor上进行缓存对性能是非常有助的，可以调度消费者所在主机位置的分区。LocationStrategies.PreferConsistent：这个策略会将分区分布到所有可获得的executor上。LocationStrategies.PreferBrokers：如果你的executor和kafka
七_seven·2023-11-26 02:55

Flink CDC -Sqlserver to Sqlserver java 模版编写

importorg.apache.commons.io.FileUtils;importorg.apache.commons.lang3.StringUtils;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment
harveymomo·2023-11-25 22:00

Unity实用小工具—以对象形式操作Sqlite

1.2、数据库路径说明：创建的数据库位置编辑器状态时在“Assets/StreamingAssets”文件夹下，因为编辑状态下此路径可以修改，发布到Andro
凯尔八阿哥·2023-11-25 22:53

spark Sql， dataframe, Dataset 和 Streaming编程指南

四：sparkSql，dataframe,Dataset4.1:SparkSQL的用法之一是执行SQL查询,它也可以从现有的Hive中读取数据SparkSession:Spark中所有功能的入口是SparkSession类frompyspark.sqlimportSparkSessionspark=SparkSession.builder.appName("PythonSparkSQLbasice
醉舞经阁半卷书A·2023-11-25 10:57

Flink简介与部署

ApacheFlink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streamingexecutionmodel），能够支持流处理和批处理两种应用类型
TUJC·2023-11-25 06:08

spark submit——yarn模式参数调优

spark官网上的参数默认值设置：https://spark.apache.org/docs/latest/configuration.html#spark-streaming此处记录一下最近整理的spark
凌寒独自开·2023-11-25 01:16

java搭建flink读取数据库 简单Demo实例

dependencies{implementation'org.apache.flink:flink-java:1.8.0'implementation'org.apache.flink:flink-streaming-jav
大海里的一粒星辰·2023-11-24 17:00

spark streaming2.4.0 任务启动源码剖析

文章目录官方案例StreamingContextDStreamGraphDStream调度篇输入流的注入与开启输出流的注入流动？
乾坤瞬间·2023-11-24 16:07

Flink-WordCount

本文基于Flink1.14pom.xmlUTF-81.14.32.19.0org.apache.flinkflink-java${flink.version}org.apache.flinkflink-streaming-java
hopyGreat·2023-11-24 15:11

Flink Table API 读写MySQL

FlinkTableAPI读写MySQLimportorg.apache.flink.connector.jdbc.table.JdbcConnectorOptions;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment
hopyGreat·2023-11-24 15:35

Flink运行wordcount——读写hdfs

importorg.apache.flink.api.common.functions.FlatMapFunction;importorg.apache.flink.api.java.tuple.Tuple2;importorg.apache.flink.streaming.api.datastream.DataStream
雷神乐乐·2023-11-24 15:05

Flink SQL深度篇

序言时效性提升数据的价值,所以Flink这样的流式(Streaming)计算系统应用得越来越广泛.广大的普通用户决定一个产品的界面和接口.ETL开发者需要简单而有效的开发工具,从而把更多时间花在理业务
不爱吃鱼的馋猫·2023-11-24 11:22

flink从入门到精通-flink简介

文章目录flink简介名称的由来什么是flink为什么需要flink流式计算框架比较模型StreamingModelAPI形式保证机制容错机制状态管理flink基本概念flink架构图JobManagerJobManager
星&海·2023-11-24 11:16

Kafka应用总结

关于kafkaApacheKafkaisanopen-sourcedistributedeventstreamingplatformusedbythousandsofcompaniesforhigh-performancedatapipelines
筑梦之队·2023-11-24 07:19

多线程解决大数据批量导出问题（demo）

1.首先从网上找一个到工具类，我这里是ExcelUtils，如下packagecom.org.util;importorg.apache.poi.xssf.streaming.SXSSFCell;importorg.apache.poi.xssf.streaming.SXSSFRow
会记得我吗在很久之后·2023-11-23 14:12

免费图书教材配套资料：Spark大数据技术与应用（第2版）

大数据技术与应用（第2版）》课程内容全面介绍了Spark大数据技术的相关知识，内容包含包括Spark概述、Scala基础、Spark编程、Spark编程进阶、SparkSQL结构化数据文件处理、SparkStreaming
泰迪智能科技·2023-11-23 14:36

Application.streamingAssetsPath注意事项

WindowsIOSAndroidC#支持支持不支持C#路径Application.streamingAssetsPath+"/MyF
LEO_青蛙·2023-11-23 05:33

【Rust每周“一”库】async http三剑客

它们是async-h1–支持streaming的HTTP/1.1客
Rust语言中文社区·2023-11-22 19:35
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他