流式处理

Flink入门之WordCount（Scala语言）

Flink入门之WordCount（Scala语言）流式处理一.创建一个Maven工程1.pom.xml文件依赖org.apache.flinkflink-scala_2.111.7.2org.apache.flinkflink-streaming-scala
Joker_Jiang3·2023-11-06 20:23

Flink的window和Time详解

对于流式处理，如果我们需要求取总和，平均值，或者最大值，最小值等，是做不到的，因为数据一直在源源不断的产生，即数据是没有边界的，所以没法求最大值，最小值，平均值等，所以为了一些数值统计的功能，我们必须指定时间段
我还不够强·2023-11-06 10:29

Java Stream流式处理

目录stream的创建map()、mapToXxx()映射flatMap()流的展开、平铺filter()元素过滤distinct()去重sorted()排序skip()跳过元素、limit()限制数量findFirst、findAny获取一个元素allMatch()、anyMatch()整体判断max()、min()求极值reduce()归并foreach()遍历元素collect()、Coll
chy1984·2023-11-04 18:50

Flink源码解析之State的实现

State的实现Flink通过异步的checkpoint机制来实现流式处理过程中的容错，简单来讲就是定时地将本地的状态序列化到一个持久存储中，当出现错误是通过恢复检查点的状态来实现容错的，对于机制的详细介绍可以参见这个链接
liurenjie1024·2023-11-04 10:14

Kafka基本原理、生产问题总结及性能优化实践 | 京东云技术团队

多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎
京东云技术团队·2023-11-01 13:07

kafka基本原理详解

多副本（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎
孤单品尝寂寞·2023-10-30 18:06

【并发编程十：CompletableFuture的应用】

）synchronized】一、CompletableFutureCompletableFuture实现了CompletionStage接口和Future接口，前者是对后者的一个扩展，增加了异步回调、流式处理
北城小林·2023-10-30 12:01

大数据之路系列之flink(12)

、分析处理olap第三代、有状态的流式处理第四代、分布式的有状态的流式处理第五代、lambda架构第六代、kappa四、flinksqlorflinkapi？
居高声自远,非是藉秋风·2023-10-28 21:31

第四章 Flink 窗口和水位线

Flink简介第二章Flink环境部署第三章FlinkDataStreamAPI第四章Flink窗口和水位线第五章FlinkTableAPI&SQL第六章新闻热搜实时分析系统一、时间概念：事件时间和处理时间在流式处理的过程中
CDHong.it·2023-10-28 00:01

【Storm】介绍--最火的流式处理框架

伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜子，今天想买一副泳镜去游泳
鹿指为码·2023-10-26 15:08

大数据-Kafka

Kafka5、各种常用消息队列对比3、消息队列的应用场景4、kafka的基本介绍1、kafka的基本介绍2、kafka的好处3、分布式的发布与订阅系统4、kafka的主要应用场景指标分析日志聚合解决方法流式处理
DayDayUp-Panda·2023-10-26 15:37

Java1.8新特性 - Stream流式算法

一.流式处理简介  在我接触到java8流式数据处理的时候，我的第一感觉是流式处理让集合操作变得简洁了许多，通常我们需要多行代码才能完成的操作，借助于流式处理可以在一行中实现。
papima·2023-10-26 13:42

基础知识储备-java-Java8 新特性之流式数据处理

转自：https://blog.csdn.net/leolu007/article/details/53437069一.流式处理简介补充一个（流式处理在给map赋值时可能会出现重复key，所以注意在数据查询时或者处理时注意去重
灰烬之灵新·2023-10-26 12:39

【Java基础】字符串拼接从String join 到流式处理（七夕特别版）

1、前言我们经常再开发的过程中遇到一些字符串拼接的情况，我也是。但是最近我看了项目中的一些旧代码，就感觉很难受，就像过七夕，女朋友也想收到巧克力鲜花啥的，总不能一句我爱你就完了。生活需要仪式，代码也需要巧妙优雅。2、示例2.1、暴力拼接先说下坏的示例：String[]strs={“a”,“b”,“c”};需要各个元素进行逗号拼接。暴力破解是怎样的？StringresultStr="";for(St
燃尽余火·2023-10-25 09:09

Kafka从入门到精通

目前Kafka已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流处理等多种特性而被广泛应用。
Mr Tang·2023-10-25 04:58

Java8 新特性之流式数据函数式编程

一.流式处理简介在我接触到java8流式处理的时候，我的第一感觉是流式处理让集合操作变得简洁了许多，通常我们需要多行代码才能完成的操作，借助于流式处理可以在一行中实现。
cyony·2023-10-24 23:47

PyFlink简介 —— Flink Python API

PyFlink是ApacheFlink的PythonAPI，它允许你构建可扩展的批处理和流式处理的应用程序，例如实时数据处理管道，大规模探索性数据分析、机器学习（ML）管道和ETL模块。
lukeyan·2023-10-24 06:58

【无标题】

Spark具有用于SQL、流式处理和机器
浩海紫冰·2023-10-23 19:54

Stream流式处理常见使用

Stream流式处理常见使用list遍历前判空stream()可以接的方法(前面默认加了上面的判空)filter()map()collect()(maplist遍历前判空语义：list如果不为空，stream
达不溜Q·2023-10-23 07:32

Java8新特性-＞stream流式处理

stream特点不改变原来的数据源，会将操作后的数据保留到另一个对象中惰性求值，流在中间处理过程中，只是对操作进行记录，而不会立即执行常用方法创建流stream()获取一个顺序流parallelStream()获取一个并行流中间操作筛选与切片filter过滤流中的某些元素limit获取n个元素skip跳过n元素，配合limit可实现分页distinct通过流元素的hashCode跟equals去重
小辉笔记·2023-10-23 07:02

lambda表达式和Stream流式处理

Lambda表达式lambda表达式，把代码变的更加简单。可读性比较差。简化匿名内部类的编写。直接实现接口中的函数函数实现用"->"表示实现。{}表示实现的具体逻辑。用接口去声明使用用声明的变量调用实现的方法interfaceInter{intc();}interfaceInter1{intc(intx);}interfaceA{intc(inta,intb);}interfaceB{voidb(
It_PenGuin·2023-10-23 07:30

Lambda表达式以及Stream流式处理

一、Lambda表达式的优点1）JDK8开始支持Lambda表达式，用来让程序编写更优雅2）利用Lambda可以更简洁的实现匿名内部类和函数声明与调用3）基于Lambda提供stream流式处理极大简化对集合的操作实现集合排序传统代码
西红柿地瓜nice·2023-10-23 07:59

Stream流式处理

Stream流式处理：建立在Lambda表达式基础上的多数据处理技术。可以对集合进行迭代、去重、筛选、排序、聚合等处理，极大的简化了代码量。
小矮多·2023-10-23 06:54

使用 LF Edge eKuiper 将物联网流处理数据写入 Databend

作者：韩山杰DatabendCloud研发工程师https://github.com/hantmacLFEdgeeKuiperLFEdgeeKuiper是Golang实现的轻量级物联网边缘分析、流式处理开源软件
Databend·2023-10-22 09:57

Go中的编程模式:Pipeline

现在的流式处理、函数式编程、应用网关对微服务进行简单的API编排，其实都是受Pipeline这种技术方式的影响。Pipeline可以很容易地把代码按单一职责的原则拆分成多个高内聚低耦合的
LCS-312·2023-10-22 03:19

Flink实战之Kafka To Hive

Flink完全基于流式处理，同时也支持了写Hive表。本文介绍一下如果通过FlinkSQL实现kafka数据入库hive，并能够实时可查。
〇白衣卿相〇·2023-10-20 17:45

CompletableFuture使用小结

为什么需要CompletableFutureCompletableFuture继承了CompletionStage接口和Future接口，在原有Future的基础上增加了异步回调、流式处理以及任务组合，
shark-chili·2023-10-20 11:05

Flink学习笔记

，低延迟的流式数据处理Flink不像SparkStreaming那样采取将多个微批处理任务串联起来来构建流式数据处理的任务，这样牺牲了吞吐量，造成了高延迟（因此SparkStreaming是不是真正的流式处理引擎而饱受争议
zhglance·2023-10-20 08:12

Spark分布式计算框架之SparkStreaming+kafka

1、SparkStreaming的介绍SparkStreaming是流式处理框架，是SparkAPI的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka,Flume,Twitter
一流觞·2023-10-19 05:14

Java语法进阶及常用技术（六）--Lambda表达式

基于Lambda提供stream流式处理极大简化对集合的操作。
其乐无涯·2023-10-18 03:24

java8的并行流parallelStream使用注意事项

在项目开发过程中，使用流式处理时，在数据量较大的情况下，通过并行流可以开启多个线程来执行处理，parallelStream与Stream的区别在于parallelStream开启了多线程的处理方式，所以当对方法替换的同时
三个程序员之一·2023-10-15 08:38

Flink：数据延迟产生的问题

Time在Flink的流式处理中，会涉及到时间的不同概念，如下图所示：-EventTime[事件时间]事件发生的时间，例如：点击网站上的某个链接的时间，每一条日志都会记录自己的生成时间如果以EventTime
程序员无羡·2023-10-13 20:55

Flink自定义catalog管理元数据信息

这都是元数据需要知道的东西，所以元数据是描述数据的数据在流式处理环境中，Kafka对于数据格式并没有一个约束，所以对
迷失的Flink民工·2023-10-13 20:23

Spark分布式计算框架之SparkStreaming+kafka

1、SparkStreaming的介绍SparkStreaming是流式处理框架，是SparkAPI的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka,Flume,Twitter
embelfe_segge·2023-10-11 04:12

大数平台整体架构选型

第二类是从技术的角度，细分为Batch、SQL、流式处理、machinelearning、Deeplearning。第三类是编程模型，细分为离线编程模型、内存编程模型、实时编程模型。
weixin_30776863·2023-10-10 19:35

【Spark分布式内存计算框架——Spark Streaming】2. Streaming 概述（下）Streaming 计算模式、SparkStreaming 计算思想

1.3Streaming计算模式流式处理任务是大数据处理中很重要的一个分支，关于流式计算的框架也有很多，如比较出名的Storm流式处理框架，是由NathanMarz等人于2010年最先开发，之后将Storm
csdnGuoYuying·2023-10-09 21:33

【Spark分布式内存计算框架——Spark Streaming】1. Streaming 概述（上）Streaming 应用场景、Lambda 架构

前言在很多实时数据处理的场景中，都需要用到流式处理（StreamProcess）框架，Spark也包含了两个完整的流式处理框架SparkStreaming和StructuredStreaming（Spark2.0
csdnGuoYuying·2023-10-09 21:33

高性能消息中间件Kafka实战

多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎
小强同志·2023-10-09 05:40

Kafka详细原理总结

多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎
犀牛_2046·2023-10-08 05:23

Kafka架构特性——知识总结

多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于Hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎
PineApple_Chan·2023-10-08 05:53

Kafka学习，精炼总结

为了解决大数据流式处理中面临的巨大数据吞吐量的难题，LinkedIn公司开发了Kafka作为其活动流和运营数据处理的消息管道。作为全球最大的职业社交网站，LinkedIn会员人数在世界范围内已超
yolee is zyl·2023-10-08 05:22

Kafka史上最详细原理总结

多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎
HighFace·2023-10-08 05:22

kafka原理总结

多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎
wilson_go·2023-10-08 05:51

Spark基础

Map和Reduce两个操作，复杂的逻辑需要大量的样板代码(2)处理效率低Map中间结果写磁盘，Reduce写HDFS，多个Map通过HDFS交换数据任务调度与启动开销大(3)不适合迭代处理、交互式处理和流式处理
罗刹海是市式市世视士·2023-10-07 17:51

kafka初体验基础认知部署

它主要用于解决大规模数据的实时流式处理和数据管道问题。Kafka是一个分布式的发布-订阅消息系统，可以快速地处理高吞吐量的数据流，并将数据实时地分发到多个消费者中。
七层汉堡王·2023-10-06 18:16

【Azure 事件中心】Event Hub Client 连接超时(OperationTimeout)测试及解说

AzureEventHub(Azure事件中心)是大数据流式处理平台和事件引入服务。它可以每秒接收和处理数百万个事件。
云中路灯·2023-10-03 08:30

flink 学习笔记 — 编程模型

flink抽象分层结构flink作为流式处理框架，不仅具有高效的流数据和批数据处理性能，具有针对开发人员使用的高效的底层API，同时有方便分析人员使用的table/sqlAPI。
飞不高的老鸟·2023-10-02 16:22

Flink配置文件详解-了解flink-conf.yaml的大数据配置

Flink配置文件详解-了解flink-conf.yaml的大数据配置在大数据领域中，ApacheFlink是一个广泛使用的流式处理框架。
雨中徜徉的思绪漫溢·2023-09-30 04:26

Java 8和Java 11的新特性和优化=必应写的

Java8和Java11的新特性和优化引言函数式编程lambda表达式方法引用函数式接口流式处理流的创建和操作并行流和顺序流Optional类模块化模块的概念和结构模块的声明和使用模块的依赖和服务其他新特性和优化接口中的默认方法和静态方法局部变量类型推断字符串
xixiyuguang·2023-09-29 20:51

JDK 1.8 新特性学习（Stream）

Stream实现了对数据源的流式处理，它可以并行操作，提高数据处理效率。什么是流流不是集合，它不对数据做保存，只是最数据进行算法处理，比如最大值，最小值，排序等操作。
独见晓焉·2023-09-29 04:06
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他