流式计算

实时流处理学习（一）

MapReduce适合离线批处理实时流处理产生背景：时效性高数据量大实时计算与流计算对比：实时计算：延迟性低流式计算：不断产生的数据流上计算==综合==>实时流式计算离线计算与实时计算的对比：1)数据来源离线
无影风Victorz·2020-08-10 22:09

11 Confluent_Kafka权威指南 第十一章：流计算

文章目录CHAPTER10StreamProcessing流式计算WhatIsStreamProcessing?
冬天里的懒猫·2020-08-10 11:02

spark大数据架构初学入门基础详解

Spark是什么a)是一种通用的大数据计算框架b)SparkCore离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)
星月情缘02·2020-08-10 04:28

Stream流式计算

什么是Stream流式计算Stream流式计算就是把计算交给流来操作，而集合只做存储。这么说可能看不懂，我们通过下面例子来理解。题目要求：一分钟内完成此题，只能用一行代码实现！现在有5个用户！
Gebo·2020-08-10 03:54

函数式接口及Stream流式计算

文章目录概念和定义jdk1.8以前的函数式接口及使用jdk1.8之后新增的函数式接口新增函数式接口的四大分类Stream流的定义及概念java8的新特性（仅列举四个）概念和定义函数式接口(FunctionalInterface)就是一个有且仅有一个抽象方法，但是可以有多个非抽象方法的接口。jdk1.8之后，函数式接口可以被隐式转换为lambda表达式。下面就是jdk1.8之后，定义一个函数式接口的
不洇·2020-08-10 00:15

流式计算

1.什么是流式计算大数据=存储+计算存储：map、mysql等计算：交给流来计算2.举例lambda表达式、链式编程、函数式接口、Stream流式计算publicclassStreamDemo{publicstaticvoidmain
酷学java·2020-08-10 00:31

Java 新特性之Stream 流式计算

Stream流式计算内部采用了大量的函数式接口，很多用的就直接是10中的四大函数式接口，所有我们在使用的时候可以直接用lambda表达式。
崔雨田·2020-08-10 00:50

Java_函数式接口&Stream流式计算

文章目录函数式接口流(Stream)特点操作阶段demo函数式接口//Rapply(Tt);函数型接口，一个参数，一个返回值Functionfunction=t->{returnt.length();};System.out.println(function.apply("abcd"));//booleantest(Tt);断定型接口，一个参数，返回booleanPredicatepredicat
Chill_Lyn_·2020-08-09 18:14

透过窗口看无限数据流——Flink的Window全面解析

欢迎关注我的公众号:大数据技术与数仓免费领取百G大数据资料窗口是流式计算中非常常用的算子之一，通过窗口可以将无限流切分成有限流，然后在每个窗口之上使用计算函数，可以实现非常灵活的操作。
西贝木土·2020-08-09 13:57

Spark Streaming如何使用checkpoint容错

在互联网场景下，经常会有各种实时的数据处理，这种处理方式也就是流式计算，延迟通常也在毫秒级或者秒级，比较有代表性的几个开源框架，分别是Storm，SparkStreaming和Filnk。
三劫散仙·2020-08-09 12:46

大数据总结【第九章：Spark】

：支持使用Scala、Java、Python和R语言进行编程，可以通过SparkShell进行交互式编程通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件运行模式多样
计忆芳华·2020-08-08 20:44

透过窗口看无限数据流——Flink的Window全面解析

欢迎关注我的公众号:大数据技术与数仓免费领取百G大数据资料窗口是流式计算中非常常用的算子之一，通过窗口可以将无限流切分成有限流，然后在每个窗口之上使用计算函数，可以实现非常灵活的操作。
西贝木土·2020-08-08 14:52

透过窗口看无限数据流——Flink的Window全面解析

欢迎关注我的公众号:大数据技术与数仓免费领取百G大数据资料窗口是流式计算中非常常用的算子之一，通过窗口可以将无限流切分成有限流，然后在每个窗口之上使用计算函数，可以实现非常灵活的操作。
西贝木土·2020-08-08 14:51

stream流式计算的妙用

有了stream流式计算，结合着函数式接口和链式调用，对于数据的处理变得更加简单，同时增强可读性。
spring man·2020-08-08 03:42

超全干货--Flink思维导图，花了3周左右编写、校对

需要说明一下，Flink使用场景：大数据流式计算、金融风控、实时异常监测（订单、传感器、刷单、
十点进修·2020-08-06 10:29

Flink 全套知识体系，终于搞到了！

自从阿里Blink开源，Flink就因天然流式计算特性和强大处理性能，打破了Spark独霸实时计算领域的现状，一跃成为炙手可热的大数据处理框架。目前，包括阿里在内的很多公司都对Flink有一定布局。
码农小胖哥·2020-08-06 10:26

网站访问量实时统计

一、需求：统计网站访问量（实时统计）技术选型：特点（数据量大、做计算、实时）实时流式计算框架：storm1)spout数据源，接入数据源本地文件2)splitbolt业务逻辑处理切分数据拿到网址3)bolt
weixin_30548917·2020-08-05 20:21

大数据课程30天掌握 spark内存计算（python ）-徐培成-专题视频课程

大数据课程30天掌握spark内存计算（python）—16625人已学习课程介绍本部分内容全面涵盖了Spark生态系统的概述及其编程模型，深入内核的研究，SparkonYarn,SparkStreaming流式计算原理与实践
十八掌教育·2020-08-04 22:31

若泽大数据--玩转大数据之Spark入门到实战--专题视频课程

课程收益全面涵盖了Spark生态系统的概述及其编程模型，深入内核的研究，SparkonYarn,SparkStreaming流式计算原理与实践，SparkSQL,Spark的多语言编程以及SparkR的原理和运行
ruozedata·2020-08-04 17:24

如果20万用户同时访问一个热点缓存，如何优化你的缓存架构？

目录（1）为什么要用缓存集群（2）20万用户同时访问一个热点缓存的问题（3）基于流式计算技术的缓存热点自动发现（4）热点缓存自动加载为JVM本地缓存（5）限流熔断保护（6）总结（1）为什么要用缓存集群这篇文章
qq_42949441·2020-08-04 17:48

CentOS7上使用源码安装物联网大数据平台TDengine

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。目前，TDengine只支持在使用systemd做进程服务管理的linux系统上安装。
似水流年·2020-08-04 14:57

基于热点发现的本地缓存的架构设计

基于流式计算技术的缓存热点自动发现其实这里关键的一点，就是对于这种热点缓存，你的系统需要能够在热点缓存突然发生的时候，直接发现他，然后瞬间立马实现毫秒级的自动负载均衡。
奔向云计算的笨鸟·2020-08-04 14:30

TDengine 在VS2008上的配置使用

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。听着很是有诱惑力，所以就想装下试试它。没想到一试就入了一堆坑。
LyMonk·2020-08-04 10:41

Storm基础

ApacheStorm流式计算框架1、Storm基础1.1、Storm是什么Hadoop在处理数据的时候，时效性不够，市场期望能够尽快得到处理后的数据。
hxhh·2020-08-03 21:14

大数据计算技术的演变历程、大数据挖掘技术

计算技术演变历程：1、离线计算Mapreduce：大数据兴趣初期，满足海量数据的离线批处理需求；2、流式计算Storm：满足电子商务，新闻聚合等、实时监管等实时统计需求，以数据流的驱动来触发计算，时效性高
iteye_7971·2020-08-03 18:46

Flink 窗口、时间和水印

而当我们在流式计算环境中数据从Source产生，再到转换和输出，这个过程由于网络和反压的原因会导致消息乱序。因此，需要有一个机制来解决这个问题，这个特别的机制就是“水印”。
Platina_Tomato·2020-08-03 07:13

kafka

1、Kafka是什么（了解）在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
大数据专家·2020-08-03 02:24

Flink流式计算里的时间和watermark机制

一流计算对“批计算”的优势：“流计算”是相对于“批计算”来的，MapReduce，Spark底层的计算方式是目前主流的“批计算”实现方式，很多公司在使用这种方式做大数据处理。但是越来越多的公司目前开始关注“流计算”，主要有以下一些原因：1对处理时间的要求。随着技术的进步，用户对“延迟”的忍受能力越来越弱，能更及时发现问题、解决问题，能提升用户体验。2在大数据分析领域，数据分析得越及时，价值越高。在
flywind800·2020-08-03 00:34

数据中台技术汇 | DataSimba系列之流式计算

你是否有过这样的念头：如果能立刻马上看到我想要的数据，我就能更好地决策？市场变化越来越快，企业对于数据及时性的需求，也越来越大，另一方面，当下数据容量呈几何倍暴增，数据的价值在其产生之后，也将随着时间的流逝，逐渐降低。因此，我们最好在事件发生之后，迅速对其进行有效处理，实时，快速地处理新产生的数据，帮助企业快速地进行异常管理和有效决策，而不是待数据存储在一起之后，再进行批量处理。一:sparkSt
bqc63177·2020-08-02 23:18

Flink学习18---window和Time（一）window全面解析

窗口是流式计算中非常常用的算子之一，通过窗口可以将无限流切分成有限流，然后在每个窗口之上使用计算函数，可以实现非常灵活的操作。
zhuzuwei·2020-08-02 21:28

蚂蚁金服开放计算架构：下一代金融级计算架构

从10年前的MapReduce分布式计算开始，几乎每三年就会出现一次新的计算引擎更迭，从开山鼻祖的Hadoop，到后来流式计算的Storm，之后出现了基于内存迭代计算的Spark红极一时，然后到今天Flink
阿里云云栖号·2020-08-01 11:25

别再叫我 Sql boy！

自从阿里Blink开源，Flink就因天然流式计算特性和强大处理性能，打破了Spark独霸实时计算领域的现状，一跃成为炙手可热的大数据处理框架。目前，包括阿里在内的很多公司都对Flink有一定布局。
大数据技术与架构·2020-08-01 02:09

大数据流式计算第一课---从Storm开始

大数据流式计算第一课—从Storm开始##**前言**##大数据（BigData）又称为巨量资料，指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
fanleehao·2020-07-31 21:55

狂神——Stream流式计算

JUC1狂神JUC——传统的Synchronized锁2狂神JUC——Lock锁3狂神JUC——Lock版生产者和消费者4狂神JUC——Synchronized版的生产者和消费者问题5狂神JUC——8锁现象彻底理解锁6狂神JUC——集合不安全7狂神JUC——走近Callable8狂神JUC——CountDownLatch，CyclicBarrier，Semaphore9狂神JUC——读写锁10狂神
黄 坤·2020-07-31 20:32

利用Spark Streaming实现分布式采集系统

之前我在微信朋友圈发了一段话，说明SparkStreaming不仅仅是流式计算，也是一类通用的模式，可以让你只关注业务逻辑而无需关注分布式相关的问题而迅速解决业务问题前言前两天我刚在自己的一篇文章中鼓吹数据天生就是流式的
祝威廉·2020-07-31 18:38

No，流式计算浪潮才刚刚开始！

翻译｜巴真编辑｜DebraAI前线导读：本文重点讨论了大数据系统发展的历史轨迹，行文轻松活泼，内容通俗易懂，是一篇茶余饭后用来作为大数据谈资的不严肃说明文。本文翻译自《StreamingSystem》最后一章《TheEvolutionofLarge-ScaleDataProcessing》，在探讨流式系统方面本书是市面上难得一见的深度书籍，非常值得学习。更多干货内容请关注微信公众号“AI前线”（I
weixin_33713707·2020-07-31 12:36

李亚坤：Hadoop YARN在字节跳动的实践

讲师简介：李亚坤，哈工大硕士，目前从事分布式计算资源调度系统YARN的研发支持工作，支撑了包括今日头条、抖音短视频、火山小视频、西瓜视频等一系列产品的离线、流式计算任务。
cuizhu6079·2020-07-31 11:40

流式计算领域新霸主Flink的那些事儿

Flink项目是大数据计算领域冉冉升起的一颗新星。大数据计算引擎的发展经历了几个过程，从第1代的MapReduce，到第2代基于有向无环图的Tez，第3代基于内存计算的Spark，再到第4代的Flink。因为Flink可以基于Hadoop进行开发和使用，所以Flink并不会取代Hadoop，而是和Hadoop紧密结合。Flink主要包括DataStreamAPI、DataSetAPI、TableA
过往记忆·2020-07-31 10:12

JAVA面试案例-铂涛

笔试实时流式计算统计黑名单redis有序集合做排名zset用法https://www.redis.net.cn/tutorial/3512.html排名zincrehttps://www.jianshu.com
「已注销」·2020-07-31 10:57

大数据流式计算：关键技术及系统实例

转载自：http://www.jos.org.cn/html/2014/4/4558.htm摘要：大数据计算主要有批量计算和流式计算两种形态，目前，关于大数据批量计算系统的研究和讨论相对充分，而如何构建低延迟
公众号：数海星辰·2020-07-30 20:52

基于Kafka+Flink+Redis的电商大屏实时计算案例

由于Flink的“真·流式计算”这一特点，它比SparkStreaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型，并简要叙述计算流程（当然大部分都是源码）
大数据技术与架构·2020-07-30 20:51

用Spark Streaming+Kafka实现订单数和GMV的实时更新

由于订单数量巨大，不可能每隔一秒就到数据库里进行一次SQL的数据统计，这时候就需要用到流式计算。
wangjinming1976·2020-07-30 17:47

Flink读取Kafka数据批量写入ES(elasticsearch)

在流式计算中，此场景十分常见。
泛音青年·2020-07-30 16:30

storm教程（六）：Storm 和kafka的集成

我们知道storm的作用主要是进行流式计算，对于源源不断的均匀数据流流入处理是非常有效的，而现实生活中大部分场景并不是均匀的数据流，而是时而多时而少的数据流入，这种情况下显然用批量处理是不合适的，如果使用
大数据技术之路---花火·2020-07-30 16:06

Spark-Streaming 和 Kafka 做实时计算需要注意的点

spark到kafka的消息消费--SparkKafkaDriverHAZooKeeperOps流式计算中最重要的消息的消费总结流式计算中最重要的消息的消费当我们使用spark做准实时计算的时候，很大场景都是和
凌萧子·2020-07-30 15:28

【Spark】Spark Streaming的程序运行原理及与Kafka的集成

（2）流式计算系统StreamingCompute常用的有三种：ApacheStorm、SparkStreaming和ApacheSamza。这三种实
魏晓蕾·2020-07-30 15:26

Flink 常用的 DataSet 和 DataStream API

现状在前面的课程中，曾经提到过，Flink很重要的一个特点是“流批一体”，然而事实上Flink并没有完全做到所谓的“流批一体”，即编写一套代码，可以同时支持流式计算场景和批量计算的场景。
Platina_Tomato·2020-07-30 12:58

Hadoop的核心组件——MR

MapReduce(MR)的概述[TOC]###1.MapReduce的介绍-Hadoop的分布式计算框架（MapReduce）-MapReduce是分布式计算框架的一种，适合做离线计算框架；Strom适合做流式计算框架
不断前行的菜鸟_·2020-07-28 20:36

《数据结构与算法分析（Java语言描述）》读书笔记——1-6章，偏数据结构部分

1、最大子序列和（书2.4.3）联机算法(对已读入的数据，能给出结果)、流式计算//数组全负结果为0publicintmaxSubSum(int[]a){intmaxSum=0;intthisSum=0
绕远的偶人·2020-07-28 20:19

Spark学习（1）——初识spark

Spark包含了大数据领域常见的各种计算框架；比如SparkCore勇于离线计算，SparkSQL用于交互式查询，SparkStreaming用于实时流式计算，SparkMLlib用于机器学习，SparkGraphX
Mbappe·2020-07-28 15:25
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他