流式计算Heron

201、Spark 2.0之Structured Streaming：wordcount入门案例

StructuredStreamingstructuredstreaming是一种可伸缩的、容错的、基于SparkSQL引擎的流式计算引擎。
ZFH__ZJ·2020-01-01 05:50

2019年阿里巴巴菜鸟人工智能部校招广告

收到简历后会第一时间筛选，简历直接发到[email protected]【职位方向】计算中台研发【面试城市】远程【岗位描述】我们专注于大数据之上的机器学习平台研究与应用，如果你了解搜索引擎、大数据处理、流式计算
阿呆少爷·2019-12-31 15:51

Flink| time| watermark| Windows窗口

streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集；而window是把无限数据流为有限流的一种方式，Window将一个无限的stream
kris12·2019-12-31 11:00

Kafka 高性能原因分析

Kafka作为一款基于磁盘存储的高吞吐消息中间件，常作为log、event等流式数据的通道，在流式计算领域也有丰富应用，下面简单分析其高吞吐、高性能的几点原因零拷贝普通的数据传输一般涉及read、write
sleep_NULL·2019-12-28 21:34

流式计算（五）-Flink核心概念

一手资料，完全来自官网，直接参考英文过来的，并加了一些自己的理解，希望能让看官君了解点什么，足矣。环境：Flink1.9.1难度：新手--战士--老兵--大师目标：理解Flink的计算模型认识各重要组件说明：本篇作为前两篇的补充内容，算是理论篇步骤：01-Flink编程模型Flink的流计算整体来看都是按照Source->Transformation->Sink三步走，即获取流源->进行转换->汇
甲由崽·2019-12-26 11:00

流式计算（四）-Flink Stream API 篇二

话说看图看核心，代码也得看核心。Flink体系十分庞大复杂，没个几十篇文章没法聊完，核心就是最擅长，做的最好，就像说起百度就是搜索，微信就是聊天一样，至于百度核心还是不是搜索已经不那么重要了，但至少聊起Flink，我们得知道，Flink核心是流计算！环境：Idea2019.03/Gradle6.0.1/JDK11.0.4/Lambda/Flink1.9.1难度：新手--战士--老兵--大师目标：F
甲由崽·2019-12-26 11:00

流式计算（三）-Flink Stream 篇一

流的世界，有点乱，群雄逐鹿，流实在太多，看完这个马上又冒出一个，也不知哪个才是真正的牛，据说Flink是位重量级选手，能流计算，还能批处理，和其他伙伴关系也融洽的很，与HDFS/File/SQL/MQ往来都不在话下，今天我们就来实战一把。环境：Idea2019.03/Gradle6.0.1/JDK11.0.4/Lambda/RHEL8.0/VMWare15.5/Springboot2.2.1.RE
甲由崽·2019-12-26 10:00

Spark的前世今生

Spark包含了大数据领域常见的各种计算框架：比如SparkCore用于离线计算，SparkSQL用于交互式查询，SparkStreaming用于实时流式计算，SparkMLlib用于机器学习，SparkGraphX
义焃·2019-12-21 09:06

Flink CookBook—Apach Flink核心知识介绍

前篇主要介绍流式计算相关的核心概念，这篇简要聊聊Flink总体架构、运行环境及其在大数据生态系统中的位置，让大家先对Flink有整体认知，便于后期理解。
data之道·2019-12-20 03:43

Hadoop分布式计算框架MapReduce

分布式计算框架有很多，只是适合做的种类不一样1、MapReduce适合做离线计算2、storm适合做流式计算，更适合实时计算3、spark是内存式计算框架，更适合做快速得到结果的计算MapReduce设计理念一
topwqp·2019-12-16 21:13

流式计算（二）-Kafka Stream

前面说了Java8的流，这里还说流处理，既然是流，比如水流车流，肯定得有流的源头，源可以有多种，可以自建，也可以从应用端获取，今天就拿非常经典的Kafka做源头来说事，比如要来一套应用日志实时分析框架，或者是高并发实时流处理框架，正是Kafka的拿手好戏。环境：Idea2019.03/Gradle6.0.1/JDK11.0.4/Lambda/RHEL8.0/VMWare15.5/Springboo
甲由崽·2019-12-16 17:00

流式计算（一）-Java8Stream

大约各位看官君多少也听说了Storm/Spark/Flink，这些都是大数据流式处理框架。如果一条手机组装流水线上不同的人做不同的事，有的装电池，有的装屏幕，直到最后完成，这就是典型的流式处理。如果手机组装是先全部装完电池，再交给装屏幕的组，直到完成，这就是旧式的集合式处理。今天，就来先说说JDK8中的流，虽然不是很个特新鲜的话题，但是一个很好的开始，因为——思想往往比细节重要！准备：Idea20
甲由崽·2019-12-16 14:00

storm 学习（二）与 hadoop比较

2.Storm为什么被称之为流式计算系统？3.hadoop适合什么场景，什么情况下使用hadoop？4.什么是吞吐量？
Graceleeman·2019-12-16 00:14

大数据应用场景-推荐系统

等.离线挖掘出来的有效数据,为了能够快速的提供服务,一般通过nosql非关系数据库,有时也叫缓存数据库作为中间介质进行交换,为前端提供服务.2.nearline部分-近线:采用的技术主要有流行比较的是流式计算框架
夏光辉·2019-12-14 09:17

kafka stream学习笔记（一）

流式计算是目前大数据领域很火的一种术语，stream的技术有很多，很早的storm，然后是sparkstream、flink，以及我将要学习了解的kafkastream。其实我对
247609107a39·2019-12-13 22:33

Flink 中LatencyMarks延迟监控（源码分析）

流式计算中处理延迟是一个非常重要的监控metricflink中通过开启配置metrics.latency.interval来开启latency后就可以在metric中看到askManagerJobMetricGroup
末日布孤单·2019-12-13 17:00

四、flink--window、eventTime和watermark原理和使用

一、flink的window机制1.1window概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段
隔壁小白·2019-12-09 17:08

三、flink--DataStreamAPI原理以及用法

datastream是flink提供给用户使用的用于进行流计算和批处理的api，是对底层流式计算模型的api封装，便于用户编程。
隔壁小白·2019-12-09 17:26

001_spark的前世今生

spark包含了大数据领域常见的各种计算框架：比如sparkcore用于离线计算，sparksql用于交互式查询，sparkstreaming用于实时流式计算，sparkMLlib用于机器学习，sparkGraphX
iarchitect·2019-12-08 13:03

(十四)大数据学习之Scala语言

(4)SparkStreaming：类似于storm，用于流式计算、实时计算。本质：一个离线计算。Scala基础一.Scala简介1.scala是一个多范式的编程语言（支持多种方式的编程）
Movle·2019-12-07 20:16

流式计算准确性语义分析

本篇文章是对ExactlyonceisNOTexactlythesame翻译和分析，对流式计算中衡量准确性的三类语义进行了初步的理解。
Michaelhbjian·2019-12-07 18:15

谷歌DataFlow编程模型以及Spark/Flink/StreamCQL的相关实现

流式计算框架编程接口的标准化，傻瓜化，SQL化，自打谷歌发表Dataflow编程模型的Paper起，就有走上台面的趋势。各家计算框架都开始认真考虑相关的问题，俨然成为大家竞争的热点方向。
彩色蚂蚁·2019-12-07 07:00

hadoop的分布式计算框架MapReduce

MapReduce缺点：实时流式计算。wordcount：统计文件中每个单词出现的次数需求：求wordcount1）文件内容大小：shell2）文件内容很大：比如TB、GB，那
机灵鬼鬼·2019-12-07 04:45

基于Kafka+Flink+Redis的电商大屏实时计算案例

由于Flink的“真·流式计算”这一特点，它比SparkStreaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型，并简要叙述计算流程（当然大部分都是源码）
LittleMagic·2019-12-06 09:03

Hadoop集群完全分布式搭建

Hadoop先导大数据时代的核心是计算和数据处理，在计算方面，主要是通过分布式计算完成海量数据的计算，在海量数据的计算方面，目前集中于３个场景，离线计算：Hadoop，内存计算：Spark，实时计算（流式计算
小熊威尼的夏天·2019-12-01 09:57

如果你满足这些条件，请千万别来做数据分析

数据行业这几年发展迅速，出现了很多数据的工种，包括人工智能，机器学习，数据挖掘，数据分析，数据仓库，数据中台，数据流式计算等方向。
Leo.yuan·2019-11-28 11:43

spark大数据架构初学入门基础详解

Spark是什么a)是一种通用的大数据计算框架b)SparkCore离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)
13157330443·2019-11-27 22:11

Flink 中的 Window 以及 Window API

1Window1.1Window概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段
不稳定记忆·2019-11-25 21:31

五、spark--spark streaming原理和使用

一、spark-streaming概述1.1常用的实时计算引擎实时计算引擎也叫流式计算引擎，常用的目前有3个：1、ApacheStorm：真正的流式计算2、SparkStreaming：严格上来说，不是真正的流式计算
隔壁小白·2019-11-15 18:27

spark必知必会的基本概念

-数据收集-数据存储-资源管理，这是我们进行数据分析和处理的基本;图中的计算框架包括批处理、交互式分析和流处理：批处理计算：对时间没有严格要求，吞吐率要高交互式计算：支持类SQL语言，快速进行数据分析流式计算
千锋IJava·2019-11-08 16:32

sparkstreaming 筆記

StreamingContext是SparkStreaming的入口flatMap是一种“一到多”（one-to-many）的映射算子，它可以将源DStream中每一条记录映射成多条记录扁平化ssc.start()//启动流式计算不应该将
时待吾·2019-11-07 07:02

数据亲和架构--流式计算

关于计算有很多名词，比如实时计算、分布式计算，以及这里提到流式计算等等。他们是从计算形势的不同维度来描述，不必争议孰优孰劣。
romandion·2019-11-07 03:23

Hadoop相关学习笔记

大数据计算-批量计算Spark：计算引擎,速度快于HadoopHbase：存储对形式和格式；查询非常快，与Hive比较Zookeeper：管理「小动物」Nutch：分布式数据采集Storm：内存计算，流式计算
咸鱼干lili·2019-11-06 18:48

Flink 从 0 到 1 学习 —— Flink Data transformation(转换)

toc:truetitle:Flink从0到1学习——FlinkDatatransformation(转换)date:2018-11-04tags:Flink大数据流式计算前言在第一篇介绍Flink的文章
zhisheng_tian·2019-11-04 21:00

实时计算——聊一聊我所经历的计算框架

我们首先来简单看一下计算任务的大致流程：首先先说下批量计算和流式计算：图中显示了一个计算的基本流程，receiver处负责从数据源接收数据，并发送给下游的task，数据由task处理后
奔跑的番茄酱·2019-11-01 15:42

Spark Streaming 1.6 流式状态管理分析

关于状态管理在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Duration)的统计，这个时候就不得不维护状态了。
祝威廉·2019-11-01 09:52

Spark Streaming资源动态申请和动态控制消费速率原理剖析

Twitter最近推出了会秒杀Storm的Heron，非常值得关注。因为Heron能有更好的资源分配、更低的延迟。Heron在语义上兼
阳光男孩spark·2019-10-31 00:17

EMQ X 规则引擎系列（九）- 消息写入到 TDEngine

除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。
EMQX·2019-10-30 05:37

Spark学习笔记(一)

2.易用：支持多种语言3.通用：SparkCore、SparkSQL、SparkStreaming（流式计算）4.兼容性好：完全兼容HadoopSpar
Jayboy.chen·2019-10-19 09:56

带你走入 Flink 的世界

这是Java极客技术的第228篇原创文章1.为什么要学Flink在18年时，就听说过Flink流式计算引擎，是阿里调研选型选择的新一代大数据框计算架，当时就记住了这个新框架。
javageektech·2019-10-18 09:00

流式计算

原文链接：http://www.fly63.com/article/detial/5228一、流式计算的背景在日常生活中，我们通常会先把数据存储在一张表中，然后再进行加工、分析，这里就涉及到一个时效性的问题
hellocsz·2019-10-16 17:33

流式视频处理架构设计

包括利用工作流式计算引擎实现场景动态配置，以及采用流式上传协议SVE来解决大流量高并发的问题等内容。
·2019-10-16 00:00

高性能高并发系统的稳定性保障

作者：肖飞，于2011年8月份加入京东，曾亲身参与到京东的应用性能监控、统一日志、流式计算、内存缓存、四层防攻击等一些基础技术平台的研发和搭建工作，经历了京东的技术系统从简单粗放向复杂精细化的演变过程。
小学生II·2019-10-15 20:00

实时计算框架 Flink 在教育行业的应用实践

如今，越来越多的业务场景要求OLTP系统能及时得到业务数据计算、分析后的结果，这就需要实时的流式计算如Flink等来保障。
UCloud技术市场团队·2019-10-12 14:00

Python函数式编程之pipeline——很酷有没有

Pipelinepipeline管道借鉴于UnixShell的管道操作——把若干个命令串起来，前面命令的输出成为后面命令的输入，如此完成一个流式计算。
MHyourh·2019-10-11 14:28

Stream流式计算从入门到精通

摘要：Stream流式计算，本文讲解了Stream流式计算的概念，具体的使用步骤以及源码实现，最后讲解了使用Stream过程中需要注意的事项。
jet_qi·2019-10-04 11:40

流式计算的三种框架：Storm、Spark和Flink

我们知道，大数据的计算模式主要分为批量计算(batchcomputing)、流式计算(streamcomputing)、交互计算(interactivecomputing)、图计算(graphcomputing
先荐·2019-09-27 12:00

蚂蚁金服开放计算架构：下一代金融级计算架构

从10年前的MapReduce分布式计算开始，几乎每三年就会出现一次新的计算引擎更迭，从开山鼻祖的Hadoop，到后来流式计算的Storm，之后出现了基于内存迭代计算的Spark红极一时，然后到今天Flink
阿里云云栖社区·2019-09-26 00:00

Hbase入门(一)——初识Hbase

这使得Hbase在实时流式计算中也扮演者重要的角色。1、大数据与Hbase大数据在近几年发展迅速，而实时计算也是一个重要的发展趋势。不管是企业中的日志数据，还是传感器、智能设备等等
独孤风·2019-09-24 09:00

蚂蚁金服开放计算架构：下一代金融级计算架构

从10年前的MapReduce分布式计算开始，几乎每三年就会出现一次新的计算引擎更迭，从开山鼻祖的Hadoop，到后来流式计算的Storm，之后出现了基于内存迭代计算的Spark红极一时，然后到今天Flink
蚂蚁金服科技·2019-09-24 00:00
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他