流式计算Heron

基于Flink的K-Means聚类算法的实现（Scala版）

基于Flink的流式计算框架，可以自动将算法依赖的数
Logicm79·2020-06-25 08:59

Spark学习总结

Spark支持离线批处理、流式计算和实时分析。2、Spark为何快MapReduce慢的原因：多个MapReduce串联执行时，依赖于HDFS输出的中间结果MapReduce在
张薄薄·2020-06-25 07:17

大数据架构师之路 | 概念术语理解

知识拓展大数据人工智能行业技术人员必备技能hive入门|数据类型、数据存储、数据结构详解+SQl代码示例hive进阶|数据的导入、数据查询、Java客户端详解+代码示例Hadoop基础与实战|简明理解大数据流式计算
大数据AI笔记·2020-06-25 04:58

阿里云大数据ACA考点总结

计算引擎（三类）：离线计算、流式计算、在线计算2.MaxCompute由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域。
战思宇·2020-06-25 03:36

浅谈Storm原理(新手向)

前言：storm作为流式实时计算的代表之一，它的地位对于流式计算相当于hadoop在离线计算中一般。抛开编码过程，本文就来聊聊storm的构造和工作原理。
qianbing11·2020-06-24 21:50

谈谈三种海量数据实时去重方案（w/ Flink）

除了统计UV等传统用法之外，去重的意义更在于消除不可靠数据源产生的脏数据——即重复上报数据或重复投递数据的影响，使流式计算产生的结果更加准确。
LittleMagics·2020-06-24 16:31

Flink架构原理基础知识

介绍Flink是一款基于状态的流式计算框架，它具有以下特点：1、既可进行流式（Stream）计算，也可以进行批处理（Batch）计算2、基于状态的计算，正是这种可管理的状态计算，让Flink实现了ExactlyOnce3
小学僧丶Monk·2020-06-24 15:45

深度解析 Twitter Heron 大数据实时分析系统

2015年6月1号，Twitter对外宣讲了他们的Heron系统，从ppt和论文中，看起来完爆storm。
小草君·2020-06-24 03:14

Flink Job重启/Task恢复策略简介

前言流式计算对稳定性敏感，所以我们在编写作业时一定会做好防御性编程，如各种判空、边界条件、安全的类型转换、格式判断、异常捕获等。
吃鱼的羊·2020-06-23 13:59

流式机器学习算法的入门和认知

一.流式计算背景1.概述其实技术总在更新，做这个行业也是一直要走在学习并适应的路上，这也是人工智能领域最吸引我的地方，其实基础的理论是不变的，但是随着业务的发展，计算能力的发展，上层的实现总是在迭代，今天讲下我对于流计算的一些认知
李博Garvin·2020-06-23 11:33

厉害了Word哥！阿里巴巴73款开源产品最全总结全景图

Jstrom："JStorm是参考storm的实时流式计算框架，在网络IO、线程模型、资源调度、可
emprere·2020-06-23 06:22

函数式编程之pipeline——很酷有没有

Pipelinepipeline管道借鉴于UnixShell的管道操作——把若干个命令串起来，前面命令的输出成为后面命令的输入，如此完成一个流式计算。
djph26741·2020-06-23 04:53

体系结构方案 - 大清单报表

最佳解决方案:零编码，引入流式计算实现大清单报表的呈现！去乾学院看集算器是怎么实现
chuiao2284·2020-06-22 23:33

Java8 Stream API 详细使用指南

Stream翻译过来是“流”，突然想到的是大数据处理有个流式计算的概念，数据通过管道经过一个个处理器（Handler）进行筛选，聚合，而且流都具有向量性，强调的是对数据的计算处理，而集合强调的是数
chongmu2584·2020-06-22 22:24

流式计算引擎-Storm、Spark Streaming

目前常用的流式实时计算引擎分为两类：面向行和面向微批处理，其中面向行的流式实时计算引擎的代表是ApacheStorm，典型特点是延迟低，但吞吐率也低。而面向微批处理的流式实时计算引擎代表是SparkStreaming，其典型特点是延迟高，但吞吐率也高。主流的流式数据线分四个阶段：1、数据采集：负责从不同数据源上实时采集数据，可选包括Flume以及自定义KafkaProducer2、数据缓冲：为了平
凹谷·2020-06-22 21:51

什么是流式计算？

一、流式计算的背景在日常生活中，我们通常会先把数据存储在一张表中，然后再进行加工、分析，这里就涉及到一个时效性的问题。
bizhi5850·2020-06-22 18:54

流式计算的三种框架：Storm、Spark和Flink

我们知道，大数据的计算模式主要分为批量计算(batchcomputing)、流式计算(streamcomputing)、交互计算(interactivecomputing)、图计算(graphcomputing
bizhi5850·2020-06-22 18:54

用机器学习流程去建模我们的平台架构

譬如RDD这种就是一个和神一般的抽象，它使得Spark成为了一个非常通用的平台，囊括了流式计算，离线计算，机器学习，图计算等多个领域。spark.ml在一开始就提出
祝威廉·2020-06-22 13:10

在火星呆500多天是怎样的体验

贝克斯顿（Bexton）、赫伦（Heron）、斯科特（Scott）于1954年在加拿大的一所大学进行了感觉剥夺实验。内容很简单，就是躺着别动。图片发自App被试是自愿报名的
小莫大王·2020-06-22 02:43

Kafka集群部署与shell命令行操作

1、kafka简介在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
__元昊__·2020-06-22 02:28

HDU 6222 Heron and His Triangle 找规律打表 大数减法 大数乘法

HDU6222HeronandHisTriangleAtriangleisaHeron’striangleifitsatisfiesthatthesidelengthsofitareconsecutiveintegerst−1,t,t+1andthatitsareaisaninteger.Now,forgivennyouneedtofindaHeron’striangleassociatedwit
DonoToT·2020-06-21 19:00

大数据笔记（六）：Spark

执行引擎以支持循环数据流与内存计算•容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过SparkShell进行交互式编程•通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算
Ding_xiaofei·2020-06-21 19:38

大数据Spark和Hadoop以及区别（干货）

Spark包含了大数据领域常见的各种计算框架：比如SparkCore用于离线计算，SparkSQL用于交互式查询，SparkStreaming用于实时流式计算，SparkMLlib用于机器学习，SparkGraphX
BAO7988·2020-06-21 17:47

Kafka集群部署与shell命令行操作

1、kafka简介在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
数据萌新·2020-06-21 08:18

【开发总结】Linux下获取物理网卡带宽最大值

背景：现阶段手头的一个自研的流式计算平台在完善监控体系，对机器资源负载、机器上任务资源消耗进行统计和上报，这里对Linux下获取网卡上限的方法进行梳理。
blue_smile·2020-06-21 04:38

分布式系统面试准备

当然了，大家都不是做底层的分布式系统，比如分布式存储系统，hadoophdfs，分布式计算系统，hadoopmapreduce，spark，分布式流式计算系统，storm。
沈安心·2020-06-21 04:19

金融科技&大数据产品推荐：易鑫大数据风控平台

易鑫大数据风控平台综合了机器学习、网络爬虫、指标体系、规则引擎、图数据库、流式计算等核心技术，整合线上线下多维度数据，可支持反欺诈、信用评分、贷前审批、贷中监控、贷后追踪等全方位的金融风控场景。
数据猿·2020-06-20 23:44

Flink-1.10中的StreamingFileSink相关特性

Flink流式计算的核心概念，就是将数据从Source输入流一个个传递给Operator进行链式处理，最后交给Sink输出流的过程。
王知无-大数据技术与架构·2020-06-04 08:00

一文了解Flink State Backends

当我们使用Flink进行流式计算时，通常会产生各种形式的中间结果，我们称之为State。有状态产生，就必然涉及到状态的存储，那么Flink中定义了哪些形式的状态存储呢，下面一一给大家介绍一下。
MindForward·2020-06-04 01:12

JAVA流式计算

JAVA流式计算流的简单介绍Java8中，引入了流（Stream）的概念，利用提供的StreamAPI，我们可以方便的操作集合数据，这种方式很类似于使用SQL对数据库的操作。
sean·2020-06-01 19:09

Storm核心组件、编程模型

Storm简介storm是用来做实时计算的框架，所以介绍storm之前需要知道什么是流式计算。
weare_b646·2020-05-29 12:50

Kafka核心API——Connect API

KafkaConnect基本概念：KafkaConnect实际上是Kafka流式计算的一部分KafkaConnect主要
ZeroOne01·2020-05-26 17:11

大数据平台之初体验 | 网易猛犸 | 数据仓库、调度系统、数据质量、离线与实时计算应有尽有。

支持HDFS、Hbase、Kudu等从GB到PB级别的存储方案，支持Hive和MapReduce等批量计算、Spark内存计算、Kylin多维分析、Impala和流式计算（开源SparkStreaming
程序员小陶·2020-05-26 09:20

谈谈三种海量数据实时去重方案（w/ Flink）

除了统计UV等传统用法之外，去重的意义更在于消除不可靠数据源产生的脏数据——即重复上报数据或重复投递数据的影响，使流式计算产生的结果更加准确。
LittleMagic·2020-05-21 17:27

Java8 Stream API 详细使用方法与操作技巧指南

Stream翻译过来是“流”，突然想到的是大数据处理有个流式计算的概念，数据通过管道经过一个个处理器（Handler）进行筛选，聚合，而且流都具有向量性，强调的是对数据的计算处理，而集合强调的是数据集。
码农小胖哥·2020-05-20 10:15

详解Flink中的Window

1Window1.1Window概述流式计算是一种用于处理无限数据集的数据处理引擎，而无线数据集是指一种不断增长的无限的数据集，而Window是一种将无限数据集切割为有限块进行处理的手段。
huahuaxiaoshao·2020-05-12 17:45

实时流式计算系统中的几个陷阱

随着诸如ApacheFlink，ApacheSpark，ApacheStorm之类的开源框架以及诸如GoogleDataflow之类的云框架的增多，创建实时数据处理作业变得非常容易。这些API定义明确，并且诸如Map-Reduce之类的标准概念在所有框架中都遵循几乎相似的语义。但是，直到今天，实时数据处理领域的开发人员都在为该领域的某些特性而苦苦挣扎。因此，他们在不知不觉中创建了一条路径，该路径导
xiangwang2206·2020-05-08 09:44

实时流式计算系统中的几个陷阱

随着诸如ApacheFlink，ApacheSpark，ApacheStorm之类的开源框架以及诸如GoogleDataflow之类的云框架的增多，创建实时数据处理作业变得非常容易。这些API定义明确，并且诸如Map-Reduce之类的标准概念在所有框架中都遵循几乎相似的语义。但是，直到今天，实时数据处理领域的开发人员都在为该领域的某些特性而苦苦挣扎。因此，他们在不知不觉中创建了一条路径，该路径导
独孤风·2020-05-08 09:00

Spark之SparkContext源码分析

进行流式计算时使用的StreamingContext以及进行SQL计算时使用的SQLContext也会关联一个现有的Spark
云山之巅·2020-04-14 18:00

体系结构方案 - 大清单报表

最佳解决方案:零编码，引入流式计算实现大清单报表的呈现！去乾学院看集算器是怎么实现
小黄鸭呀·2020-04-10 16:26

Kuiper与EdgeX Foundry集成实践

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。
sjyu_eadd·2020-04-10 10:15

潮闻快食 | LV制作非外科口罩；Heron Preston携手Sami Miró带来联名系列

HeronPrestonxSamiMiró系列现已上架HeronPreston一直致力推动可持续性时装，今回携手有着相同理念的古着服装设计师SamiMiró打造全新系列「自然灾害NaturalDisaster」，系列已于巴黎时装秀初次登场，目的为呼吁人们正视全球暖化对环境和生态带来的祸害和破坏力。此次合作是从HeronPreston的存库中提取面料重新制作的牛仔布服装，混合丝绸，欧根纱和拼布机织重
YOHO潮流志·2020-04-10 00:00

Kafka0.8集群部署与shell命令行操作

1、kafka简介在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
__豆约翰__·2020-04-09 21:34

性能提升约7倍！Apache Flink 与 Apache Hive 的集成

导读：随着Flink在流式计算的应用场景逐渐成熟和流行，如果Flink能同时把批量计算的应用场景处理好，就能减少用户在使用Flink时开发和维护的成本,并且能够丰富Flink的生态。
阿里云云栖号·2020-04-06 18:14

spark基础学习（二）

SparkStreaming是用来对实时数据进行流式计算的组件。本章节主要从SparkStreaming的原理及其核心DStream两个大方面来介绍SparkStreaming的运行机制。
Pt_Chen·2020-04-06 15:43

【图文教程】五分钟内搞一个双十一数据大屏_实时看到自己的业务访问情况

说起实时大屏，都会想到最典型的流式计算架构：数据采集：将来自各源头数据实时采集中间存储：利用类KafkaQueue进行生产系统和消费系统解耦实时计算：环节中最重要环节，订阅实时数据，通过计算规则对窗口中数据进行运算结果存储
鬼泣天下第一·2020-04-06 10:50

Spark从入门到精通1:spark概述

Spark包含了大数据领域常见的各种计算框架：比如SparkCore用于离线计算，SparkSQL用于交互式查询，SparkStreaming用于实时流式计算，SparkMLlib用于机器学习，SparkGraphX
勇于自信·2020-04-03 16:55

大数据学习技术指南

一、大数据通用处理平台1、Spark2、Flink3、Hadoop二、流式计算1、Storm/JStorm2、SparkStreaming3、Flink三、分布式存储1、HDFS四、资源调度1、Yarn2
lmem·2020-04-02 15:05

Structured Streaming 介绍(一)

StructuredStreaming是基于SparkSQL引擎的流式计算引擎，将流式计算应用于DataFrame.随着数据不断地到达，Sp
Cherish_Qiang·2020-03-31 03:23

流式计算storm核心组件、特性、案例

storm简介Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据。Storm简单，可以使用任何编程语言。storm核心组件1.Nimbus相当于storm的master,负责资源分配和任务调度,一个普通的storm集群只有一个nimbus(京东是对nimbus做了集群,加入了选举等概念,防
IT程序员·2020-03-29 20:04
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他