流式计算

flink初探

研究清楚了flink就可以了解现有的市面上是如何看待实时或者准实时的分布式流式计算的，在此基础之上再对公
本然酋长·2020-02-16 21:39

Flink容错机制-双十一神话的安全保障

Flink容错机制以及Chandy-Lamport算法流式计算分为有状态和无状态两种情况，所谓状态就是计算过程中的中间值；对于无状态计算，会独立观察每个独立事件，并根据最后一个事件输出结果：对于一个流式系统接收到一系列的数字
SUSUR_28f6·2020-02-15 11:24

Spark Streaming 1.6 流式状态管理分析

关于状态管理在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Duration)的统计，这个时候就不得不维护状态了。
达微·2020-02-12 06:12

kafka stream入门1

考虑采用一个业绩主流的流式计算的方案，同时也要支持对于历
来福马斯特·2020-02-12 00:44

[R]高性能计算SparkR

而Spark力图整合机器学习（MLib）、图算法（GraphX）、流式计算（SparkStreaming）和数据仓库（SparkSQL）等
HOHOOO·2020-02-11 20:29

“淘宝京东”构建流式计算卖家日志系统架构的应用实践

引言本文给大家讲述的是我们如何去构建一个日志系统，用到了那些技术，为什么用这些技术，并且讲述了遇到的问题及优化的过程，希望给大家在实践中能够提供一些参考。最近在维护一个有关于日志的项目，这个项目是负责收集、处理、存储、查询京东卖家相关操作的日志，我们这里就叫它“卖家日志”。在日常的开发过程中，可能我们对日志这个词并不陌生，例如我们常接触到的log4j、slf4j等等，这些日志工具通常被我们用来记录
java高级分享·2020-02-10 14:54

Storm应用实例--集成HBase

引言由Twitter开源的、分布式实时计算系统ApacheStorm，如今已被多家知名企业应用于实时分析、流式计算、在线机器学习、分布式RPC调用、ETL等领域，甚至有看到“Storm之于实时计算
阿羅·2020-02-08 19:42

Spark Streaming 流式计算实战

这篇文章由一次平安夜的微信分享整理而来。在Stuq做的分享，原文内容。业务场景这次分享会比较实战些。具体业务场景描述：我们每分钟会有几百万条的日志进入系统，我们希望根据日志提取出时间以及用户名称，然后根据这两个信息形成userName/year/month/day/hh/normaluserName/year/month/day/hh/delay路径,存储到HDFS中。如果我们发现日志产生的时间和
祝威廉·2020-02-08 07:47

[老实李]MapReduce学习笔记

MapReduce的优缺点：优点：易于编程、良好的扩展性、高容错性、离线处理缺点：无法实时计算、无法流式计算、不适合DAG（有向图）计算二、MapReduce的编程模型1.MapReduce的执行流程假如有一批文
老实李·2020-02-08 03:24

小米流式平台架构演进与实践

小米业务线众多，从信息流，电商，广告到金融等覆盖了众多领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。
程序员66·2020-01-13 10:47

小米流式平台架构演进与实践

作者：夏军@小米小米业务线众多，从信息流，电商，广告到金融等覆盖了众多领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。
ApacheFlink·2020-01-11 03:18

spark大数据架构初学入门基础详解

Spark是什么a)是一种通用的大数据计算框架b)SparkCore离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)
Alukar·2020-01-06 21:49

关于JStorm反压两三事

data之道0x01背景反压概念在流式计算中非常流行，要解决的问题是短时间内业务流量剧增，数据流入速度远高于数据处理速度，会对流处理系统构成巨大负载压力，如果不能正确处理，可能导致系统运行异常。
data之道·2020-01-05 17:57

Spark Streaming

它允许用户使用一套和批处理非常接近的API来编写流式计算应用，这样就可以大量重用批处理应用的技术甚至代码。
raincoffee·2020-01-04 21:04

《从0到1学习Flink》—— Apache Flink 介绍 转自 微信公众号：zhisheng

前言Flink是一种流式计算框架，为什么我会接触到Flink呢？
生活的探路者·2020-01-04 02:28

如何优雅的停止SparkStreaming应用进程

问题流式计算时需要中断程序，可能会造成当前正在处理的数据丢失，或者重复处理解决对于spark-streaming在spark-default.conf中配置：spark.streaming.stopGracefullyOnShutdowntrue
祗談風月·2020-01-03 18:27

不仅仅是双11大屏—Flink应用场景介绍

利用流式计算实时得出结果直接被推送到前端应用，实时显示出重要指标的变换情况。最典型的案例便是淘宝双十一活动，每年双十一购物节，除疯狂购物外，最引人注目的
独孤风·2020-01-03 10:00

好强大的flink

flink作为主攻流式计算的大数据引擎，不仅仅是一个高吞吐、低延迟的计算引擎，同时还提供很多高级
つ〆以往的誓言゛·2020-01-02 16:00

阿里巴巴为什么选择Apache Flink？

合抱之木，生于毫末随着人工智能时代的降临，数据量的爆发，在典型的大数据的业务场景下数据业务最通用的做法是：选用批处理的技术处理全量数据，采用流式计算处理实时增量数据。
阿里云云栖号·2020-01-02 00:44

2019年终总结

盘点去年定了要深入研究流式计算及系统架构，现在看来，流式计算只粗略看了点flink，系统架构方面貌似也没有太多的长进，文章也写的越来越像流水账了，感觉有点惭愧。
codecraft·2020-01-01 12:07

流式实时日志分析系统

在本次实践中，我们将基于SparkStreaming流式计算框架，简单地实现一个类似于百度分析的系统。知识点简述Python模拟生成Nginx日志Spar
羽恒·2020-01-01 11:06

201、Spark 2.0之Structured Streaming：wordcount入门案例

StructuredStreamingstructuredstreaming是一种可伸缩的、容错的、基于SparkSQL引擎的流式计算引擎。
ZFH__ZJ·2020-01-01 05:50

2019年阿里巴巴菜鸟人工智能部校招广告

收到简历后会第一时间筛选，简历直接发到[email protected]【职位方向】计算中台研发【面试城市】远程【岗位描述】我们专注于大数据之上的机器学习平台研究与应用，如果你了解搜索引擎、大数据处理、流式计算
阿呆少爷·2019-12-31 15:51

Flink| time| watermark| Windows窗口

streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集；而window是把无限数据流为有限流的一种方式，Window将一个无限的stream
kris12·2019-12-31 11:00

Kafka 高性能原因分析

Kafka作为一款基于磁盘存储的高吞吐消息中间件，常作为log、event等流式数据的通道，在流式计算领域也有丰富应用，下面简单分析其高吞吐、高性能的几点原因零拷贝普通的数据传输一般涉及read、write
sleep_NULL·2019-12-28 21:34

流式计算（五）-Flink核心概念

一手资料，完全来自官网，直接参考英文过来的，并加了一些自己的理解，希望能让看官君了解点什么，足矣。环境：Flink1.9.1难度：新手--战士--老兵--大师目标：理解Flink的计算模型认识各重要组件说明：本篇作为前两篇的补充内容，算是理论篇步骤：01-Flink编程模型Flink的流计算整体来看都是按照Source->Transformation->Sink三步走，即获取流源->进行转换->汇
甲由崽·2019-12-26 11:00

流式计算（四）-Flink Stream API 篇二

话说看图看核心，代码也得看核心。Flink体系十分庞大复杂，没个几十篇文章没法聊完，核心就是最擅长，做的最好，就像说起百度就是搜索，微信就是聊天一样，至于百度核心还是不是搜索已经不那么重要了，但至少聊起Flink，我们得知道，Flink核心是流计算！环境：Idea2019.03/Gradle6.0.1/JDK11.0.4/Lambda/Flink1.9.1难度：新手--战士--老兵--大师目标：F
甲由崽·2019-12-26 11:00

流式计算（三）-Flink Stream 篇一

流的世界，有点乱，群雄逐鹿，流实在太多，看完这个马上又冒出一个，也不知哪个才是真正的牛，据说Flink是位重量级选手，能流计算，还能批处理，和其他伙伴关系也融洽的很，与HDFS/File/SQL/MQ往来都不在话下，今天我们就来实战一把。环境：Idea2019.03/Gradle6.0.1/JDK11.0.4/Lambda/RHEL8.0/VMWare15.5/Springboot2.2.1.RE
甲由崽·2019-12-26 10:00

Spark的前世今生

Spark包含了大数据领域常见的各种计算框架：比如SparkCore用于离线计算，SparkSQL用于交互式查询，SparkStreaming用于实时流式计算，SparkMLlib用于机器学习，SparkGraphX
义焃·2019-12-21 09:06

Flink CookBook—Apach Flink核心知识介绍

前篇主要介绍流式计算相关的核心概念，这篇简要聊聊Flink总体架构、运行环境及其在大数据生态系统中的位置，让大家先对Flink有整体认知，便于后期理解。
data之道·2019-12-20 03:43

Hadoop分布式计算框架MapReduce

分布式计算框架有很多，只是适合做的种类不一样1、MapReduce适合做离线计算2、storm适合做流式计算，更适合实时计算3、spark是内存式计算框架，更适合做快速得到结果的计算MapReduce设计理念一
topwqp·2019-12-16 21:13

流式计算（二）-Kafka Stream

前面说了Java8的流，这里还说流处理，既然是流，比如水流车流，肯定得有流的源头，源可以有多种，可以自建，也可以从应用端获取，今天就拿非常经典的Kafka做源头来说事，比如要来一套应用日志实时分析框架，或者是高并发实时流处理框架，正是Kafka的拿手好戏。环境：Idea2019.03/Gradle6.0.1/JDK11.0.4/Lambda/RHEL8.0/VMWare15.5/Springboo
甲由崽·2019-12-16 17:00

流式计算（一）-Java8Stream

大约各位看官君多少也听说了Storm/Spark/Flink，这些都是大数据流式处理框架。如果一条手机组装流水线上不同的人做不同的事，有的装电池，有的装屏幕，直到最后完成，这就是典型的流式处理。如果手机组装是先全部装完电池，再交给装屏幕的组，直到完成，这就是旧式的集合式处理。今天，就来先说说JDK8中的流，虽然不是很个特新鲜的话题，但是一个很好的开始，因为——思想往往比细节重要！准备：Idea20
甲由崽·2019-12-16 14:00

storm 学习（二）与 hadoop比较

2.Storm为什么被称之为流式计算系统？3.hadoop适合什么场景，什么情况下使用hadoop？4.什么是吞吐量？
Graceleeman·2019-12-16 00:14

大数据应用场景-推荐系统

等.离线挖掘出来的有效数据,为了能够快速的提供服务,一般通过nosql非关系数据库,有时也叫缓存数据库作为中间介质进行交换,为前端提供服务.2.nearline部分-近线:采用的技术主要有流行比较的是流式计算框架
夏光辉·2019-12-14 09:17

kafka stream学习笔记（一）

流式计算是目前大数据领域很火的一种术语，stream的技术有很多，很早的storm，然后是sparkstream、flink，以及我将要学习了解的kafkastream。其实我对
247609107a39·2019-12-13 22:33

Flink 中LatencyMarks延迟监控（源码分析）

流式计算中处理延迟是一个非常重要的监控metricflink中通过开启配置metrics.latency.interval来开启latency后就可以在metric中看到askManagerJobMetricGroup
末日布孤单·2019-12-13 17:00

四、flink--window、eventTime和watermark原理和使用

一、flink的window机制1.1window概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段
隔壁小白·2019-12-09 17:08

三、flink--DataStreamAPI原理以及用法

datastream是flink提供给用户使用的用于进行流计算和批处理的api，是对底层流式计算模型的api封装，便于用户编程。
隔壁小白·2019-12-09 17:26

001_spark的前世今生

spark包含了大数据领域常见的各种计算框架：比如sparkcore用于离线计算，sparksql用于交互式查询，sparkstreaming用于实时流式计算，sparkMLlib用于机器学习，sparkGraphX
iarchitect·2019-12-08 13:03

(十四)大数据学习之Scala语言

(4)SparkStreaming：类似于storm，用于流式计算、实时计算。本质：一个离线计算。Scala基础一.Scala简介1.scala是一个多范式的编程语言（支持多种方式的编程）
Movle·2019-12-07 20:16

流式计算准确性语义分析

本篇文章是对ExactlyonceisNOTexactlythesame翻译和分析，对流式计算中衡量准确性的三类语义进行了初步的理解。
Michaelhbjian·2019-12-07 18:15

谷歌DataFlow编程模型以及Spark/Flink/StreamCQL的相关实现

流式计算框架编程接口的标准化，傻瓜化，SQL化，自打谷歌发表Dataflow编程模型的Paper起，就有走上台面的趋势。各家计算框架都开始认真考虑相关的问题，俨然成为大家竞争的热点方向。
彩色蚂蚁·2019-12-07 07:00

hadoop的分布式计算框架MapReduce

MapReduce缺点：实时流式计算。wordcount：统计文件中每个单词出现的次数需求：求wordcount1）文件内容大小：shell2）文件内容很大：比如TB、GB，那
机灵鬼鬼·2019-12-07 04:45

基于Kafka+Flink+Redis的电商大屏实时计算案例

由于Flink的“真·流式计算”这一特点，它比SparkStreaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型，并简要叙述计算流程（当然大部分都是源码）
LittleMagic·2019-12-06 09:03

Hadoop集群完全分布式搭建

Hadoop先导大数据时代的核心是计算和数据处理，在计算方面，主要是通过分布式计算完成海量数据的计算，在海量数据的计算方面，目前集中于３个场景，离线计算：Hadoop，内存计算：Spark，实时计算（流式计算
小熊威尼的夏天·2019-12-01 09:57

如果你满足这些条件，请千万别来做数据分析

数据行业这几年发展迅速，出现了很多数据的工种，包括人工智能，机器学习，数据挖掘，数据分析，数据仓库，数据中台，数据流式计算等方向。
Leo.yuan·2019-11-28 11:43

spark大数据架构初学入门基础详解

Spark是什么a)是一种通用的大数据计算框架b)SparkCore离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)
13157330443·2019-11-27 22:11

Flink 中的 Window 以及 Window API

1Window1.1Window概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段
不稳定记忆·2019-11-25 21:31

五、spark--spark streaming原理和使用

一、spark-streaming概述1.1常用的实时计算引擎实时计算引擎也叫流式计算引擎，常用的目前有3个：1、ApacheStorm：真正的流式计算2、SparkStreaming：严格上来说，不是真正的流式计算
隔壁小白·2019-11-15 18:27
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他