流式计算

图数据流的模型、算法和系统

然后通过总结分析早期图的流式计算以及已有的少量图数据流
唐名威·2020-06-29 16:57

Flink State 最佳实践

State概念回顾我们先回顾一下到底什么是state，流式计算的数据往往是转瞬即逝，当然，真实
Ververica·2020-06-29 14:47

Java 8 新特性

Java8新特性1.写在前面自学Java已经快要一年了，一直用的都是Java8，在虎牙实习参与的项目中，大量地使用到了Java8的新特性：Lambda表达式和Stream流式计算，它们脱离了数据库层面的运算
ZZZhonngger·2020-06-29 08:44

分布式系统的面试题1

就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统，分布式存储系统，hadoophdfs，分布式计算系统，hadoopmapreduce，spark，分布式流式计算系统
施智沂·2020-06-29 00:07

效率提升50倍，轻松处理大数据

流计算典型架构解决痛点阿里云流计算可以提供BlinkSQL协助用户简单轻松完成流式计算逻辑的处理。同时，受限
煊琰·2020-06-29 00:12

Flink原理，实战与性能优化读书笔记(一)

1.Flink使用有状态流式计算模型实现了高吞吐，低延迟，高性能兼具实时流式计算框架。什么是有状态计算？
小凯Alex·2020-06-28 21:20

Apache Kafka Stream

KafkaStreams流计算定义一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。
麦田里的守望者··2020-06-28 20:03

流式计算--整合kafka+flume+storm

本篇博客基于之前搭建的kafka集群和storm集群1.数据流向日志系统=>flume=>kafka=>storm2.安装flume1.我们在storm01上安装flume1.6.0,上传安装包2.解压到/export/servers/flume，首先创建文件夹flume命令：sudotar-zxvfapache-flume-1.6.0-bin.tar.gz-C/export/servers/fl
时空恋旅人·2020-06-28 20:27

storm drpc分布式本地和远程调用模式讲解

我们回顾一下前面学习的storm知识，知道storm是一个分布式的流式计算框架，由1台nimbus和多台supervisor
weixin_34405332·2020-06-28 18:26

为什么阿里会选择 Flink 作为新一代流式计算引擎？

本文由【AI前线】原创，ID：ai-front，原文链接：t.cn/ROISIr3【AI前线导读】2017年10月19日，阿里巴巴的高级技术专家王绍翾（花名“大沙”）将为QCon上海的听众带来一场以大数据实时流计算与人工智能为主题的专题演讲，本专题将邀请来自腾讯、阿里、Facebook、Uber、Streamlio的多位一线专家分析实时流计算和人工智能领域的最新的技术成果、应用和趋势。本文整理自I
weixin_34187862·2020-06-28 13:12

如何基于日志，同步实现数据的一致性和实时抽取?

本文根据DBAplus社群第85期线上分享整理而成讲师介绍王东宜信技术研发中心架构师目前就职于宜信技术研发中心，任架构师，负责流式计算和大数据业务产品解决方案。
weixin_34004750·2020-06-28 09:35

基于Flink流处理的动态实时超大规模用户行为分析

在这里我们将介绍网络安全中基于流式计算框架Flink并搭载机器学习算法的超大
weixin_33831673·2020-06-28 06:36

kafka学习笔记

在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。Kafka是一个分布式消息队列：生产者、消费者的功能。
weixin_30399055·2020-06-27 19:44

大数据流处理框架介绍

实时流处理简单概述：实时是说整个流处理相应时间较短，流式计算是说数据是源源不断的，没有尽头的。
小王同学88·2020-06-27 12:57

大数据日志分析系统-spark进行日志计算

需要满足的项目需求：用spark进行实时统计，从kafka中获取数据，流式计算每分钟一次将计算结果存入es，供客户进行查询。
朋好友5·2020-06-27 08:15

【storm-kafka】storm和kafka结合处理流式数据

Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。关于kafkaKafka是一种高吞吐量的分布式发布订阅消息系统
Poy丶華·2020-06-27 06:48

Flink 面试通关手册

Flink因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。
大数据技术与架构·2020-06-27 06:45

Spark Streaming一个简单例子

它允许用户使用一套和批处理非常接近的API来编写流式计算应用，这样就可以大量重用批处理的技术甚至代码。和Spark的基于RDD的概念很相似，SparkS
千里草竹·2020-06-27 05:55

慢SQL，压垮团队的最后一根稻草No.92

至于离线数据分析，在线规则引擎模板执行，流式计算等不在本次讨论范畴。重SQL开发的场景先看一个例子吧。用经典的ControllerServiceDAO开发模式描述。
一名叫大蕉的程序员·2020-06-26 22:31

Flink 调优：Checkpoint 配置

有了这些基础，你就可以在流式计算中对FlinkCheckpoint进行配置了，下文会详细介绍各种配置方式，以及配置原则。1.Checkpoint的配置在Flink应用程序中配置Che
GatsbyNewton·2020-06-26 22:44

Flink 从 0 到 1 学习 —— Apache Flink 介绍

Flink是一种流式计算框架，为什么我会接触到Flink呢？
MayMatrix·2020-06-26 20:57

流式计算strom,Strom解决的问题,实现实时计算系统要解决那些问题,离线计算是什么,流式计算什么,离线和实时计算区别,strom应用场景,Strorm架构图和编程模型（来自学习资料）

1、背景-流式计算与storm2011年在海量数据处理领域，Hadoop是人们津津乐道的技术，Hadoop不仅可以用来存储海量数据，还以用来计算海量数据。
to.to·2020-06-26 20:05

项目小结：基于 flink-connector-kafka-0.8_2.11 实现 exactly-once 语义

Flink作为新一代的流式计算框架，提供了exactly-once语义，但是其仅仅支持Flink内部数据流转的exactly-once语义，如需保证整条数据链路（即上下游交互）的完整exactly-once
super_man_0820·2020-06-26 16:16

Spark-core之RDD核心概念

一、Spark包括什么spark的核心是SparkCore，其中上面的SparkSql对接的是Hive等结构化查询，SparkStreaming是对接的流式计算，后面的那两个也是主要用在科学任务中，但是他们的基础都是
student__software·2020-06-26 15:15

parallelSteam高性能：并行计算惹的祸

Java中提供了ForkJoinPool并发流式计算框架，推荐系统中也大量使用parallelSteam进行业务处理，提高系统处理能力，如：批量获取StatusForkJoinPool相比之前Java6
阿拉斯加大闸蟹·2020-06-26 12:15

1号店电商峰值与流式计算

摘要：1号店结合自己的业务需求，在力求降低成本的前提下，最终采纳Storm计算框架来实现自己的分布式流计算平台。本文中详细阐释了这一过程中的最佳技术实践。京东618、1号店711，还有全民购物狂欢节双11，电商促销的浪潮此起彼伏。然而，在买家和卖家欢呼雀跃的同时，电商平台正在经历着非常严峻的考验。面对一天之内犹如洪水般的网购流量，哪怕出现几分钟的闪失，都可能造成众多笔订单的损失，以及无法挽回的销售
技术笔记·2020-06-26 04:37

大数据学习路径

solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→flume→sqoop→项目实战一第二阶段机器学习R语言→mahout→项目实战二第三阶段storm流式计算
金罗老师·2020-06-25 21:30

Flume架构与应用

-Flume定义Flume是分布式，高可用，基于流式计算的，用于收集、聚合、移动大量日志数据的框架。
一叶知秋--·2020-06-25 20:07

大数据之Storm/实时数据处理视频教程-李强强-专题视频课程

大数据之Storm/实时数据处理视频教程—28人已学习课程介绍大数据Storm实时数据处理视频培训课程：Strom是一个老牌的实时数据处理框架，在SparkStreaming流行前，Storm统治者整个流式计算的江湖
qq_40139556·2020-06-25 17:26

基于Flink的K-Means聚类算法的实现（Scala版）

基于Flink的流式计算框架，可以自动将算法依赖的数
Logicm79·2020-06-25 08:59

Spark学习总结

Spark支持离线批处理、流式计算和实时分析。2、Spark为何快MapReduce慢的原因：多个MapReduce串联执行时，依赖于HDFS输出的中间结果MapReduce在
张薄薄·2020-06-25 07:17

大数据架构师之路 | 概念术语理解

知识拓展大数据人工智能行业技术人员必备技能hive入门|数据类型、数据存储、数据结构详解+SQl代码示例hive进阶|数据的导入、数据查询、Java客户端详解+代码示例Hadoop基础与实战|简明理解大数据流式计算
大数据AI笔记·2020-06-25 04:58

阿里云大数据ACA考点总结

计算引擎（三类）：离线计算、流式计算、在线计算2.MaxCompute由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域。
战思宇·2020-06-25 03:36

浅谈Storm原理(新手向)

前言：storm作为流式实时计算的代表之一，它的地位对于流式计算相当于hadoop在离线计算中一般。抛开编码过程，本文就来聊聊storm的构造和工作原理。
qianbing11·2020-06-24 21:50

谈谈三种海量数据实时去重方案（w/ Flink）

除了统计UV等传统用法之外，去重的意义更在于消除不可靠数据源产生的脏数据——即重复上报数据或重复投递数据的影响，使流式计算产生的结果更加准确。
LittleMagics·2020-06-24 16:31

Flink架构原理基础知识

介绍Flink是一款基于状态的流式计算框架，它具有以下特点：1、既可进行流式（Stream）计算，也可以进行批处理（Batch）计算2、基于状态的计算，正是这种可管理的状态计算，让Flink实现了ExactlyOnce3
小学僧丶Monk·2020-06-24 15:45

Flink Job重启/Task恢复策略简介

前言流式计算对稳定性敏感，所以我们在编写作业时一定会做好防御性编程，如各种判空、边界条件、安全的类型转换、格式判断、异常捕获等。
吃鱼的羊·2020-06-23 13:59

流式机器学习算法的入门和认知

一.流式计算背景1.概述其实技术总在更新，做这个行业也是一直要走在学习并适应的路上，这也是人工智能领域最吸引我的地方，其实基础的理论是不变的，但是随着业务的发展，计算能力的发展，上层的实现总是在迭代，今天讲下我对于流计算的一些认知
李博Garvin·2020-06-23 11:33

厉害了Word哥！阿里巴巴73款开源产品最全总结全景图

Jstrom："JStorm是参考storm的实时流式计算框架，在网络IO、线程模型、资源调度、可
emprere·2020-06-23 06:22

函数式编程之pipeline——很酷有没有

Pipelinepipeline管道借鉴于UnixShell的管道操作——把若干个命令串起来，前面命令的输出成为后面命令的输入，如此完成一个流式计算。
djph26741·2020-06-23 04:53

体系结构方案 - 大清单报表

最佳解决方案:零编码，引入流式计算实现大清单报表的呈现！去乾学院看集算器是怎么实现
chuiao2284·2020-06-22 23:33

Java8 Stream API 详细使用指南

Stream翻译过来是“流”，突然想到的是大数据处理有个流式计算的概念，数据通过管道经过一个个处理器（Handler）进行筛选，聚合，而且流都具有向量性，强调的是对数据的计算处理，而集合强调的是数
chongmu2584·2020-06-22 22:24

流式计算引擎-Storm、Spark Streaming

目前常用的流式实时计算引擎分为两类：面向行和面向微批处理，其中面向行的流式实时计算引擎的代表是ApacheStorm，典型特点是延迟低，但吞吐率也低。而面向微批处理的流式实时计算引擎代表是SparkStreaming，其典型特点是延迟高，但吞吐率也高。主流的流式数据线分四个阶段：1、数据采集：负责从不同数据源上实时采集数据，可选包括Flume以及自定义KafkaProducer2、数据缓冲：为了平
凹谷·2020-06-22 21:51

什么是流式计算？

一、流式计算的背景在日常生活中，我们通常会先把数据存储在一张表中，然后再进行加工、分析，这里就涉及到一个时效性的问题。
bizhi5850·2020-06-22 18:54

流式计算的三种框架：Storm、Spark和Flink

我们知道，大数据的计算模式主要分为批量计算(batchcomputing)、流式计算(streamcomputing)、交互计算(interactivecomputing)、图计算(graphcomputing
bizhi5850·2020-06-22 18:54

用机器学习流程去建模我们的平台架构

譬如RDD这种就是一个和神一般的抽象，它使得Spark成为了一个非常通用的平台，囊括了流式计算，离线计算，机器学习，图计算等多个领域。spark.ml在一开始就提出
祝威廉·2020-06-22 13:10

Kafka集群部署与shell命令行操作

1、kafka简介在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
__元昊__·2020-06-22 02:28

大数据笔记（六）：Spark

执行引擎以支持循环数据流与内存计算•容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过SparkShell进行交互式编程•通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算
Ding_xiaofei·2020-06-21 19:38

大数据Spark和Hadoop以及区别（干货）

Spark包含了大数据领域常见的各种计算框架：比如SparkCore用于离线计算，SparkSQL用于交互式查询，SparkStreaming用于实时流式计算，SparkMLlib用于机器学习，SparkGraphX
BAO7988·2020-06-21 17:47

Kafka集群部署与shell命令行操作

1、kafka简介在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
数据萌新·2020-06-21 08:18
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他