流计算

网易大数据平台架构实践分享！

本次演讲主要分享网易如何围绕和改造开源技术，以产品化思维打造网易自己的大数据平台，也会分享一下网易在大数据平台构建和支撑互联网业务过程中面临的技术挑战，以及我们在调度、安全、元数据管理、spark多租户、SQL流计算
郭首志·2018-08-28 11:00

[spark streaming] 架构和运行机制

运行机制3.解密SparkStreamingJob架构和运行机制4.解密SparkStreaming容错架构和运行机制Spark大数据分析框架的核心部件：sparkCore、sparkStreaming流计算
风一样的男人_·2018-08-28 11:19

精通Apache Flink必读系列文章

从设计出发点，Flink是一个流计算处理计算引擎，把批处理视为无限流计算的一种特例，Spark是批处理计算引擎，把流处理视为迷你批处理，因为设计上的差异，导致在对处理时延要求高的场景中，Flink更加合适
列国周游·2018-08-17 00:00

Spark 2.3.0 Structured Streaming详解

你可以使用与静态数据批处理计算相同的方式来表达流计算。当不断有流数据到达时，SparkSQL引擎将会增量地、连续地计算它们，然后更新最终的结果。
leboop·2018-08-13 21:19

阿里HBase的数据管道设施实践与演进

摘要：大数据生态下有着丰富多样的系统：流计算，数据存储，实时分析，离线计算，数据在各个异构系统之间的流转和加工而产生价值，高效的数据传输通道是大数据生态的重要一环。
阿里云云栖社区·2018-07-26 00:00

PowerWorld Simulator 如何安装？PowerWorld Simulator安装教程

PowerWorldSimulator是一款功能强大的开放式电力分析工具，软件支持可视化的潮流计算和展示，具有潮流计算，短路计算，暂态稳定仿真功能。
佚名·2018-07-25 08:40

使用Flink完成流数据统计

一、统计流程image.png所有流计算统计的流程都是：1、接入数据源2、进行多次数据转换操作(过滤、拆分、聚合计算等)3、计算结果的存储其中数据源可以是多个、数据转换的节点处理完数据可以发送到一个和多个下一个节点继续处理数据
和平菌·2018-07-17 19:01

我为什么学python

（3）程序的可移植性：绝大多数的python程序不做任何改变即可在所有主流计算机平台上运行。（4）标准库的支持：python内置了许多预编译并可移植的功能模块
ELEVEN_ZOU·2018-07-02 22:36

Spark性能调优系列二：Spark流计算重要性能参数测试与分析

参数介绍spark.scheduler.modespark.streaming.concurrentJobsscheduler线程池测试用例TestCaseGroup1:FIFOvs.FAIRTestCase1-1:FIFOTestCase1-2:FAIRTestCaseGroup2:FIFO1Slotvs.FIFO4SlotsTestCase2-1:FIFO1SlotTestCase2-2:FI
bluishglc·2018-06-21 09:41

spark-stream 访问 Redis数据库示例

转载：http://www.111cn.net/database/276/116851.htmspark-stream访问Redis数据库示例最近在spark-stream上写了一些流计算处理程序，程序架构如下程序运行在
gyzhang_csdn·2018-06-19 14:37

Spark Streaming中的checkpoint

元数据(Metadata)checkpointing保存Streaming中定义流计算的相关信息到可信赖的文件系统如HDFS，这种方式用于运行Driver的节点失败之后的恢复。
chroje·2018-06-04 12:56

流计算框架Flink与Storm的性能对比

1.背景ApacheFlink和ApacheStorm是当前业界广泛使用的两个分布式实时计算框架。其中ApacheStorm(以下简称“Storm”)在美团点评实时计算业务中已有较为成熟的运用(可参考Storm的可靠性保证测试)，有管理平台、常用API和相应的文档，大量实时作业基于Storm构建。而ApacheFlink(以下简称“Flink”)在近期倍受关注，具有高吞吐、低延迟、高可靠和精确计算
guicaizhou·2018-05-31 00:00

Flink初探

与很多流计算模型一样，流的起点往往是数据的输入源，被称之为”source”，流的终点是数据的输出目的地，被成为“sink”。下图形象地展
bluishglc·2018-05-25 00:00

《Spark Structured Streaming》 官方文档解读

模型思想窗口操作应对数据延迟就绪补充：关于OutputMode模型思想从Spark2.0开始，SparkStreaming引入了一套新的流计算编程模型：StructuredStreaming，开发这套API
bluishglc·2018-05-23 17:16

Python学习(2)：环境安装与运行

当前主流计算机的操作系统有Windows，MacOS，Linux三种，而在不同操作系统上安装Pyhton环境会有些许不同。
梧雨北辰·2018-05-07 15:07

Spark集成Kafka实时流计算Java案例

packagecom.test;importjava.util.*;importorg.apache.spark.SparkConf;importorg.apache.spark.TaskContext;importorg.apache.spark.api.java.*;importorg.apache.spark.api.java.function.*;importorg.apache.spar
gmHappy·2018-05-03 16:15

基于spark集群的券商个性化推荐系统架构设计最佳实践

大数据实时个性化服务，主要基于大数据用户画像、产品画像建设成果，结合实时流计算框架，以客户需求为中心进行服务，做内容的主动创新和服务资源的精准配置，在恰当的时间将个性化的服务以合适的方式交付给需要的客户
周雄伟·2018-05-03 14:27

spark和hive storm mapreduce的比较

SparkStreaming与Storm都可以用于进行实时流计算。但是他们两者的区别是非常大的。
necther·2018-04-28 15:32

storm 流式计算框架

随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案（流计算）的应
flyfish225·2018-04-12 16:10

Java中对List去重 Stream去重的解决方法

问题当下互联网技术成熟，越来越多的趋向去中心化、分布式、流计算，使得很多以前在数据库侧做的事情放到了Java端。今天有人问道，如果数据库字段没有索引，那么应该如何根据该字段去重？
Ryan.Miao·2018-04-12 08:27

Ignite 架构全面解析

1.1.1.特性一览可以将Ignite视为一个独立的、易于集成的内存组件的集合，目的是改进应用程序的性能和可扩展性，部分组件包括：高级的集群化数据网格（JCache）流计算和CEP计算网格
binso18502020560·2018-04-11 14:59

jstorm storm 入门demo

jstorm和storm比较jstorm是阿里巴巴开源的基于storm采用Java重写的一套分布式实时流计算框架，使用简单，特点如下：1，开发非常迅速:接口简单，容易上手，只要遵守Topology，Spout
木号·2018-04-07 10:19

Storm流式计算入门

实时获取数据Kafka：实时数据存储Storm/jstorm：实时数据计算Redis：实时结果缓存总结：将源源不断产生的数据实时收集并实时计算，迅速得到计算结果关于storm1、storm是twitter的开源流计算解决方案
不是分针·2018-03-29 21:41

Spark Streaming 流计算状态管理

spark流计算的数据是以窗口的形式，源源不断的流过来的。如果每个窗口之间的数据都有联系的话，那么就需要对前一个窗口的数据做状态管理。
cyony·2018-03-22 15:15

spark streaming的流计算

sparkstreaming的流计算有几种1,时间段计算,每个时间段统计一次,所有的数据都是这个时间段内的数据这里会用到receiver,在executor中启动一个线程,接收数据,把数据本份到本地.如果调试程序需要把线程设置为
lllpanda·2018-03-17 13:24

Storm 入门的Demo教程

随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点
虚无境·2018-03-16 20:03

Storm 入门的Demo教程

随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点
虚无境·2018-03-16 20:00

《Kafka Stream》调研：一种轻量级流计算模式

摘要：流计算，已经有Storm、Spark，Samza，包括最近新起的Flink，Kafka为什么再自己做一套流计算呢？KafkaStream与这些框架比有什么优势？
chenyulancn·2018-03-07 14:01

Apache Kylin 深入Cube和查询优化

帮助我们提升了开发效率，减少了开发人员需要手动编写HQL/SQL语句去查询维度数据的状况；另一方面解耦现有系统设计，数据计算层主要包括Spark类的实时计算和HQL的离线计算（Kylin在我司目前还没有接入实时流计算
choulanlan·2018-02-05 14:58

Kylin中cube优化

帮助我们提升了开发效率，减少了开发人员需要手动编写HQL/SQL语句去查询维度数据的状况；另一方面解耦现有系统设计，数据计算层主要包括Spark类的实时计算和HQL的离线计算（Kylin在我司目前还没有接入实时流计算
choulanlan·2018-02-05 14:40

数据之美，堪比好莱坞大片！

3设备故障预测通过结合阿里云流计算、设备故障预测算法、以及可视化，全景实时监测所有设备的运转状况与运检人员的工单
数据与算法之美·2018-02-01 00:00

回顾2016--Apache Flink流处理在生产中的实践

上周，我们的Flink流计算程序终于上线了。也算是在实时流计算方面的一个成果。下面，我将简要介绍下公司如何使用Flink进行流处理的开发。
lircstar_1·2018-01-24 19:36

大数据技术原理与应用：大数据概述

大数据定义数据量大大数据摩尔定律数据类型繁多：由结构化和非结构化数据组成类型多处理速度快：秒级决策价值密度低厦大校园故大数据４ｖ特性大数据关键技术两大核心技术：分布式存储与处理大数据计算模式大数据计算模式区分流计算
行书以鉴·2018-01-09 12:04

流计算框架 Flink 与 Storm 的性能对比

流计算框架Flink与Storm的性能对比1.背景ApacheFlink和ApacheStorm是当前业界广泛使用的两个分布式实时计算框架。
huangshulang1234·2017-12-20 22:23

TensorFlow_Python搭建神经网络 （译）

这个基于高性能数据流计算图的开源项目十分适合于深度学习。TensorFlow支持单个或多个的CPU并行计算（并且支持GPU加速），为深度学习任务提供了一个很好的方案。最新的1.0版添加了对移动
dalalaa·2017-12-16 15:24

Flink架构、原理与部署测试

Flink两种执行模型：1.流计算：数据不断产生，一直处于计算状态。
首席撩妹指导官·2017-12-14 15:12

流计算与批量计算的对比

相比于批量大数据计算，流(式)计算整体上还属于较为新颖的计算概念，下面我们从用户/产品层面来理解下两类计算方式的区别。批量计算目前绝大部分传统数据计算和数据分析服务均是基于批量数据处理模型:使用ETL系统或者OLTP系统进行构造数据存储，在线的数据服务(包括Ad-Hoc查询、DashBoard等服务)通过构造SQL语言访问上述数据存储并取得分析结果。这套数据处理的方法论伴随着关系型数据库在工业界的
云计算小百科·2017-12-08 15:15

Spark技术栈学习

执行引擎，Spark比MapReduce快100倍，拥有Java，Scale，Python等API，且支持多种平台（Hadoop,Cloud,Mesos等），能够在一个应用中支持SparkStream（流计算
MrGeroge·2017-12-05 19:46

Spark Streaming 流计算优化记录(5)-分区与内存的优化

8.不一定非得每秒处理一次由于SparkStreaming的原理是microbatch,因此当batch积累到一定数量时再发放到集群中计算,这样的数据吞吐量会更大些.这需要在StreamingContext中设置Duration参数.我们试着把Duration调成两秒,这样Spark就会在接收Kafka的模块中积累了2秒的数据后,在调度作业到集群中计算.结合上述做过的优化,跑了一下,结果如下:从统
立喆·2017-12-01 11:23

阿里流计算技术全揭秘

面对较去年增幅100%的数据洪峰，流计算技术可谓功不可没。今天，我们将揭开阿里流计算技术的神秘面纱。
阿里技术_·2017-11-21 00:00

[干货]大规模数据处理的演变(2003-2017)

是谷歌内部流计算数据处理系统（如MillWheel、Beam）的技术带头人，在过去的五年里开
Hadoop技术博文·2017-10-25 00:00

Spark 2.0视频教程|快学Spark 2.0(新特性、含真实项目、纯Scala语言开发、CDH5.7)

在“编程统一”方面非常惊艳，实现了离线计算和流计算API的统一，实现了S
fengzhongyela·2017-10-20 08:43

Spark 2.0视频教程|快学Spark 2.0(新特性、含真实项目、纯Scala语言开发、CDH5.7)

在“编程统一”方面非常惊艳，实现了离线计算和流计算API的统一，
老江师兄弟·2017-10-20 08:00

Heron：Twitter的新一代流处理引擎

流计算又称实时计算，是继以Map-Reduce为代表的批处理之后的又一重要计算模型。随着互联网业务的发展以及数据规模的持续扩大，传统的批处理计算难以有效地对数据进行快速低延迟处理并返回结果。
DemonHunter211·2017-10-13 09:41

Heron：Twitter的新一代流处理引擎

流计算又称实时计算，是继以Map-Reduce为代表的批处理之后的又一重要计算模型。随着互联网业务的发展以及数据规模的持续扩大，传统的批处理计算难以有效地对数据进行快速低延迟处理并返回结果。
csdn郭芮·2017-10-11 11:48

Heron：Twitter的新一代流处理引擎

作者｜吕能，吴惠君，符茂松责编｜郭芮流计算又称实时计算，是继以Map-Reduce为代表的批处理之后的又一重要计算模型。
csdn大数据·2017-10-11 00:00

【大数据系统架构师】学习目录

Hadoop开发技术基础1.1.Linux基础1.2大数据基础Hadoop2.X1.3大数据仓库Hive1.4大数据协作框架1.5分布式数据库HBase2.Hadoop大数据开发高级技术2.1Storm流计算入门到精通之技术篇
沙漏哟·2017-10-07 13:00

Spark 实战, 第 2 部分:使用 Kafka 和 Spark Streaming 构建实时数据处理系统

流计算的出现，就是为了更好地解决这类数据在处理过程中遇到的问题。与传统架构不同，流计算模型在数据流动的
·2017-09-28 16:00

Spark 实战, 第 2 部分:使用 Kafka 和 Spark Streaming 构建实时数据处理系统

流计算的出现，就是为了更好地解决这类数据在处理过程中遇到的问题。与传统架构不同，流计算模型在数据流动的
·2017-09-28 16:00

Spark 实战, 第 2 部分:使用 Kafka 和 Spark Streaming 构建实时数据处理系统

流计算的出现，就是为了更好地解决这类数据在处理过程中遇到的问题。与传统架构不同，流计算模型在数据流动的
·2017-09-28 16:00
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他