流计算

Spark编程基础4Spark Streaming、Spark MLlib

第7章SparkStreaming7.1流计算概述7.1.1静态数据和流数据很多企业为了支持决策分析而构建的数据仓库系统，其中存放的大量历史数据就是静态数据。
A记录学习路线·2018-12-23 22:47

Flink流计算中SQL表的概念和原理

这使得在流计算过程中，用户同样能够运用熟悉的SQL语句来做数据处理，查询。
Android路上的人·2018-12-22 00:00

阿里内部的 Flink 分支 Blink 要开源了

今年，实时流计算技术开始步入主流，各大厂都在不遗余力地试用新的流计算框架，实时流计算引擎和API诸如SparkStreaming、KafkaStreaming、Beam和Flink持续火爆。
Hadoop技术博文·2018-12-22 00:00

解读 2018：13 家开源框架谁能统一流计算？

本文是实时流计算2018年终盘点，作者对实时流计算技术的发展现状进行了深入剖析，并对当前大火的各个主流实时流计算框架做了全面、客观的对比，同时对未来流计算可能的发展方向进行预测和展望。
首席数据师·2018-12-21 19:13

阿里重磅开源 Blink：为什么我们等了这么久？

今年，实时流计算技术开始步入主流，各大厂都在不遗余力地试用新的流计算框架，实时流计算引擎和API诸如SparkStreaming、KafkaStreaming、Beam和Flink持续火爆。
首席数据师·2018-12-21 17:06

阿里重磅开源 Blink：为什么我们等了这么久？

原文链接：https://my.oschina.net/u/3981088/blog/2991666今年，实时流计算技术开始步入主流，各大厂都在不遗余力地试用新的流计算框架，实时流计算引擎和API诸如SparkStreaming
chigubiao4837·2018-12-21 17:00

阿里重磅开源 Blink：为什么我们等了这么久？

今年，实时流计算技术开始步入主流，各大厂都在不遗余力地试用新的流计算框架，实时流计算引擎和API诸如SparkStreaming、KafkaStreaming、Beam和Flink持续火爆。
大数据首席数据师·2018-12-21 17:07

容错和高性能如何兼得: Flink创始人谈流计算核心架构演化和现状

原文链接：https://doc.flink-china.org/blog/high-throughput-low-latency-and-exactly-once-stream-processing-with-apache-flink.html前言当前，流数据平台的普及率正在飙升。为了解决日益增长的实时数据处理需求，一些公司正在将其部分大数据基础架构转换为流式处理模型。基于流数据的基础架构不仅能
raincoffee·2018-12-21 14:52

阿里重磅开源 Blink：为什么我们等了这么久？

今年，实时流计算技术开始步入主流，各大厂都在不遗余力地试用新的流计算框架，实时流计算引擎和API诸如SparkStreaming、KafkaStreaming、Beam和Flink持续火爆。
首席数据师·2018-12-21 00:00

PSS/E软件学习--电力系统的仿真建模

显示模型：发电机+变压器隐式模型：发电机+终端母线2、通常平衡母线是网络中发电量最大的3、Gentap:发电机变比，对于隐式模型会自动调用内置变压器4、通常平衡母线会自动设置调度功率Pgen5、solve潮流计算时
wx5c15b7739c946·2018-12-16 16:42

大数据技术原理与应用5Spark、流计算、图计算

第10讲Spark10.1Spark概述10.1.1Spark简介•Spark最初由美国加州伯克利大学（UCBerkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序•2013年Spark加入Apache孵化器项目后发展迅猛，如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一（Hadoop、Spark、Sto
A记录学习路线·2018-12-15 00:00

spark streaming流计算程序无故挂掉问题排查

问题：executordead的数据越来越多，导致数据处理速度变慢，最后分配的所有的executor都dead了，程序挂掉日志报错：18/05/2317:21:30ERRORCoarseGrainedExecutorBackend:RECEIVEDSIGNALTERM解决方案：1、增加executor的内存大小2、加大executor通信超时时间spark.executor.heartbeatIn
bianfulin_·2018-12-12 14:07

流计算过程中对于窗口的处理方式

本文我们来聊聊流计算过程中按照时间的处理方式。Window的概念在传统批处理的作业执行方式里，我们可以一次性读取入所有的输入数据，然后经过计算，再输出结果。
Android路上的人·2018-12-12 10:50

杠上Spark、Flink？Kafka为何转型流数据平台

\u003cstrong\u003e但是随着越来越多的企业应用开始采纳流计算作为数据的计算引擎，以及基础架构
坚持669·2018-12-10 09:15

Flink SQL 核心解密 —— 提升吞吐的利器 MicroBatch

在设计和实现Flink的流计算算子时，我们一般会把“面向状态编程”作为第一准则。因为在流计算中，为了保证状态（State）的一致性，需要将状态数据存储在状态后端（StateBacke
阿里云云栖社区·2018-12-07 00:00

【备忘】最新flink视频

01.flink介绍.mp402.flink-无界数据集-有界数据集.mp403.flink-两种执行模型.mp404.flink-特点.mp405.flink-特点2.mp406.flink-流计算模型
a18998154627·2018-12-01 00:00

湍流模型小小总结（RANS）

做了一段时间的CFD，后来在跟同学讨论湍流模型时却发现自己对各种CFD湍流计算方法并没有很好的系统的理解。故花了一段时间调研，小小总结记录于此，很可能有不详尽之处，日后再逐渐补充。
唉那个什么·2018-11-30 17:26

PFC电源设计与电感设计计算学习笔记

PFC电源设计与电感设计计算更新于2018-11-30课程概览常见PFC电路和特点1常见PFC电路和特点1CRMPFC电路设计计算CCMPFC电路设计计算CCMInterleavePFC电感纹波电流计算
weixin_30532837·2018-11-30 11:00

浏览器渲染之重绘重排

因为浏览器需要通过回流计算最新值3.回流必将引起重绘，而重绘不一定会引起回流如何最小化重绘(repa
Corey_Mxd·2018-11-29 09:56

首发！Apache Flink 干货合集打包好了，速来下载

为了让大家更为全面地了解Flink，我们制作了一本电子干货合集：《不仅仅是流计算：ApacheFlink实践》，融合了ApacheFlink在国内各大顶级互联网公司的大规模实践，希望对大家有所帮助。
阿里技术_·2018-11-29 00:00

这一年多来，阿里Blink测试体系如何从0走向成熟？

2017年，阿里整合了所有流计算产品，决定以Blink引擎为基础，打造一款全球领先的实时计算引擎。
阿里云云栖社区·2018-11-23 00:00

美团为什么偏爱kafka?

特点：1、磁盘持久化2、顺序写入，先进先出3、支持流计算结构：kafka的数据单元由字节数组组成。消息由key+value构成，key可为空。如下
来杯熊酱不加糖·2018-11-22 20:21

Storm视频教程|基于Storm流计算天猫双十一作战室项目实战

阅读更多基于Storm流计算天猫双十一作战室项目实战（StormKafkaHBaseHighchats）网盘地址：https://pan.baidu.com/s/1nbPvWYnJzSOnmuVLbpuKCQ
勤奋耕耘·2018-11-16 16:00

Storm视频教程|基于Storm流计算天猫双十一作战室项目实战

阅读更多基于Storm流计算天猫双十一作战室项目实战（StormKafkaHBaseHighchats）网盘地址：https://pan.baidu.com/s/1nbPvWYnJzSOnmuVLbpuKCQ
勤奋耕耘·2018-11-16 16:00

基于Storm流计算天猫双十一作战室项目实战（Storm Kafka HBase )

基于Storm流计算天猫双十一作战室项目实战（StormKafkaHBaseHighchats）网盘地址：https://pan.baidu.com/s/18Hd94BmSDGSeZRRA-MD-CQ提取码
卡夫吉诺·2018-11-16 16:07

7、Flink 流计算处理和批处理平台

一、Flink基本概念Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink与Storm类似，属于事件驱动型实时流系统。所谓说事件驱动型指的就是一个应用提交之后，除非明确的指定停止，否则，该业务会一直持续的运行，它的执行条件就是触发了某一个事件，比如在淘宝中，我们付款需要在支付宝付款
bug发现与制造·2018-11-15 00:00

Spark源代码阅读（一）

blog.csdn.net/weixin_41705780/article/details/79273666总体架构Spark工程下的模块sparkcore,spark内核sparkstreaming,spark流计算
define_us·2018-11-13 11:45

flink流计算随笔（6）

生成，编译模板工程MacBook-Air:SocketWindowWordCountmyhaspl$bashcompile[success]Totaltime:1s,completedOct11,201811:27:46AMsbt:FlinkProject>package[info]Packaging/Users/aaaaaa/Documents/scala/learn_2/learn2/targ
myhaspl·2018-11-13 11:20

flink sql

SQL的很多概念无法直接映射到流计算，这就是在流计算上定义SQL的难点。为了在流计算上定义SQL，我们需要引入几个概念。
scottzcw·2018-11-12 11:51

流计算系统概述

介绍流计算系统的基本概念。流计算应用需求静态数据很多企业为了支持决策分析而构建的数据仓库系统，其中存放的大量历史数据就是静态数据。
crazy_scott·2018-11-11 00:00

取之开源，用之开源——深度剖析阿里巴巴对Apache Flink的优化与改进

同时Flink计算的主流方向被定位为流计算，即用流
Warren·2018-11-05 00:00

Kafka+Flink 实现准实时异常检测系统

根据业务要求的不同，流计算在其中扮演着不同的角色：既可以做在线的欺诈检测，也可以做决策后近实时的结果分析、全局预警与规则调整等。本文先介绍一种准实时的异常检测系统。所谓准实时，即要求延迟在100ms以
沙漏半杯·2018-11-01 15:31

Flink window机制

问题window是解决流计算中的什么问题？怎么划分window？有哪几种window？window与时间属性之间的关系？window里面的数据何时被计算？window何时被清除？
网易云·2018-10-31 11:00

美团点评基于 Flink 的实时数仓建设实践

此前我们美团技术博客发布过一篇文章《流计算框架Flink与Storm的性能对比》，对Flink和Storm俩个引擎的计算性能进行了比较。本文主要阐述使用Flink在实际数据生产上的经验。
qq_41694752·2018-10-22 09:19

美团点评基于 Flink 的实时数仓建设实践

此前我们美团技术博客发布过一篇文章《流计算框架Flink与Storm的性能对比》，对Flink和Storm俩个引擎的计算性能进行了比较。本文主要阐述使用Flink在实际数据生产上的经验。
美团技术团队·2018-10-19 00:00

美团点评基于 Flink 的实时数仓建设实践

此前我们美团技术博客发布过一篇文章《流计算框架Flink与Storm的性能对比》，对Flink和Storm俩个引擎的计算性能进行了比较。本文主要阐述使用Flink在实际数据生产上的经验。
美团点评技术团队·2018-10-18 22:00

Kafka+Flink 实现准实时异常检测系统

根据业务要求的不同，流计算在其中扮演着不同的角色：既可以做在线的欺诈检测，也可以做决策后近实时的结果分析、全局预警与规则调整等。本文先介绍一种准实时的异常检测系统。
阿里云云栖社区·2018-10-16 00:00

关于流计算基本认识

关于流计算的概念：阿里云流计算使用教程在传统的数据处理流程中，总是先收集数据，然后将数据放到DB中。当人们需要的时候通过DB对数据做query，得到答案或进行相关的处理。
云计算小百科·2018-10-11 12:32

悦读社发言（十）

而现在的主流计算
冯雪松_4d76·2018-10-11 11:44

Spark系列4- Spark Streaming

1流计算静态数据和流数据静态数据类似存储在水库中的水，是相对静止不动的，如数据仓库中储存的数据、关系型数据库中存储的数据等。
guoxiaojie_415·2018-10-11 09:19

Storm整合kafka

kafka作为源头Spout，Storm进行流计算处理(以WordCount为例)导入依赖org.apache.stormstorm-core1.1.3org.apache.stormstorm-kafka1.1.3org.apache.kafkakafka
皮皮的雅客·2018-10-08 15:14

Python全栈开发之文件操作

No.1文件的概念文件的概念和作用计算机中的文件，就是存储在某种长期储存设备上的一段数据流计算机中的文件，可以在需要的时候使用文件的存储方式文本文件可以使用文本编辑器查看本质上还是二进制文件二进制文件保留的内容不能直接查看
灰白世界·2018-09-30 19:26

流计算学习笔记

流计算：实时获取来自不同数据源的海量数据，实时分析处理，获得有价值的信息。实时查询服务与传统查询服务的区别在于，传统查询服务是用户主动查询，而实时查询服务是在数据更新后，主动将更新后的查
junweishiwo·2018-09-30 00:00

初识Flink WaterMarker

前言对于流计算来说，最核心的概念就是无穷数据集，而用来处理无穷数据集的计算就可以称为流计算。
远o_O·2018-09-23 21:43

大数据普及技术概念分析

1、大数据技术层次1）数据采集2）数据存储与管理3）数据处理与分析4）数据隐私与安全技术核心（分布式处理、分布式存储eg:hdfs）2、大数据计算模式1）批处理计算MapReduce、Spark等2）流计算
未编辑·2018-09-20 16:04

分布式消息规范 OpenMessaging 1.0.0-preview 发布

OpenMessaging是由阿里巴巴牵头发起，由Yahoo、滴滴、Streamlio、微众银行、Datapipeline等公司共同发起创建的分布式消息规范，其目标在于打造厂商中立，面向CloudNative，同时对流计算以及大数据生态友好的下一代分布式消息标准
阿里云云栖社区·2018-09-18 00:00

阿里、Uber都在用的Flink你了解多少？

实时流计算近几年由于数据被广泛重视，是通过实时推荐及计算来获取目标数据而兴起的技术。本文对分布式实时计算引擎Flink做了简要介绍。本文选自《智能运维：从0搭建大规模分布式AIOps系统》一书。
博文视点·2018-09-13 00:00

Spark Structrued Streaming源码分析--(三)Aggreation聚合状态存储与更新

一、持续更新的无限表二、创建StatefulAggregationStrategy流计算聚合策略1、先简单介绍下sparksql对应的QueryExecution2、IncrementalExecution
ls_ice·2018-09-01 14:48

Spark Structrued Streaming源码分析--(一)创建Source、Sink及自定义输入、输出端

一、流计算示例example二、通过DataStreamReader.load()方法，查找Source并创建DataFrame1、DataStreamReader参数设置：2、DataStreamReader.load
ls_ice·2018-09-01 14:29

大学如何学习编程

在这儿提问题:StackOverflow-WhereDevelopersLearn,Share,&BuildCareers软件行业的简单介绍计算机语言主流计算机语言：C\C++,Java,Jav
Ken Coding·2018-09-01 12:46
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他