E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
流计算
投资周记20170306(散文)
最近看的最多的是CFA的NOTES教材,才看到现金
流计算
里的现值、终值、年金、净现值和内部收益率。一开始看的真是满头大汗,一页要花一个多小时,都用来查单词了。
Jeff_孙
·
2020-01-08 04:16
流计算
什么是
流计算
:在当下这个数据容量呈几何倍暴增的时代背景下,数据的价值在其产生之后,将随着时间的流逝,逐渐降低。
一品悟技术_张驰
·
2020-01-06 14:41
jstorm和spark-streaming的区别
所以,明确这两个最主流的
流计算
框架的应用场景至关重要,下面我说下经验之谈,避免更多的人走弯路。SparkStream
男人三饼
·
2020-01-04 11:54
日志服务(SLS)集成 Spark
流计算
实战
同时为了便于用户对日志进行处理,提供了各种支持流式消费的SDK,如各种语言的消费组,与Spark,Flink,Storm等各种
流计算
技术无缝对接的Connecto
阿里云云栖号
·
2020-01-03 02:44
spark
日志分析
流计算-storm
大数据
集成
Flink State Backends (状态后端)
StateBackends的作用有状态的
流计算
是Flink的一大特点,状态本质上是数据,数据是需要维护的,例如数据库就是维护数据的一种解决方案。
wangxiaofan~
·
2020-01-02 18:00
什么是Apache Flink实时
流计算
框架?
一.概述ApacheFlink是一个框架和分布式处理引擎,用于对无限制和有限制的数据流进行有状态的计算。Flink被设计为可以在所有常见的集群环境中运行,以内存速度和任何规模的计算。首先,需要对什么是无限制什么是有限制做一下说明,首先看官方的解释:1、无限制数据流无限制数据流指数据是没有界限的,其有一个起点,但是定义终点。它们不会终止并在生成数据时提供数据。无限制的流必须被连续处理,即事件被摄取后
云山之巅
·
2019-12-31 10:00
11月24日云栖精选夜读:如何打造千万级Feed流系统?阿里数据库技术解读
yq传送门2017-11-2415:53:05浏览247评论0大数据安全云栖大会数据库人工智能数据流微服务测试scala运营
流计算
摘要:2017年的双十一又一次刷新了记录,交易创建峰值32.5万笔/秒、
暖夏未眠丶
·
2019-12-30 20:21
Flink 原理与实现:Aysnc I/O
流计算
系统中经常需要与外部系统进行交互,比如需要查询外部数据库以关联上用户的额外信息。通常,我们的实现方式是向数据库发送用户a的查询请求,然后等待结果返回,在这之前,我们无法发送用户b的查询请求。
尼小摩
·
2019-12-30 14:10
sofa
流计算
引擎
微服务治理中心的职责主要在于治理服务,收集并计算各服务的健康指数应该由第三方组件完成,因此,SOFA
流计算
引擎应运而生。
一品悟技术_张驰
·
2019-12-28 13:29
2019-02-28
今日份的C++学习总结1.如何用输入
流计算
以空格隔开的单词注意头文件#include//最好都写上#includeifstreamin("test.txt");strings;intcount=0;while
Dreamindream
·
2019-12-26 20:08
流式计算(五)-Flink核心概念
环境:Flink1.9.1难度:新手--战士--老兵--大师目标:理解Flink的计算模型认识各重要组件说明:本篇作为前两篇的补充内容,算是理论篇步骤:01-Flink编程模型Flink的
流计算
整体来看都是按照
甲由崽
·
2019-12-26 11:00
流式计算(四)-Flink Stream API 篇二
体系十分庞大复杂,没个几十篇文章没法聊完,核心就是最擅长,做的最好,就像说起百度就是搜索,微信就是聊天一样,至于百度核心还是不是搜索已经不那么重要了,但至少聊起Flink,我们得知道,Flink核心是
流计算
甲由崽
·
2019-12-26 11:00
流式计算(三)-Flink Stream 篇一
流的世界,有点乱,群雄逐鹿,流实在太多,看完这个马上又冒出一个,也不知哪个才是真正的牛,据说Flink是位重量级选手,能
流计算
,还能批处理,和其他伙伴关系也融洽的很,与HDFS/File/SQL/MQ往来都不在话下
甲由崽
·
2019-12-26 10:00
Java复习之IO流(下)
什么是字符流上一篇文章中我们说过字符流一般只能操作的是存文本数据,而字节流可以操作很多类型数据(文本,图片,音频,视频等)字符流是可以直接读写字符的IO
流计算
机中存储的是字节数据,字符流读取字符,就要先
maoqitian
·
2019-12-25 15:24
1. Spark概述
SparkCore:离线计算SparkSQL:交互式查询SparkStreaming:实时
流计算
SparkMLlib:机器学习SparkGraphX:图计算Sp
泊牧
·
2019-12-24 22:25
Spark 2017欧洲技术峰会摘要(
流计算
分类)
下载全部视频和PPT,请关注公众号(bigdata_summit),并点击“视频下载”菜单ApacheSparkStreaming+Kafka0.10:AnIntegrationStorybyJoanViladrosaRiera,BillyMobilevideo,slideSparkStreaminghassupportedKafkasinceit’sinception,butalothascha
大数据技术峰会解读
·
2019-12-24 19:45
2009-1-6,事关快递
一开始是通过淘宝物
流计算
器找出最便宜的韵达快递。去年大雪,离我家仅2站地的物流点居然以人手不足的理由拒绝上门收件。嗯,交通不便,大家都是讨生活,我很是理解
罗汉大肚皮
·
2019-12-22 23:57
Spark Streaming vs. Structured Streaming
提供了基于RDDs的DstreamAPI,每个时间间隔内的数据为一个RDD,源源不断对RDD进行处理来实现
流计算
StructuredStreamingSpark2.X出来的流框架,采用了无界表的概念,流数据相当于往一个表上不断追加行
upupfeng
·
2019-12-22 21:19
spark-streaming
spark
Spark Streaming vs. Structured Streaming
提供了基于RDDs的DstreamAPI,每个时间间隔内的数据为一个RDD,源源不断对RDD进行处理来实现
流计算
StructuredStreamingSpark2.X出来的流框架,采用了无界表的概念,流数据相当于往一个表上不断追加行
upupfeng
·
2019-12-22 12:00
Spark Streaming vs. Structured Streaming
提供了基于RDDs的DstreamAPI,每个时间间隔内的数据为一个RDD,源源不断对RDD进行处理来实现
流计算
StructuredStreamingSpark2.X出来的流框架,采用了无界表的概念,流数据相当于往一个表上不断追加行
upupfeng
·
2019-12-22 12:00
《大数据技术原理与应用》第二版-第一章大数据概述
流计算
,流数据或数据流是指在时间
睿晞
·
2019-12-22 00:00
FFA 2019 Day-2
企业实践09:00网易实践演进16年调研Flink,基于1.3,1.5,1.7版本通过写代码跑
流计算
任务,2019年7月份发现大部分子公司都有
流计算
平台,决定共建平台,将子公司的任务迁移。
MisterCH
·
2019-12-19 07:50
Spark
Sparkcore一、spark是一个分布式同通用计算框架,可用于离线大数据处理、实时
流计算
、交互式计算、图计算等,集成了SparkSQL、SparkStream、MLLib等库,提供了丰富的API。
_duangduang
·
2019-12-17 00:11
阿里云DataHub使用教程
用户可以编写应用程序或者使用
流计算
引擎来处理写入到DataHub的流式数据比如实时web访问
xmvip01
·
2019-12-16 19:25
推荐系统陈开江 - C11 关键模块
UserProfile,ItemProfile,Relation,Event2实时推荐三个层次给得及时,推荐100ms返回用得及时,用户物品特征及时更新学得及时,推荐模型的及时更新要点实时数据kafka,
流计算
左心Chris
·
2019-12-16 18:50
云监控服务的应用场景及概览
和安装云监控插件的非ECS机器)、负载均衡、弹性公网IP、云数据库RDS版、对象存储OSS、CDN、云数据库MongodbDB版、云数据库Memcahce版、云数据库Redis版、消息服务、容器服务、日志服务、
流计算
云计算小百科
·
2019-12-16 14:11
GeoMesa架构
GeoMesa支持多种可扩展的、基于云端的数据存储架构,包括ApacheAccumulo,ApacheHBased,GoogleCloudBigtable以及用于
流计算
的ApacheKafka。
barrycug
·
2019-12-15 23:31
RxCPP(一)编程模型
编程模型将涉及到以下几块内容:数据
流计算
范例rxcpp库的介绍Rx操作符调度flat/concatmap的区别更多重要的操作符数据
流计算
简介在函数响应式编程(FRP)中,所有这些主题都以系统的方式结合在一起
龙翱天际
·
2019-12-15 12:45
7.8 Structured Streaming
一、Spark
流计算
组件的演进二、StructuredStreaming的基本原理StructuredStreaming将数据建模成一个结构化的数据表DataFrame,后到达的数据就是一条一条的记录不断往里追加
nxf_rabbit75
·
2019-12-14 21:00
美团点评基于 Flink 的实时数仓建设实践
此前我们美团技术博客发布过一篇文章《
流计算
框架Flink与Storm的性能对比》,对Flink和Storm俩个引擎的计算性能进行了比较。本文主要阐述使用Flink在实际数据生产上的经验。实时平台初期
美团技术团队
·
2019-12-13 14:49
三、flink--DataStreamAPI原理以及用法
datastream是flink提供给用户使用的用于进行
流计算
和批处理的api,是对底层流式计算模型的api封装,便于用户编程。
隔壁小白
·
2019-12-09 17:26
Flink
第八章《异常》(一)
异常控制
流计算
机系统的异常跟平时Java代码中的Exception是两码事,对于计算机系统而言,导致‘平滑的’控制流发生突变的情况都可以成为异常,例如定时任务、网络信号等一般而言,这些突变被称为异常控制流
DengIsACoder
·
2019-12-07 22:54
构建一个flink程序,从kafka读取然后写入MYSQL
现在最流行的实时计算应该就是flink了,它具有了
流计算
和批处理功能。它可以处理有界数据和无界数据,也就是可以处理永远生产的数据。具体的细节我们不讨论,我们直接搭建一个flink功能。
黄青石
·
2019-12-07 21:00
Flink Forward Asia参会总结
对
流计算
的建设步调有所感受。以下记录我参会的感悟以及对部分精彩的讲座的摘要。
MisterCH
·
2019-12-06 07:02
Kafka 2017技术峰会摘要(
流计算
分类)
下载全部视频和PPT,请关注公众号(bigdata_summit),并点击“视频下载”菜单BuildingEvent-DrivenServiceswithStatefulStreamsbyBenjaminStopford,Engineer,Confluentvideo,slideEventDrivenServicescomeinmanyshapesandsizesfromtinyeventdriv
大数据技术峰会解读
·
2019-12-01 13:55
JAVA加解密16-非对称加密算法-RSA算法
目前各种主
流计算
机语言都支持RSA算法的实现2.java6支持RSA算法3.RSA算法可以用于数据加密和数字签名4.RSA算法相对于DES/AES等对称加密算法,他的速度要慢的多5.总原则:公钥加密,私钥解密
K1024
·
2019-12-01 06:34
08 Spark 之 Spark Streaming 和 Structured Streaming
这篇主要看下Spark
流计算
这块的能力,过去Spark主推的是SparkStreaming,现在开始推广StructuredStreaming,在Streaming101中是这样介绍SparkStreaming
柳年思水
·
2019-11-30 00:28
Flink1.8 集群搭建完全指南(1):Hadoop伪分布式
Flink是目前在国内非常流行的大数据的计算框架,其设计理念可以完美的实现数据的批
流计算
一体化。
MeazZa
·
2019-11-29 21:05
Hadoop YARN:调度性能优化实践
实时业务主要运行SparkStreaming,Flink为主的实时
流计算
作业。机器学习业务主要运行TensorFl
艾弗森哇
·
2019-11-23 16:56
Hadoop
YARN
业务领域建模Domain Modeling
需要设计并实现一个基于
流计算
的实时计算引擎。目前常用的实时
流计算
引擎有Flink、Storm等。其主要实现方法是基于事件流,根据用户给定的条件进行实时处理,最后输出用户需要的结果。
v鹿鸣
·
2019-11-22 20:00
大规模搜索广告的端到端一致性实时保障
背景电商平台的搜索广告数据处理链路通常较长,一般会经历如下过程:广告主在后台进行广告投放;投放广告品及关键词数据写入数据库;数据库中的数据通过全量构建(导入数据仓库再进行离线批处理)或增量构建(借助消息队列和
流计算
引擎
zni.feng
·
2019-11-22 15:00
关于
流计算
基本认识
关于
流计算
的概念:阿里云
流计算
使用教程在传统的数据处理流程中,总是先收集数据,然后将数据放到DB中。当人们需要的时候通过DB对数据做query,得到答案或进行相关的处理。
云计算小百科
·
2019-11-08 11:32
Flink原理(七)——动态表(Dynamic tables)
SQL适合
流计算
场景吗?对于
流计算
,每一条数据的到来都会触发一次查询产生一个结果,并发射出去。
BraveWg
·
2019-11-08 00:00
Flink初探-为什么选择Flink
storm是基于
流计算
的,但是也可以模拟批处理,sparkstr
_呆瓜_
·
2019-11-07 03:01
大数据理论篇 - 通俗易懂,揭秘谷歌《The Dataflow Model》的核心思想(一)
前言这是分布式数据处理系统系列的第一篇,也是当下实时
流计算
引擎实现的奠基石,为了帮助大家从理论到实现形成一个完整的知识体系,计划分为理论篇(剖析分布式数据处理系统的核心思想)和实现篇(详解当下实时
流计算
引擎如何实现核心思想
justmine
·
2019-11-05 08:00
阿里
流计算
技术全揭秘
架构性能数据处理配置磁盘存储数据统计
流计算
摘要:今年的双11再次刷新了记录——支付成功峰值达25.6万笔/秒、实时数据处理峰值4.72亿条/秒。
暖夏未眠丶
·
2019-11-05 06:02
关于
流计算
基本认识
关于
流计算
的概念:阿里云
流计算
使用教程在传统的数据处理流程中,总是先收集数据,然后将数据放到DB中。当人们需要的时候通过DB对数据做query,得到答案或进行相关的处理。
云计算小百科
·
2019-11-01 20:48
基于Spark的电影推荐系统(推荐系统~1)
第四部分-推荐系统-项目介绍行业背景:快速:ApacheSpark以内存计算为核心通用:一站式解决各个问题,ADHOCSQL查询,
流计算
,数据挖掘,图计算完整的生态圈只要掌握Spark,就能够为大多数的企业的大数据应用场景提供明显的加速
liuge36
·
2019-10-21 13:00
1.大数据技术概述
2.
流计算
特点:数据量少,源源不断到达,但是响应时间要求非常短,一般是秒级/毫秒级3.图计算应用场景:社交网络、物流4.查询分析计算三、代表性大数据技术1.Hadoop(1)HDFS功能:海量数据的分布式存储
nxf_rabbit75
·
2019-10-21 13:00
Flink的窗口策略
概述Windows是
流计算
的核心。
fql123455
·
2019-10-18 12:30
Flink窗口
Flink实时计算
上一页
19
20
21
22
23
24
25
26
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他