流计算Flinkjava

Flink结合Kafka简单实战应用

二、概念说明  （一）Flink流处理任务的逻辑视图  同SparkStreaming、Storm等流计算引擎一样，Flink的数据处理组件也被分为三类：数据输入（source）、数据处理（transforma
曾小健_0532·2020-01-08 20:19

18. Storm基础

1.Storm介绍：Storm是实时流计算框架。
奉先·2020-01-08 15:13

投资周记20170306（散文）

最近看的最多的是CFA的NOTES教材，才看到现金流计算里的现值、终值、年金、净现值和内部收益率。一开始看的真是满头大汗，一页要花一个多小时，都用来查单词了。
Jeff_孙·2020-01-08 04:16

流计算

什么是流计算:在当下这个数据容量呈几何倍暴增的时代背景下，数据的价值在其产生之后，将随着时间的流逝，逐渐降低。
一品悟技术_张驰·2020-01-06 14:41

jstorm和spark-streaming的区别

所以，明确这两个最主流的流计算框架的应用场景至关重要，下面我说下经验之谈，避免更多的人走弯路。SparkStream
男人三饼·2020-01-04 11:54

日志服务（SLS）集成 Spark 流计算实战

同时为了便于用户对日志进行处理，提供了各种支持流式消费的SDK，如各种语言的消费组，与Spark，Flink，Storm等各种流计算技术无缝对接的Connecto
阿里云云栖号·2020-01-03 02:44

Flink State Backends (状态后端)

StateBackends的作用有状态的流计算是Flink的一大特点，状态本质上是数据，数据是需要维护的，例如数据库就是维护数据的一种解决方案。
wangxiaofan~·2020-01-02 18:00

什么是Apache Flink实时流计算框架？

一.概述ApacheFlink是一个框架和分布式处理引擎，用于对无限制和有限制的数据流进行有状态的计算。Flink被设计为可以在所有常见的集群环境中运行，以内存速度和任何规模的计算。首先，需要对什么是无限制什么是有限制做一下说明，首先看官方的解释：1、无限制数据流无限制数据流指数据是没有界限的，其有一个起点，但是定义终点。它们不会终止并在生成数据时提供数据。无限制的流必须被连续处理，即事件被摄取后
云山之巅·2019-12-31 10:00

11月24日云栖精选夜读：如何打造千万级Feed流系统？阿里数据库技术解读

yq传送门2017-11-2415:53:05浏览247评论0大数据安全云栖大会数据库人工智能数据流微服务测试scala运营流计算摘要：2017年的双十一又一次刷新了记录，交易创建峰值32.5万笔/秒、
暖夏未眠丶·2019-12-30 20:21

Flink 原理与实现：Aysnc I/O

流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是向数据库发送用户a的查询请求，然后等待结果返回，在这之前，我们无法发送用户b的查询请求。
尼小摩·2019-12-30 14:10

sofa流计算引擎

微服务治理中心的职责主要在于治理服务，收集并计算各服务的健康指数应该由第三方组件完成，因此，SOFA流计算引擎应运而生。
一品悟技术_张驰·2019-12-28 13:29

2019-02-28

今日份的C++学习总结1.如何用输入流计算以空格隔开的单词注意头文件#include//最好都写上#includeifstreamin("test.txt");strings;intcount=0;while
Dreamindream·2019-12-26 20:08

流式计算（五）-Flink核心概念

环境：Flink1.9.1难度：新手--战士--老兵--大师目标：理解Flink的计算模型认识各重要组件说明：本篇作为前两篇的补充内容，算是理论篇步骤：01-Flink编程模型Flink的流计算整体来看都是按照
甲由崽·2019-12-26 11:00

流式计算（四）-Flink Stream API 篇二

体系十分庞大复杂，没个几十篇文章没法聊完，核心就是最擅长，做的最好，就像说起百度就是搜索，微信就是聊天一样，至于百度核心还是不是搜索已经不那么重要了，但至少聊起Flink，我们得知道，Flink核心是流计算
甲由崽·2019-12-26 11:00

流式计算（三）-Flink Stream 篇一

流的世界，有点乱，群雄逐鹿，流实在太多，看完这个马上又冒出一个，也不知哪个才是真正的牛，据说Flink是位重量级选手，能流计算，还能批处理，和其他伙伴关系也融洽的很，与HDFS/File/SQL/MQ往来都不在话下
甲由崽·2019-12-26 10:00

Java复习之IO流（下）

什么是字符流上一篇文章中我们说过字符流一般只能操作的是存文本数据，而字节流可以操作很多类型数据（文本，图片，音频，视频等）字符流是可以直接读写字符的IO流计算机中存储的是字节数据，字符流读取字符，就要先
maoqitian·2019-12-25 15:24

1. Spark概述

SparkCore：离线计算SparkSQL：交互式查询SparkStreaming：实时流计算SparkMLlib：机器学习SparkGraphX：图计算Sp
泊牧·2019-12-24 22:25

Spark 2017欧洲技术峰会摘要（流计算分类）

下载全部视频和PPT，请关注公众号(bigdata_summit)，并点击“视频下载”菜单ApacheSparkStreaming+Kafka0.10:AnIntegrationStorybyJoanViladrosaRiera,BillyMobilevideo,slideSparkStreaminghassupportedKafkasinceit’sinception,butalothascha
大数据技术峰会解读·2019-12-24 19:45

2009-1-6，事关快递

一开始是通过淘宝物流计算器找出最便宜的韵达快递。去年大雪，离我家仅2站地的物流点居然以人手不足的理由拒绝上门收件。嗯，交通不便，大家都是讨生活，我很是理解
罗汉大肚皮·2019-12-22 23:57

Spark Streaming vs. Structured Streaming

提供了基于RDDs的DstreamAPI，每个时间间隔内的数据为一个RDD，源源不断对RDD进行处理来实现流计算StructuredStreamingSpark2.X出来的流框架，采用了无界表的概念，流数据相当于往一个表上不断追加行
upupfeng·2019-12-22 21:19

Spark Streaming vs. Structured Streaming

提供了基于RDDs的DstreamAPI，每个时间间隔内的数据为一个RDD，源源不断对RDD进行处理来实现流计算StructuredStreamingSpark2.X出来的流框架，采用了无界表的概念，流数据相当于往一个表上不断追加行
upupfeng·2019-12-22 12:00

Spark Streaming vs. Structured Streaming

提供了基于RDDs的DstreamAPI，每个时间间隔内的数据为一个RDD，源源不断对RDD进行处理来实现流计算StructuredStreamingSpark2.X出来的流框架，采用了无界表的概念，流数据相当于往一个表上不断追加行
upupfeng·2019-12-22 12:00

《大数据技术原理与应用》第二版-第一章大数据概述

流计算，流数据或数据流是指在时间
睿晞·2019-12-22 00:00

FFA 2019 Day-2

企业实践09：00网易实践演进16年调研Flink，基于1.3，1.5，1.7版本通过写代码跑流计算任务，2019年7月份发现大部分子公司都有流计算平台，决定共建平台，将子公司的任务迁移。
MisterCH·2019-12-19 07:50

Spark

Sparkcore一、spark是一个分布式同通用计算框架，可用于离线大数据处理、实时流计算、交互式计算、图计算等，集成了SparkSQL、SparkStream、MLLib等库，提供了丰富的API。
_duangduang·2019-12-17 00:11

阿里云DataHub使用教程

用户可以编写应用程序或者使用流计算引擎来处理写入到DataHub的流式数据比如实时web访问
xmvip01·2019-12-16 19:25

推荐系统陈开江 - C11 关键模块

UserProfile，ItemProfile，Relation，Event2实时推荐三个层次给得及时，推荐100ms返回用得及时，用户物品特征及时更新学得及时，推荐模型的及时更新要点实时数据kafka，流计算
左心Chris·2019-12-16 18:50

云监控服务的应用场景及概览

和安装云监控插件的非ECS机器）、负载均衡、弹性公网IP、云数据库RDS版、对象存储OSS、CDN、云数据库MongodbDB版、云数据库Memcahce版、云数据库Redis版、消息服务、容器服务、日志服务、流计算
云计算小百科·2019-12-16 14:11

GeoMesa架构

GeoMesa支持多种可扩展的、基于云端的数据存储架构，包括ApacheAccumulo,ApacheHBased，GoogleCloudBigtable以及用于流计算的ApacheKafka。
barrycug·2019-12-15 23:31

RxCPP（一）编程模型

编程模型将涉及到以下几块内容：数据流计算范例rxcpp库的介绍Rx操作符调度flat/concatmap的区别更多重要的操作符数据流计算简介在函数响应式编程(FRP)中，所有这些主题都以系统的方式结合在一起
龙翱天际·2019-12-15 12:45

7.8 Structured Streaming

一、Spark流计算组件的演进二、StructuredStreaming的基本原理StructuredStreaming将数据建模成一个结构化的数据表DataFrame，后到达的数据就是一条一条的记录不断往里追加
nxf_rabbit75·2019-12-14 21:00

美团点评基于 Flink 的实时数仓建设实践

此前我们美团技术博客发布过一篇文章《流计算框架Flink与Storm的性能对比》，对Flink和Storm俩个引擎的计算性能进行了比较。本文主要阐述使用Flink在实际数据生产上的经验。实时平台初期
美团技术团队·2019-12-13 14:49

三、flink--DataStreamAPI原理以及用法

datastream是flink提供给用户使用的用于进行流计算和批处理的api，是对底层流式计算模型的api封装，便于用户编程。
隔壁小白·2019-12-09 17:26

第八章《异常》（一）

异常控制流计算机系统的异常跟平时Java代码中的Exception是两码事，对于计算机系统而言，导致‘平滑的’控制流发生突变的情况都可以成为异常，例如定时任务、网络信号等一般而言，这些突变被称为异常控制流
DengIsACoder·2019-12-07 22:54

构建一个flink程序,从kafka读取然后写入MYSQL

现在最流行的实时计算应该就是flink了，它具有了流计算和批处理功能。它可以处理有界数据和无界数据，也就是可以处理永远生产的数据。具体的细节我们不讨论，我们直接搭建一个flink功能。
黄青石·2019-12-07 21:00

Flink Forward Asia参会总结

对流计算的建设步调有所感受。以下记录我参会的感悟以及对部分精彩的讲座的摘要。
MisterCH·2019-12-06 07:02

Kafka 2017技术峰会摘要（流计算分类）

下载全部视频和PPT，请关注公众号(bigdata_summit)，并点击“视频下载”菜单BuildingEvent-DrivenServiceswithStatefulStreamsbyBenjaminStopford,Engineer,Confluentvideo,slideEventDrivenServicescomeinmanyshapesandsizesfromtinyeventdriv
大数据技术峰会解读·2019-12-01 13:55

JAVA加解密16-非对称加密算法-RSA算法

目前各种主流计算机语言都支持RSA算法的实现2.java6支持RSA算法3.RSA算法可以用于数据加密和数字签名4.RSA算法相对于DES/AES等对称加密算法，他的速度要慢的多5.总原则：公钥加密，私钥解密
K1024·2019-12-01 06:34

08 Spark 之 Spark Streaming 和 Structured Streaming

这篇主要看下Spark流计算这块的能力，过去Spark主推的是SparkStreaming，现在开始推广StructuredStreaming，在Streaming101中是这样介绍SparkStreaming
柳年思水·2019-11-30 00:28

Flink1.8 集群搭建完全指南(1)：Hadoop伪分布式

Flink是目前在国内非常流行的大数据的计算框架，其设计理念可以完美的实现数据的批流计算一体化。
MeazZa·2019-11-29 21:05

Hadoop YARN：调度性能优化实践

实时业务主要运行SparkStreaming，Flink为主的实时流计算作业。机器学习业务主要运行TensorFl
艾弗森哇·2019-11-23 16:56

业务领域建模Domain Modeling

需要设计并实现一个基于流计算的实时计算引擎。目前常用的实时流计算引擎有Flink、Storm等。其主要实现方法是基于事件流，根据用户给定的条件进行实时处理，最后输出用户需要的结果。
v鹿鸣·2019-11-22 20:00

大规模搜索广告的端到端一致性实时保障

背景电商平台的搜索广告数据处理链路通常较长，一般会经历如下过程：广告主在后台进行广告投放；投放广告品及关键词数据写入数据库；数据库中的数据通过全量构建（导入数据仓库再进行离线批处理）或增量构建（借助消息队列和流计算引擎
zni.feng·2019-11-22 15:00

关于流计算基本认识

关于流计算的概念：阿里云流计算使用教程在传统的数据处理流程中，总是先收集数据，然后将数据放到DB中。当人们需要的时候通过DB对数据做query，得到答案或进行相关的处理。
云计算小百科·2019-11-08 11:32

Flink原理（七）——动态表（Dynamic tables）

SQL适合流计算场景吗？对于流计算，每一条数据的到来都会触发一次查询产生一个结果，并发射出去。
BraveWg·2019-11-08 00:00

Flink初探-为什么选择Flink

storm是基于流计算的,但是也可以模拟批处理,sparkstr
_呆瓜_·2019-11-07 03:01

大数据理论篇 - 通俗易懂，揭秘谷歌《The Dataflow Model》的核心思想(一)

前言这是分布式数据处理系统系列的第一篇，也是当下实时流计算引擎实现的奠基石，为了帮助大家从理论到实现形成一个完整的知识体系，计划分为理论篇(剖析分布式数据处理系统的核心思想)和实现篇(详解当下实时流计算引擎如何实现核心思想
justmine·2019-11-05 08:00

阿里流计算技术全揭秘

架构性能数据处理配置磁盘存储数据统计流计算摘要：今年的双11再次刷新了记录——支付成功峰值达25.6万笔／秒、实时数据处理峰值4.72亿条/秒。
暖夏未眠丶·2019-11-05 06:02

关于流计算基本认识

关于流计算的概念：阿里云流计算使用教程在传统的数据处理流程中，总是先收集数据，然后将数据放到DB中。当人们需要的时候通过DB对数据做query，得到答案或进行相关的处理。
云计算小百科·2019-11-01 20:48

基于Spark的电影推荐系统（推荐系统~1）

第四部分-推荐系统-项目介绍行业背景：快速：ApacheSpark以内存计算为核心通用：一站式解决各个问题，ADHOCSQL查询，流计算，数据挖掘，图计算完整的生态圈只要掌握Spark,就能够为大多数的企业的大数据应用场景提供明显的加速
liuge36·2019-10-21 13:00
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他