nebula流计算第30页

美团点评基于 Flink 的实时数仓建设实践

此前我们美团技术博客发布过一篇文章《流计算框架Flink与Storm的性能对比》，对Flink和Storm俩个引擎的计算性能进行了比较。本文主要阐述使用Flink在实际数据生产上的经验。

weiqing687·2020-07-02 17:01

阿里云流计算使用教程

产品特点相较于其他流计算产品，阿里云流计算提供一些极具竞争力的产品优势，用户可以充分利用阿里云流计算提供的产品优势，方便快捷的解决自身业务实时化大数据分析的问题。

阿里云大学百科·2020-07-02 14:49

第三代大数据处理方案Flink

ApacheFlinkFlink作为第三代流计算引擎，同采取了DAGStage拆分的思想构建了存粹的流计算框架。被人们称为第三代大数据处理方案。该计算框架和Spark设计理念出发点恰好相反。

鹏飞九万里·2020-07-02 14:10

Flink的数据流输入，转换，输出（章节二）

Flink的使用（章节二）程序部署本地执行//1.创建流计算执⾏环境valenv=StreamExecutionEnvironment.createLocalEnvironment(3)//指定代码并行度

策马出凉州·2020-07-02 14:05

Flink 中 Table API & SQL 介绍

为了满足流计算（实时计算）和批计算（离线计算）中的各种场景需求，同时降低用户的使用门槛，Flink提

扛麻袋的少年·2020-07-02 10:32

Flink 原理与实现：Table & SQL API

wuchong.me/blog/2017/03/30/flink-internals-table-and-sql-api/Flink已经拥有了强大的DataStream/DataSetAPI，可以基本满足流计算和批计算中的所有需求

尔笑惹千愁·2020-07-02 10:55

Nebula Graph 在大规模数据量级下的实践和定制化开发

本文描述了开源分布式图数据库NebulaGraph实践中遇到的问题，并通过深度定制，实现：大数据集存储、小时级全量导入、多版本控制、秒级回滚、毫秒级访问等特性。

NebulaGraph·2020-07-02 10:00

Flink流计算编程--如何实现基于KEY/VALUE的List State

1、ListState简介Flink提供了3种基于KEY/VALUE的state的实现方式，分别是：ValueStateListStateReducingState官方文档中关于state的使用可以参考这里：WorkingwithState之前文章中，有一个使用ValueState的例子：ValueState，而ValueState适用于拿到上一条记录，或者上一个窗口中的记录，即ValueStat

lmalds李麦迪·2020-07-02 09:37

实时流计算、Spark Streaming、Kafka、Redis、Exactly-once、实时去重

http://lxw1234.com/archives/2018/02/901.htm在实时流式计算中，最重要的是在任何情况下，消息不重复、不丢失，即Exactly-once。本文以Kafka–>SparkStreaming–>Redis为例，一方面说明一下如何做到Exactly-once，另一方面说明一下我是如何计算实时去重指标的。1.关于数据源数据源是文本格式的日志，由Nginx产生，存放于日

lin502·2020-07-02 08:40

非对称加密算法-RSA算法

目前各种主流计算机语言都支持RSA算法的实现2、java6支持RSA算法3、RSA算法可以用于数据加密和数字签名4、RSA算法相对于DES/AES等对称加密算法，他的速度要慢的多5、总原则：公钥加密，私钥解密

kongqz·2020-07-02 07:27

Flink 流式计算框架（学习一）

开源流计算引擎，兼顾性能和可靠性。

ljj234567·2020-07-02 06:46

Flink学习 - 5. Flink之DataSource

DataSourcesocket给定元素基于集合文件生成自定义DataSourceRichSourceFunctionDataSource简单来说，DataSource是指数据来源，也是其字面意思，Flink无论是实时流计算还是批计算都基于数据进行

Jerome丶子木·2020-07-02 05:10

大数据系列八：Flink实时流计算-时间窗口（Kafka to MySQL）

一.前言相对Storm&Spark来说，Flink在业界使用可能没前者那么广泛，从搜索引擎检索量&网络文章的质量可见一斑，相关概念介绍的比较混乱，官网文档相对也不是太清晰。二.概念Flink的集群部署模式：Standalone(最简单,缺点资源隔离做的不太好，存在deployjob不均衡),YARN（比较成熟，常用于生成环境）,Mesos,Docker。本文主要介绍Flinkonyarn,此模式j

henry.zhu·2020-07-01 23:33

代码传奇 | 中科院院士、图灵奖唯一华裔得主：姚期智

13年前，他毅然放弃了美国名校的终身教职，回到祖国，倾注所有精力，为中国创建世界一流计算机学科，培养拔尖创新人才。1967年，姚期智走进了哈佛大学，开始追随1

CSDN 程序人生·2020-07-01 21:58

flink自定义函数数据处理

1.自定义普通函数defmain(args:Array[String]):Unit={//初始化Flink的Streaming（流计算）上下文执行环境valstreamEnv:StreamExecutionEnvironment

Yuan_CSDF·2020-07-01 15:27

flink实战-实时计算平台通过api停止流任务

文章目录背景案例详解命令行停止api实现背景随着flink在流计算领域越来越火，很多公司基于flink搭建了自己的实时计算平台，用户可以在实时平台通过jar或者sql的方式来开发、上线、下线、运维flink

大数据技术实战·2020-07-01 07:35

Flink是如何实现exactly-once语义的

Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理.什么是状态呢?

JasonLee'blog·2020-07-01 06:38

Flink实时流计算入门系列（一）

阿里巴巴双11大屏在峰值期间可以承担每秒超过4.72亿次的访问，这是多高的访问量……为什么学习Flink？这几年大数据的飞速发展，出现了很多热门大数据计算框架，著名的Hadoop、Storm、Spark，他们都专注于各自的应用场景。Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个时候默默的

一点IT技术·2020-07-01 06:37

原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

Flink应用程序端到端的Exactly-Once语义示例Flink应用程序启动预提交阶段在Flink中实现两阶段提交Operator总结ApacheFlink自2017年12月发布的1.4.0版本开始，为流计算引入了一个重要的里程碑特性

weixin_34221112·2020-07-01 06:25

Flink 原理与实现：Aysnc I/O

流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是向数据库发送用户a的查询

thinktothings·2020-07-01 04:10

阿里流计算技术全揭秘

面对较去年增幅100%的数据洪峰，流计算技术可谓功不可没。今天，我们将揭开阿里流计算技术的神秘面纱。【嵌牛鼻子】：大数据数据可视化数据分析【嵌牛提问】：阿里流

我会飞james·2020-07-01 04:31

Apache Flink 流处理实例

ApacheFlink作为流计算引擎，非常适合处理流数据，并且，类似于HadoopMapReduce等框架，Flink提供了非常良好的抽象，使得业务逻辑代码编写非常简单。

shunqixing·2020-07-01 04:28

什么是Openstack

比较著名的有：Eucalptus、OpenNebula和Cloudstack他们的共同点：厂商不够强大，不够开放三、Opens

K1024·2020-07-01 04:00

Spark入门必读：核心概念介绍及常用RDD操作

Spark内部提供了丰富的开发库，集成了数据分析引擎SparkSQL、图计算框架GraphX、机器学习库MLlib、流计算引擎SparkStreaming。

大数据v·2020-06-30 19:54

什么是大数据「实时流计算」？深度解析它的4大应用及4个特点

在这样的背景下，实时流计算技术应运而生……作者：周爽来源：大数据DT（ID：hzdashuju）01大数据时代的新挑战：实时流计算社会需求和科技进步是螺旋式相互促进和提

大数据v·2020-06-30 19:11

日志和实时流计算处理

实际上我们发现，“日志”是“流”的另外一种说法，而日志（的处理）是流计算处理的核心。但是先等一下，到底什么是流计算处理？

OReillyData·2020-06-30 18:07

安防视频监控系统对网络带宽的要求及摄像机类型选择

按每个通道的720P双码流计算，单个码流需要约2Mbps码流，每个网络通道需要约4Mbps码流，如果一个码流为720P，另一个为1080P码流，每个通道码流将大于10M网络带宽。

英视特安防·2020-06-30 16:12

交叉熵、KL散度、极大似然估计与最大后验估计

YJanjo的回答熵和编码长度熵(Entropy),交叉熵(Cross-Entropy),KL-松散度(KLDivergence)详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解——nebulaf91

了不起的赵队·2020-06-30 15:01

CNN光流计算--FlowNet: Learning Optical Flow with Convolutional Networks

FlowNet:LearningOpticalFlowwithConvolutionalNetworksICCV2015Code:https://lmb.informatik.uni-freiburg.de/Publications/2015/DFIB15/本文使用CNN网络来计算光流，实现端对端训练，自己制作了个训练数据库FlyingChairsNetworkArchitectures因为最后的

O天涯海阁O·2020-06-30 13:51

sparkstreaming之实时数据流计算实例

最近在用sparkstreaming的技术来实现公司实时号码热度排序，学习了一下sparkstreaming的相关技术，今天主要要讲一个简单sparkstreaming实时数据流技术的一个示例，帮助大家更好的理解和学习sparkstreaming编程原理。在开始实例之前我们简单的了解一下sparkstreaming的原理：具体参见：http://m635674608.iteye.com/blog/

zfszhangyuan·2020-06-30 13:20

2019-02-21Facebook 证实正在研发增强现实眼镜

增强现实眼睛可能是Facebook拥有主流计算设备的机会，Facebook可以在这种设备上运行自己的软件，以往Facebook一直依赖苹果与谷歌制造和控制的智能手机。本月，Facebook在其8號楼

猫咪猫咪咪·2020-06-30 12:35

流式数据采集和计算（三）：Flume、Logstash、Filebeat调研报告

提到数据分析，大部分人首先想到的都是Hadoop、流计算、机器学习等数据加工的方式。从整个过程来看，数据分析其实包含了4个过程：采集，存储，计算，展示。

有腹肌的小蝌蚪_·2020-06-30 07:20

开源IaaS云平台的分析与比较

本文立足于使用开源IaaS云平台来开发公有云和私有云管理平台的角度，介绍和比较了Eucalyptus、OpenNebula、CloudStack和OpenStack等开源IaaS云平台。

yazhouren·2020-06-30 06:50

耶鲁大学教授汪小京：21世纪中国计算神经科学展望

即使今天最快的超级计算机（中国的Nebulae今年排名世界第二），在重要的智能方面也不及人脑。了解大脑的生物学原理，包括从遗传基础到神经网络机制，是21世纪最主要的科学挑战之一。

raxc·2020-06-30 05:14

Spark和Flink的对比(谁是下一代大数据流计算引擎?)

最近也是有很多同学问我spark和flink到底谁好,应该怎么选择,这也是近年来被问的最多的问题,也是经常被拿来比较的,今天就简单的做一个对比,我没有要挑起spark和flink之间的战争,社区间取长补短也好,互相抄袭也罢,我尽量站在一个公平的角度对待他们.下面会从多个方面对两者进行分析(当然有不全面),希望对大家有所帮助.篇幅较长,望大家耐心阅读.Spark简介Spark的历史比较悠久,已经发展

JasonLee'blog·2020-06-30 00:34

第一章、问答环节

3、程序的可移植性：绝大多数的Python程序不做任何改变即可在所有主流计算机平台上运行。4、标准库的支持：Python内置了众多预编译并可移植的功能模块，这

聽風踏雪·2020-06-29 22:37

分布式数据流计算系统的数据缓存技术综述

点击上方蓝字关注我们分布式数据流计算系统的数据缓存技术综述袁旭初,付国,毕继泽,张岩峰,聂铁铮,谷峪,鲍玉斌,于戈东北大学计算机科学与工程学院，辽宁沈阳110169论文引用格式：袁旭初,付国,毕继泽,张岩峰

唐名威·2020-06-29 16:00

大数据原理-流计算

概述静态数据：数据仓库Hive只读数据（批量计算）流数据：大量快速、变化实时（实时计算）三大计算框架hadoop：离线批量处理spark：实时查询storm：流计算概念实时获取数据分析获取价值价值随时间降低流计算处理流程数据实时采集

monster++·2020-06-29 16:52

Apache-Flink

Apache-Flink概述Flink是构建在数据流之上地有状态计算地流计算框架通常被人们理解为是第三代大数据分析方案第一代-Hadoop的MapReduce(计算)Storm流计算(2014.9)两套独立计算引擎使用难度大第二代

每天都超级可爱·2020-06-29 15:15

三分钟了解实时流式大数据分析

三分钟了解实时流式大数据分析大家好，今天为大家介绍华为云实时流计算服务CS，希望通过本次分享，大家能对华为云实时流计算服务的服务能力和业务场景有所了解。我们先了解一下实时流计算背景。

舒意从生·2020-06-29 14:46