流计算

大数据平台化的优点

很明显就是业务方不再需要自己去维护自己的小机群，也不需要过多的去关心流计算引擎相关的一些问题，业务方只需要专注于业务即可，这显然能够降低业务方的成本。
Boss_Shen·2020-07-08 05:26

2018-10-31-Flink(0)——基于flink的流计算

最近一段时间负责公司的流计算平台，将此中感悟和一些学习总结汇聚成文，陆续发布。1.流计算架构先说说流计算架构。
此星爷非彼星爷·2020-07-07 15:35

storm详解：第一章 storm分布式单词计数

通过本章的学习，你将了解到设计一个复杂流计算系统所学需要的多种结构，技术和模式。我们将首先介绍Storm的数据结构，接下来实现一个完全成熟的Storm
五柳-先生·2020-07-07 13:19

S4分布式流计算引擎

背景最近花了点时间研究了下分布式计算这一块的内容。领导给的第一个任务，就是学习下S4和GridGain。花了几天的时间把s4的源码看了下，把自己的理解和学习的内容做一个记录。下一篇会是GridGain的分享学习s4的论文：S4:DistributedStreamComputingPlatforms4的官网：http://s4.io/s4是什么？1.s4的全称：SimpleScalableStrea
iteye_7245·2020-07-07 11:01

无人机光流模块使用技巧

图1显示的是湖南优象LC-302光流模块的功能框图，光流摄像头拍摄无人机垂直向下的画面，输入光流主板，主板通过光流悬停智能算法进行光流计算，从而获取无人机位移信息，并转化为悬停控制指令，悬停控制指令通过
weixin_45035303·2020-07-06 06:36

第三章 短路电流计算

第三章的内容包括：（1）3.1短路概述；（2）3.2（无限大功率电源供电系统三相短路分析）——3.2.3三相短路的有关物理量（3）3.3（无限大功率电源供电系统三相短路电流的计算）——3.3.1标幺值；——3.3.2短路回路元件的标幺值阻抗；——3.3.3三相短路电流的计算；——3.3.5两相短路电流的计算。3.1短路概述三相交流系统的短路种类主要有对称短路和不对称短路，不对称短路有三相短路；对称
李先森Jonce·2020-07-06 03:27

实时流计算与踩过的坑

基于有一定实时流计算基础的情况，下面着重介绍设计过程中应该注意的地方。
kkzzzzzz·2020-07-06 02:37

数加平台如何通过Serverless 架构实现普惠大数据

大数据业务本来就是最典型的计算业务，从计算的场景上来说，涵盖了离线批量计算、实时流计算、在线实时计算等，在很多情况下还需要把这些计算能力组合起来才能满足需求。
weixin_34384915·2020-07-06 01:12

以物流案例看基于表格存储实时数据流的serverless计算

相较于传统的数据库+流计算+应用服务器方案，使用基于表格存储实时数据流的Serverless计算方案有自动弹性伸缩及开发简单、部署简单等优点。
weixin_33969116·2020-07-05 23:37

2017云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》之《流数据处理：通过StreamSQL分析视频日志》篇...

主要帮助现场学员熟悉并掌握阿里云流计算StreamCompute的操作和使用。实验涉及大数据产品阿里云流计算StreamCompute前提准备确保已经从云中
weixin_33812433·2020-07-05 23:19

GRPC

gRPC是Google开源的RPC框架和库，已支持主流计算机语言。底层通信采用gR
zou_es·2020-07-05 17:41

光流optical flow的理解和求法

这就存在很多的光流计算方法了。1981
C-PENG·2020-07-05 17:03

初识 Flink

对于Spark-Streaming的流计算本质上还是批
花未全开*月未圆·2020-07-05 13:00

SparkStreaming应用解析(一)

SparkStreaming的入口StreamingContext牛刀小试首先要在linux上安装netcat书写wordcount二、入门1.DStream的输入基本数据源高级数据源一、SparkStreaming是什么实时流计算
2NaCl·2020-07-05 08:16

FlowNet: Learning Optical Flow with Convolutional Networks论文解读和TensorFlow源码解读

TensorFlow源码解读论文解读这是一篇2015年的iccv，论文地址：https://arxiv.org/abs/1504.06852摘要卷积神经网络虽然在计算机视觉的各项任务中取得成功，但是光流计算还没有在其中
咆哮的阿杰·2020-07-05 05:41

阿里流计算技术全揭秘

面对较去年增幅100%的数据洪峰，流计算技术可谓功不可没。今天，我们将揭开阿里流计算技术的神秘面纱。我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！
鬼泣天下第一·2020-07-05 04:36

物联网低功耗设备电池寿命计算时间.md

1.应用耗电计算a.休眠电流计算：(以年为单位)2uA*365天*24小时*3600秒=63072000uAS=17.52mAHb.温度采集电流计算：（以年为单位）20mA*2.5ms*(365天*24
梁峰的个人博客·2020-07-04 21:08

9.数电复刻 之 CMOS反相器+其他类型CMOS门电路

一个导通时因为有一个MOS管完全截止，所以电流很小，即功耗很小2.动态：即两个MOS管状态变化的过程(从一个稳定工作状态到另一个稳定状态)功耗分为两部分1.PC：负载电容充放电2.PL：BC段(PN同时导通)时，产生电流计算
遗忘是原罪·2020-07-04 20:53

Spark大数据分析框架的核心是什么？

Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、SparkSQL数据检索语言、Tachyon文件系统
大数据在说话·2020-07-04 14:45

入门流计算——Storm

本文介绍流计算的概念、什么是Storm、Storm的安装以及如何运行Storm自带的单词统计测试例子。
阿坨·2020-07-04 11:21

【流式计算系列day3】Flink的Status是怎么实现的？

实际问题在流计算场景中，数据会源源不断的流入ApacheFlink系统，每条数据进入ApacheFlink系统都会触发计算。
软件真理与光·2020-07-04 08:17

点开看看，教你轻松搭起flink流计算框架

https://flink.apache.org/zh/downloads.html官网下载包，下载最新版，发送到虚拟机中并解压，然后使用命令./bin/start-cluster.sh#StartFlink启动后登录ip:8081可看到控制台DataSources是什么呢？就字面意思其实就可以知道：数据来源。Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可
Dyman_·2020-07-04 05:10

Ignite 架构全面解析

1.1.1.特性一览可以将Ignite视为一个独立的、易于集成的内存组件的集合，目的是改进应用程序的性能和可扩展性，部分组件包括：高级的集群化数据网格（JCache）流计算和CEP计算网格
让优秀成为你的习惯·2020-07-04 03:58

美团点评基于 Flink 的实时数仓建设实践

此前我们美团技术博客发布过一篇文章《流计算框架Flink与Storm的性能对比》，对Flink和Storm俩个引擎的计算性能进行了比较。本文主要阐述使用Flink在实际数据生产上的经验。
weiqing687·2020-07-02 17:01

阿里云流计算使用教程

产品特点相较于其他流计算产品，阿里云流计算提供一些极具竞争力的产品优势，用户可以充分利用阿里云流计算提供的产品优势，方便快捷的解决自身业务实时化大数据分析的问题。
阿里云大学百科·2020-07-02 14:49

第三代大数据处理方案Flink

ApacheFlinkFlink作为第三代流计算引擎，同采取了DAGStage拆分的思想构建了存粹的流计算框架。被人们称为第三代大数据处理方案。该计算框架和Spark设计理念出发点恰好相反。
鹏飞九万里·2020-07-02 14:10

Flink的数据流输入，转换，输出（章节二）

Flink的使用（章节二）程序部署本地执行//1.创建流计算执⾏环境valenv=StreamExecutionEnvironment.createLocalEnvironment(3)//指定代码并行度
策马出凉州·2020-07-02 14:05

Flink 中 Table API & SQL 介绍

为了满足流计算（实时计算）和批计算（离线计算）中的各种场景需求，同时降低用户的使用门槛，Flink提
扛麻袋的少年·2020-07-02 10:32

Flink 原理与实现：Table & SQL API

wuchong.me/blog/2017/03/30/flink-internals-table-and-sql-api/Flink已经拥有了强大的DataStream/DataSetAPI，可以基本满足流计算和批计算中的所有需求
尔笑惹千愁·2020-07-02 10:55

Flink流计算编程--如何实现基于KEY/VALUE的List State

1、ListState简介Flink提供了3种基于KEY/VALUE的state的实现方式，分别是：ValueStateListStateReducingState官方文档中关于state的使用可以参考这里：WorkingwithState之前文章中，有一个使用ValueState的例子：ValueState，而ValueState适用于拿到上一条记录，或者上一个窗口中的记录，即ValueStat
lmalds李麦迪·2020-07-02 09:37

实时流计算、Spark Streaming、Kafka、Redis、Exactly-once、实时去重

http://lxw1234.com/archives/2018/02/901.htm在实时流式计算中，最重要的是在任何情况下，消息不重复、不丢失，即Exactly-once。本文以Kafka–>SparkStreaming–>Redis为例，一方面说明一下如何做到Exactly-once，另一方面说明一下我是如何计算实时去重指标的。1.关于数据源数据源是文本格式的日志，由Nginx产生，存放于日
lin502·2020-07-02 08:40

非对称加密算法-RSA算法

目前各种主流计算机语言都支持RSA算法的实现2、java6支持RSA算法3、RSA算法可以用于数据加密和数字签名4、RSA算法相对于DES/AES等对称加密算法，他的速度要慢的多5、总原则：公钥加密，私钥解密
kongqz·2020-07-02 07:27

Flink 流式计算框架（学习一）

开源流计算引擎，兼顾性能和可靠性。
ljj234567·2020-07-02 06:46

Flink学习 - 5. Flink之DataSource

DataSourcesocket给定元素基于集合文件生成自定义DataSourceRichSourceFunctionDataSource简单来说，DataSource是指数据来源，也是其字面意思，Flink无论是实时流计算还是批计算都基于数据进行
Jerome丶子木·2020-07-02 05:10

大数据系列八：Flink实时流计算-时间窗口（Kafka to MySQL）

一.前言相对Storm&Spark来说，Flink在业界使用可能没前者那么广泛，从搜索引擎检索量&网络文章的质量可见一斑，相关概念介绍的比较混乱，官网文档相对也不是太清晰。二.概念Flink的集群部署模式：Standalone(最简单,缺点资源隔离做的不太好，存在deployjob不均衡),YARN（比较成熟，常用于生成环境）,Mesos,Docker。本文主要介绍Flinkonyarn,此模式j
henry.zhu·2020-07-01 23:33

代码传奇 | 中科院院士、图灵奖唯一华裔得主：姚期智

13年前，他毅然放弃了美国名校的终身教职，回到祖国，倾注所有精力，为中国创建世界一流计算机学科，培养拔尖创新人才。1967年，姚期智走进了哈佛大学，开始追随1
CSDN 程序人生·2020-07-01 21:58

flink自定义函数数据处理

1.自定义普通函数defmain(args:Array[String]):Unit={//初始化Flink的Streaming（流计算）上下文执行环境valstreamEnv:StreamExecutionEnvironment
Yuan_CSDF·2020-07-01 15:27

flink实战-实时计算平台通过api停止流任务

文章目录背景案例详解命令行停止api实现背景随着flink在流计算领域越来越火，很多公司基于flink搭建了自己的实时计算平台，用户可以在实时平台通过jar或者sql的方式来开发、上线、下线、运维flink
大数据技术实战·2020-07-01 07:35

Flink是如何实现exactly-once语义的

Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理.什么是状态呢?
JasonLee'blog·2020-07-01 06:38

Flink实时流计算入门系列（一）

阿里巴巴双11大屏在峰值期间可以承担每秒超过4.72亿次的访问，这是多高的访问量……为什么学习Flink？这几年大数据的飞速发展，出现了很多热门大数据计算框架，著名的Hadoop、Storm、Spark，他们都专注于各自的应用场景。Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个时候默默的
一点IT技术·2020-07-01 06:37

原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

Flink应用程序端到端的Exactly-Once语义示例Flink应用程序启动预提交阶段在Flink中实现两阶段提交Operator总结ApacheFlink自2017年12月发布的1.4.0版本开始，为流计算引入了一个重要的里程碑特性
weixin_34221112·2020-07-01 06:25

Flink 原理与实现：Aysnc I/O

流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是向数据库发送用户a的查询
thinktothings·2020-07-01 04:10

阿里流计算技术全揭秘

面对较去年增幅100%的数据洪峰，流计算技术可谓功不可没。今天，我们将揭开阿里流计算技术的神秘面纱。【嵌牛鼻子】：大数据数据可视化数据分析【嵌牛提问】：阿里流
我会飞james·2020-07-01 04:31

Apache Flink 流处理实例

ApacheFlink作为流计算引擎，非常适合处理流数据，并且，类似于HadoopMapReduce等框架，Flink提供了非常良好的抽象，使得业务逻辑代码编写非常简单。
shunqixing·2020-07-01 04:28

Spark入门必读：核心概念介绍及常用RDD操作

Spark内部提供了丰富的开发库，集成了数据分析引擎SparkSQL、图计算框架GraphX、机器学习库MLlib、流计算引擎SparkStreaming。
大数据v·2020-06-30 19:54

什么是大数据「实时流计算」？深度解析它的4大应用及4个特点

在这样的背景下，实时流计算技术应运而生……作者：周爽来源：大数据DT（ID：hzdashuju）01大数据时代的新挑战：实时流计算社会需求和科技进步是螺旋式相互促进和提
大数据v·2020-06-30 19:11

日志和实时流计算处理

实际上我们发现，“日志”是“流”的另外一种说法，而日志（的处理）是流计算处理的核心。但是先等一下，到底什么是流计算处理？
OReillyData·2020-06-30 18:07

安防视频监控系统对网络带宽的要求及摄像机类型选择

按每个通道的720P双码流计算，单个码流需要约2Mbps码流，每个网络通道需要约4Mbps码流，如果一个码流为720P，另一个为1080P码流，每个通道码流将大于10M网络带宽。
英视特安防·2020-06-30 16:12

CNN光流计算--FlowNet: Learning Optical Flow with Convolutional Networks

FlowNet:LearningOpticalFlowwithConvolutionalNetworksICCV2015Code:https://lmb.informatik.uni-freiburg.de/Publications/2015/DFIB15/本文使用CNN网络来计算光流，实现端对端训练，自己制作了个训练数据库FlyingChairsNetworkArchitectures因为最后的
O天涯海阁O·2020-06-30 13:51

sparkstreaming之实时数据流计算实例

最近在用sparkstreaming的技术来实现公司实时号码热度排序，学习了一下sparkstreaming的相关技术，今天主要要讲一个简单sparkstreaming实时数据流技术的一个示例，帮助大家更好的理解和学习sparkstreaming编程原理。在开始实例之前我们简单的了解一下sparkstreaming的原理：具体参见：http://m635674608.iteye.com/blog/
zfszhangyuan·2020-06-30 13:20
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他