流计算Flinkjava

infoQ 百度技术沙龙第25期回顾：海量数据处理技术解析

&开发主题HBase,MySQL,大数据,数据库设计,关系型数据库,云计算,Hadoop,数据库,百度分享到在4月7日由@百度主办、@InfoQ策划组织和实施的第25期百度技术沙龙活动上，来自百度数据流计算系统
zcmssd·2020-08-18 18:55

Kafka Stream 微服务领域流处理

流计算定义一般流计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去计算。同时，计算结果是持续输出的，也即计算结果在时间上也是无界的。
久七年·2020-08-18 13:45

Kafka 安装完整版

@羲凡——只为了更好的活着Kafka安装完整版Kafka是做流计算的好基友。
羲凡丞相·2020-08-18 12:06

SparkStreaming入门（DStream ,Receiver，input DStream)

流计算简介数据总体上分为静态数据和流数据。对静态数据和流数据的处理，对应着两种截然不同的计算模式：批量计算和实时计算。
提灯寻梦在南国·2020-08-18 12:15

Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理介绍

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取1、SparkStreaming简介1.1概述SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis以及TCPsockets，从数据源获取数据之后，可以
weixin_34194551·2020-08-18 12:25

hbase能否代替mysql

代志远早年就职网易研究院从事MapReduce与DFS系统的自主研发，后增加支付宝数据平台负责Hadoop与HBase体系的架构设计与二次研发，支付宝流计算与分布式搜索系统的设计和研发，后成为支付宝海量计算体系架构师兼支付宝三代架构成员
weixin_33828101·2020-08-18 12:06

Flink之状态之状态存储 state backends

流计算中可能有各种方式来保存状态：窗口操作使用了KV操作的函数继承了CheckpointedFunction的函数当开始做checkpointing的时候，状态会被持久化到checkpoints里来规避数据丢失和状态恢复
weixin_30445169·2020-08-18 12:41

Spark Streaming保证Exactly-Once语义

在流计算引擎如ApacheStorm、ApacheKafka(KafkaStreams)、ApacheSpark(SparkStreaming、SparkStructuredStreaming)、ApacheFlink
wangpei1949·2020-08-18 12:58

实时流计算 Flink - 实战与干货

Flink的基本架构图从整体的架构图中可以看到，对于完整的Flink来说，可以分为FlinkClient客户端，JobManager和TaskManager三个部分。而个组件之间的通信时通过AkkaFramework来完成的。FlinkClient客户端Flink客户端负责体提交/取消/更新任务到JobManager，而JobManager会对状态以及统计数据进行反馈。//setuptheexec
开朗的tony·2020-08-18 12:53

Spark Streaming之：二、基本输入源

SparkStreaming之：二、基本输入源文章目录SparkStreaming之：二、基本输入源一、文本文件输入源（数据实时采集）1.基本步骤2.Spark-shell操作3.IDEA程序4.spark提交流计算任务二
落落free·2020-08-18 11:21

Spark学习总结

为此，Spark项目包括机器学习（MLlib）、图算法（GraphX）、流计算（SparkStre
烈光·2020-08-18 11:03

十分钟sparkstreaming简单入门测试(2018-04-19)

idea编辑器安装下载spark安装包和scala的安装包添加环境变量idea中新建项目启动nc-lk启动流计算程序idea编辑器安装参考笔记：http://www.aboutyun.com/thread
自我再教育·2020-08-18 11:20

Apache Flink之程序的部署【章节二】

程序部署在Flink中多中操作方式对编写好的程序进行部署,下面对各种部署方式的介绍本地执⾏//1.创建流计算执⾏环境valenv=StreamExecutionEnvironment.createLocalEnvironment
::INVOKER·2020-08-18 11:31

kafka Streaming

Topology(拓扑)：表示一个流计算任务，等价于MapReduce中的job。不同的是MapReduce的job作业最终会停止，但是ToPology会一直运行在内存中，除非
fql123455·2020-08-18 11:28

基于案例一节课贯通Spark Streaming流计算框架的运行源码

在线动态计算分类最热门商品案例回顾与演示基于案例贯通SparkStreaming的运行源码使用SparkStreaming+SparkSQL来在线动态计算电商中不同类别中最热门的商品排名，例如手机这个类别下面最热门的三款手机。是用mysql数据库作为元数据库，使用Hive作为存储引擎，使用SparkSQL作为查询引擎。其中链接数据库代码如下：packagecom.dt.spark.com.dt
cary_1991·2020-08-18 10:49

基于kafka1.1.1版本流处理代码以及演示

KafkaStream定位是轻量级的流计算类库，所有功能放在Lib中实现，实现的程序不依赖单独执行环境。
qq_22796957·2020-08-18 10:30

电网优化系列知识整理（一）——直流潮流计算

这样一来计算速度加快，但计算的准确度有所降低，本方法适用于对潮流计算准确度要求不高的计算场景。
Franxx·2020-08-18 02:11

Flink 是如何做到在 Checkpoint 恢复过程中没有任何数据的丢失和数据的冗余？来保证精准计 算的？

这其中原因是Flink利用了一套非常经典的Chandy-Lamport算法，它的核心思想是把这个流计算看成一个流式的拓扑，定期从这个拓扑的头部Source点开始插入特殊的Barriers，从上游开始不断的向下游广播这个
华山论键·2020-08-17 17:35

基于PaddlePaddle复现Representation Flow之论文阅读笔记

传统的光流计算方法效率低，且传统光流图不一定能有效表征视频帧中的动作信息。2。已经存在的光流计算网络只能接收传统的RGB帧。提出的方案：一种称为光流表示层的网络，实现了TV-L1光流计算方法。
wienparis·2020-08-17 04:11

基于FDTD的雷达散射截面积（RCS）分析

电磁流计算如下表：外推长方体表面切向场分量Jn=en×H
congcongnanian1221·2020-08-16 18:53

Flink：动态表上的连续查询

由于这些特性，Flink能够近乎实时地从大量输入流计算确切的和确定性的结
大数据星球-浪尖·2020-08-16 14:04

大数据系统-Spark生态系统

其核心框架是Spark，同时涵盖支持结构化数据SQL查询与分析的查询引擎SparkSQL，提供机器学习功能的系统MLBase及底层的分布式机器学习库MLlib，并行图计算框架GraphX，流计算框架SparkStreaming
gao8658·2020-08-15 07:09

Spark 生态系统组件

引言：随着大数据技术的发展，实时流计算、机器学习、图计算等领域成为较热的研究方向，而Spark作为大数据处理的“利器”有着较为成熟的生态圈，能够一站式解决类似场景的问题。
博文视点·2020-08-15 07:18

PostgreSQL\GPDB 多维数据透视典型案例分享

标签PostgreSQL,数据透视,实时,物化,预计算,多维分析,流计算,增量合并,调度,HLL背景典型的电商类数据透视业务，透视的语料可能会包含一些用户的标签数据：例如包含品牌的ID，销售区域的ID，
weixin_34377065·2020-08-14 09:23

PostgreSQL\HybridDB for PG 毫秒级多维数据透视 案例分享

阅读原文请点击摘要：标签PostgreSQL,数据透视,实时,物化,预计算,多维分析,流计算,增量合并,调度,HLL背景典型的电商类数据透视业务，透视的语料可能会包含一些用户的标签数据：例如包含品牌的ID
qq_35267530·2020-08-14 09:49

【Flink】流计算框架Flink与Storm的性能对比

1.背景ApacheFlink和ApacheStorm是当前业界广泛使用的两个分布式实时计算框架。其中ApacheStorm(以下简称“Storm”)在美团点评实时计算业务中已有较为成熟的运用(可参考Storm的可靠性保证测试)，有管理平台、常用API和相应的文档，大量实时作业基于Storm构建。而ApacheFlink(以下简称“Flink”)在近期倍受关注，具有高吞吐、低延迟、高可靠和精确计算
zkq_1986·2020-08-14 00:42

Spark Streaming 一文读懂

SparkStreaming：流计算框架以往，批处理和流计算被看作大数据系统的两个方面。
小晓酱手记·2020-08-13 10:34

Kafka VS RocketMQ VS RabbitMQ

例如：订单，交易，充值，流计算，消息推送，日志流式处理，binglog分发等可靠消息传输。和RocketMQ类似。
weixin_33708432·2020-08-12 13:27

Flink SQL 性能调优--MiniBatch提升吞吐率

Flink在设计和实现流计算算子时，把“面向状态编程”作为第一准则。因为在流计算中，为了保证状态（State）的一致性，需要将状态数据存储在状态后端（StateBackend），由框架来做分布式快照。
zfylin·2020-08-12 10:07

Apache Flink DataStreamAPI之 Windows（章节五）

作者：jiangzz电话：15652034180微信：jiangzz_wx微信公众账号：jiangzz_wy窗口计算Windows是流计算的核心。
麦田里的守望者··2020-08-12 00:52

java8并行流计算

1.自定义forkJoin池try{Longstart88=System.currentTimeMillis();ForkJoinPoolforkJoinPool=newForkJoinPool(1000);forkJoinPool.submit(()->{channelResultSeries.parallelStream().forEach(series->{Stringchannelid=s
心之所系gal·2020-08-11 18:08

杠上Spark、Flink？Kafka为何转型流数据平台？

但是随着越来越多的企业应用开始采纳流计算作为数据的计算引擎，以及基础架构的容器化、云化和无服务器化，这些消息系统也随之发生变化，逐步向流数据平台演进。
LinkTime_Cloud·2020-08-11 11:36

杠上Spark、Flink？Kafka为何转型流数据平台？

但是随着越来越多的企业应用开始采纳流计算作为数据的计算引擎，以及基础架构的容器化、云化和无服务器化，这些消息系统也随之发生变化，逐步向流数据平台演进。在这篇文章中，笔者根据自己
LinkTime_Cloud·2020-08-11 11:36

Flink实现WordCount（实操详细步骤）

本文使用Flink的两种方式实现WordCount基于流计算基于批计算文章目录1.Idea新建Maven项目并配置以下依赖2.实现代码及详细注释2.1Flink基于流计算实现WordCount2.2Flink
bboy枫亭·2020-08-11 05:05

实时流处理学习（一）

MapReduce适合离线批处理实时流处理产生背景：时效性高数据量大实时计算与流计算对比：实时计算：延迟性低流式计算：不断产生的数据流上计算==综合==>实时流式计算离线计算与实时计算的对比：1)数据来源离线
无影风Victorz·2020-08-10 22:09

11 Confluent_Kafka权威指南 第十一章：流计算

文章目录CHAPTER10StreamProcessing流式计算WhatIsStreamProcessing?流处理是什么Stream-ProcessingConcepts流处理的概念Time时间MindtheTimeZone注意时区State状态Stream-TableDualityTimeWindows时间窗口Stream-ProcessingDesignPatterns流处理设计模式Sin
冬天里的懒猫·2020-08-10 11:02

校招准备-大数据工具

学习计划1:spark,spark数据处理,预处理,机器学习,分布式机器学习算法等相关学习计划2:hadoop系列hbase,pig,yarn,HDFS流计算学习学习计划3:ETL相关知识学习未完待续-
weixin_30888413·2020-08-10 07:18

JUC并发编程-函数式接口与Stream流计算

函数式接口定义函数式接口是jdk1.8之后出来的，在java.util.function下包。所谓函数式接口的定义是：接口内只定义一个抽象方法，则该接口称为函数式接口。函数式接口思想：“函数式编程”是一种编程的范式和编程的方法论(programmingparadigm)，它属于结构化编程的一种，主要的思想是把运算的过程尽量通过一组嵌套的函数来实现。优点：用更少的代码实现更多的功能，以提高开发效率四
zhouyunjian·2020-08-10 05:14

流计算模式的使用

;系统地将迭代操作方式表示为流过程(define(sqrt-streamx)(defineguesses(cons-stream1.0(stream-map(lambda(guess)(/(+guess(/xguess))2))guesses)))guesses)(for-each(lambda(x)(newline)(displayx))(show-n(sqrt-stream2)10));(de
算法导论我去·2020-08-10 01:44

spark streaming读kafka写elasticsearch

sparkstreaming作为当下依然火热的流计算引擎，对于kafka和elasticsearch都有很好的api支持，以下是笔者在测试环境中的一个数据从kafka到es案例。
极伪·2020-08-09 18:00

函数式接口与Stream流计算

一：函数型接口函数式接口泛指那些在有且仅有一个抽象方法的接口，其标志特点是源码中含有@FunctionalInterface注解。名称定位Function函数型接口Predicate断定型接口Consumer消费型接口Supplier供给型接口1.函数型接口（Function）Function,T是一个传入的参数类型，R是一个返回的参数类型，函数式接口只有一个抽象方法，在这里是apply，appl
Deeeelete·2020-08-09 17:16

使用Spring Boot Starter开发RocketMQ

RocketMQ最早是阿里巴巴开源的MQ中间件，在阿里集团被广泛应用在订单，交易，充值，流计算，消息推送，日志流式处理，binglog分发等场景。
rhwayfunn·2020-08-09 12:23

牛顿-拉夫逊法进行潮流计算matlab源程序

%本程序的功能是用牛顿-拉夫逊法进行潮流计算n=input('请输入节点数:n=');nl=input('请输入支路数:nl=');isb=input('请输入平衡母线节电号:isb=');pr=input
文宇肃然·2020-08-09 02:58

推荐Python开发工具

目前动态语言的发展速度是很快的，该类语言有着低学习成本，快速开发，跨平台的优点，不过在优点的同时也有不少的缺点，最主要的就是速度不是很快，不过目前的主流计算机不会有感觉，另一个方面，需要强调的是动态语言
rainbowbaby·2020-08-08 20:01

大数据总结【第十章：流计算】

【单选题】流计算秉承一个基本理念，即数据的价值随着时间的流逝而（），如用户点击流。
计忆芳华·2020-08-08 20:44

* RabbitMQ 集成springboot 与 异步解耦实战

中消息消费权衡及消息属性RabbitMQ异步处理实战RabbitMQ管理与高可用集群KafkaKafka入门，生产者和消费者实战Kafka高级进阶，消费者分区再均衡深入理解Kafka的内部机制Kafka集群及流计算实战
心之所往、·2020-08-08 20:23

【深度学习】卷积神经网络

欢迎交流计算机视觉如果我们想要输入的图片像素为1000×1000×3，则此时神经网络特征维度为3百万，W[1]W^{[1]}W[1]采用全连接时，维度更夸张。我们使用卷积运算来解决这个问题。
wtl_bupt·2020-08-08 10:57

Flink源码剖析：Flink Async I/O的三种模式

3.2.2消费3.3基于processtime的unordered模式3.3.1生产3.3.2消费3.4基于eventTime的unordered模式3.4.1生产3.4.2消费4.总结1.维表join流计算系统中经常需要与外部系统进行交互
daijiguo·2020-08-07 23:59

一个高性能交互式查询与分析引擎的设计思路

SQL-on-Hadoop方案（Hive、SparkSQL、Impala）流计算方案（Storm、SparkStreaming）全文检索方案（Solr、ElasticSearch）最优方案（一个万亿数据秒级查询与分析引
vv8086·2020-08-07 19:38

实时流计算Spark Streaming原理介绍

1、SparkStreaming简介1.1概述SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis以及TCPsockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以
mishidemudong·2020-08-07 18:58
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他