流式计算

【开发总结】Linux下获取物理网卡带宽最大值

背景：现阶段手头的一个自研的流式计算平台在完善监控体系，对机器资源负载、机器上任务资源消耗进行统计和上报，这里对Linux下获取网卡上限的方法进行梳理。
blue_smile·2020-06-21 04:38

分布式系统面试准备

当然了，大家都不是做底层的分布式系统，比如分布式存储系统，hadoophdfs，分布式计算系统，hadoopmapreduce，spark，分布式流式计算系统，storm。
沈安心·2020-06-21 04:19

金融科技&大数据产品推荐：易鑫大数据风控平台

易鑫大数据风控平台综合了机器学习、网络爬虫、指标体系、规则引擎、图数据库、流式计算等核心技术，整合线上线下多维度数据，可支持反欺诈、信用评分、贷前审批、贷中监控、贷后追踪等全方位的金融风控场景。
数据猿·2020-06-20 23:44

Flink-1.10中的StreamingFileSink相关特性

Flink流式计算的核心概念，就是将数据从Source输入流一个个传递给Operator进行链式处理，最后交给Sink输出流的过程。
王知无-大数据技术与架构·2020-06-04 08:00

一文了解Flink State Backends

当我们使用Flink进行流式计算时，通常会产生各种形式的中间结果，我们称之为State。有状态产生，就必然涉及到状态的存储，那么Flink中定义了哪些形式的状态存储呢，下面一一给大家介绍一下。
MindForward·2020-06-04 01:12

JAVA流式计算

JAVA流式计算流的简单介绍Java8中，引入了流（Stream）的概念，利用提供的StreamAPI，我们可以方便的操作集合数据，这种方式很类似于使用SQL对数据库的操作。
sean·2020-06-01 19:09

Storm核心组件、编程模型

Storm简介storm是用来做实时计算的框架，所以介绍storm之前需要知道什么是流式计算。
weare_b646·2020-05-29 12:50

Kafka核心API——Connect API

KafkaConnect基本概念：KafkaConnect实际上是Kafka流式计算的一部分KafkaConnect主要
ZeroOne01·2020-05-26 17:11

大数据平台之初体验 | 网易猛犸 | 数据仓库、调度系统、数据质量、离线与实时计算应有尽有。

支持HDFS、Hbase、Kudu等从GB到PB级别的存储方案，支持Hive和MapReduce等批量计算、Spark内存计算、Kylin多维分析、Impala和流式计算（开源SparkStreaming
程序员小陶·2020-05-26 09:20

谈谈三种海量数据实时去重方案（w/ Flink）

除了统计UV等传统用法之外，去重的意义更在于消除不可靠数据源产生的脏数据——即重复上报数据或重复投递数据的影响，使流式计算产生的结果更加准确。
LittleMagic·2020-05-21 17:27

Java8 Stream API 详细使用方法与操作技巧指南

Stream翻译过来是“流”，突然想到的是大数据处理有个流式计算的概念，数据通过管道经过一个个处理器（Handler）进行筛选，聚合，而且流都具有向量性，强调的是对数据的计算处理，而集合强调的是数据集。
码农小胖哥·2020-05-20 10:15

详解Flink中的Window

1Window1.1Window概述流式计算是一种用于处理无限数据集的数据处理引擎，而无线数据集是指一种不断增长的无限的数据集，而Window是一种将无限数据集切割为有限块进行处理的手段。
huahuaxiaoshao·2020-05-12 17:45

实时流式计算系统中的几个陷阱

随着诸如ApacheFlink，ApacheSpark，ApacheStorm之类的开源框架以及诸如GoogleDataflow之类的云框架的增多，创建实时数据处理作业变得非常容易。这些API定义明确，并且诸如Map-Reduce之类的标准概念在所有框架中都遵循几乎相似的语义。但是，直到今天，实时数据处理领域的开发人员都在为该领域的某些特性而苦苦挣扎。因此，他们在不知不觉中创建了一条路径，该路径导
xiangwang2206·2020-05-08 09:44

实时流式计算系统中的几个陷阱

随着诸如ApacheFlink，ApacheSpark，ApacheStorm之类的开源框架以及诸如GoogleDataflow之类的云框架的增多，创建实时数据处理作业变得非常容易。这些API定义明确，并且诸如Map-Reduce之类的标准概念在所有框架中都遵循几乎相似的语义。但是，直到今天，实时数据处理领域的开发人员都在为该领域的某些特性而苦苦挣扎。因此，他们在不知不觉中创建了一条路径，该路径导
独孤风·2020-05-08 09:00

Spark之SparkContext源码分析

进行流式计算时使用的StreamingContext以及进行SQL计算时使用的SQLContext也会关联一个现有的Spark
云山之巅·2020-04-14 18:00

体系结构方案 - 大清单报表

最佳解决方案:零编码，引入流式计算实现大清单报表的呈现！去乾学院看集算器是怎么实现
小黄鸭呀·2020-04-10 16:26

Kuiper与EdgeX Foundry集成实践

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。
sjyu_eadd·2020-04-10 10:15

Kafka0.8集群部署与shell命令行操作

1、kafka简介在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
__豆约翰__·2020-04-09 21:34

性能提升约7倍！Apache Flink 与 Apache Hive 的集成

导读：随着Flink在流式计算的应用场景逐渐成熟和流行，如果Flink能同时把批量计算的应用场景处理好，就能减少用户在使用Flink时开发和维护的成本,并且能够丰富Flink的生态。
阿里云云栖号·2020-04-06 18:14

spark基础学习（二）

SparkStreaming是用来对实时数据进行流式计算的组件。本章节主要从SparkStreaming的原理及其核心DStream两个大方面来介绍SparkStreaming的运行机制。
Pt_Chen·2020-04-06 15:43

【图文教程】五分钟内搞一个双十一数据大屏_实时看到自己的业务访问情况

说起实时大屏，都会想到最典型的流式计算架构：数据采集：将来自各源头数据实时采集中间存储：利用类KafkaQueue进行生产系统和消费系统解耦实时计算：环节中最重要环节，订阅实时数据，通过计算规则对窗口中数据进行运算结果存储
鬼泣天下第一·2020-04-06 10:50

Spark从入门到精通1:spark概述

Spark包含了大数据领域常见的各种计算框架：比如SparkCore用于离线计算，SparkSQL用于交互式查询，SparkStreaming用于实时流式计算，SparkMLlib用于机器学习，SparkGraphX
勇于自信·2020-04-03 16:55

大数据学习技术指南

一、大数据通用处理平台1、Spark2、Flink3、Hadoop二、流式计算1、Storm/JStorm2、SparkStreaming3、Flink三、分布式存储1、HDFS四、资源调度1、Yarn2
lmem·2020-04-02 15:05

Structured Streaming 介绍(一)

StructuredStreaming是基于SparkSQL引擎的流式计算引擎，将流式计算应用于DataFrame.随着数据不断地到达，Sp
Cherish_Qiang·2020-03-31 03:23

流式计算storm核心组件、特性、案例

storm简介Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据。Storm简单，可以使用任何编程语言。storm核心组件1.Nimbus相当于storm的master,负责资源分配和任务调度,一个普通的storm集群只有一个nimbus(京东是对nimbus做了集群,加入了选举等概念,防
IT程序员·2020-03-29 20:04

Spark Streaming使用场景及优化总结

SparkStreaming适合场景Storm流式计算（扶梯）优点：数据延迟度很低，Storm的事务机制要比SparkStreaming的事务机制要完善（什么是事务机制？
分裂四人组·2020-03-29 17:13

无编码利用协同算法实现个性化推荐

之后将模型加载到流式计算中，对实时URL的访问用户进行内容推荐。整个流程只需要你写写SQL（做解析），弄弄配置就搞定。
祝威廉·2020-03-25 21:46

storm架构和安装

实时数据处理的两种形式ContinuousStreaming持续流式计算：单独处理每条记录，并在记录出现时立即处理。Storm
心_的方向·2020-03-24 12:44

JStorm—实时流式计算框架入门介绍

JStorm介绍  JStorm是参考storm基于Java语言重写的实时流式计算系统框架，做了很多改进。如解决了之前的Stormnimbus节点的单点问题。  
Andya_net·2020-03-20 16:00

Spark Streaming-介绍

它允许用户使用一套和批处理非常接近的API来编写流式计算应用，这样就可以大量重用批处理应用的技术甚至代码。
raincoffee·2020-03-20 07:16

Lan给您分享的岗位信息

1.摩拜（1）数据平台基础组件研发组负责人工作职责：1、负责Mobike数据平台的研发工作工作；2、负责OLAP引擎、实时数据仓库系统架构、流式计算系统、调度系统等一项或多项业务研发工作3、支持BI团队
TonyLan·2020-03-18 14:29

spark管理平台支持多用户

问题背景笔者所在的部门属于公司的大数据架构部，现主要参与公司流式计算平台的推广，个人负责spark的平台维护、特性定制、线上问题修改等。为了方便业务用户提交spark应用。
liujianhuiouc·2020-03-16 16:08

StreamingPro 简化流式计算配置

前言前些天可以让批处理的配置变得更优雅StreamingPro支持多输入，多输出配置，现在流式计算也支持相同的配置方式了。
祝威廉·2020-03-14 22:02

数据天生就是流式的

而随着流式计算慢慢成熟与稳定，数据必然如河水一般，天生就是流式的。题外话好久没写文章，发现写长文太辛苦了，所以慢慢往短文开始靠。这次算是第一个实践。
祝威廉·2020-03-14 08:16

消息中间件的 "Style"

前情提要现如今，消息中间件已经在很多公司的业务中被广泛使用：业务解耦，消峰填谷，对接大数据，流式计算等等各种玩法层出不穷。
扫帚的影子·2020-03-08 09:02

流式计算常见模块用法说明

说明StreamingPro有非常多的模块可以直接在配置文件中使用，本文主要针对流式计算中涉及到的模块。
祝威廉·2020-03-04 20:39

kafka消息快的原因

大家都知道技术选型上，kafka适合做大数据收集，比如kafka+storm流式计算。kafka被设计的特点是快，那原因是什么昵？
联想桥南·2020-03-04 00:47

Spark导论

允许用户程序将数据加载到集群内存中用于反复查询，非常适用于大数据和机器学习相比HadoopMapReduce:Spark速度更快；其次，Spark丰富的API带来了更强大的易用性；最后，Spark不单单支持传统批处理应用，更支持交互式查询、流式计算
Spike_3154·2020-03-01 11:09

大数据监控平台之解决方案

大数据计算平台大数据采集平台大数据数仓建设大数据olap平台大数据流式计算平台大数据业务系统（web_serverservice_api）。。。。以上系统都需要一个良好的数据监控平台。
星星之火在心中·2020-02-29 14:17

利用 Spark DataSource API 实现Rest数据源

通常在一个流式计算的主流程里，会用到很多映射数据，譬如某某对照关系，而这些映射数据通常是通过HT
祝威廉·2020-02-29 04:12

如何分析及处理 Flink 反压？

反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。
qq5dda6ecead5a8·2020-02-27 16:59

[源码分析] 从源码入手看 Flink Watermark 之传播过程

0x01总述从静态角度讲，watermarks是实现流式计算的核心概念；从动态角度说，watermarks贯穿整个流处理程序。
罗西的思考·2020-02-22 17:00

Flink 从 0 到 1 学习 —— Flink Data transformation(转换)

toc:truetitle:Flink从0到1学习——FlinkDatatransformation(转换)date:2018-11-04tags:Flink大数据流式计算前言在第一篇介绍Flink的文章
zhisheng_blog·2020-02-22 09:19

用机器学习流程去建模我们的平台架构

譬如RDD这种就是一个和神一般的抽象，它使得Spark成为了一个非常通用的平台，囊括了流式计算，离线计算，机器学习，图计算等多个领域。spark.ml在一开始就提出
祝威廉·2020-02-21 12:08

在线广告系统概念图

在线广告系统概念图（via北冥乘海生）1.adserver投放系统2.adretrieval把符合条件的广告找出来，比如受众性别区分，行业区分3.adranking根据ecpm排序4.streamcomputing流式计算平台
RainingMan·2020-02-21 05:53

storm基本概念

流式计算中，各个中间件产品对计算过程中的角色的抽象都不尽相同，实现方式也是千差万别。本文针对storm中间件在进行流式计算中的几个概念做个概括总结。
一品悟技术_张驰·2020-02-21 03:05

大数据学习思路分解（1）：hadoop学习

我们在上篇文章中大概的了解了大数据学习的一些思路(路线)，主要包括以下几点(Linux+hadoop+机器学习+流式计算+内存计算+云平台开发)，当然还有很多知识点，我们就以这个课程大纲来进行讲解学习。
尚学先生·2020-02-19 12:42

函数式内功心法-08: 流式复合技术之Conduit海纳百川

流式计算是我非常喜欢的技术。无流式，不快活！ALLinstreaming!所以，这次会废话多一点，嘿嘿。
larluo_罗浩·2020-02-17 21:15

Spark Streaming 解析

流式计算系统的特点低延迟容错性数据不丢失数据的送达计算状态的持久化计算迁移故障恢复扩展能力应用的逻辑表达能力流式计算任务都会部署成由多个计算节点和流经这些节点的数据流构成的有向无环图(DAG)系统架构主从
福克斯纪·2020-02-17 20:29

快速学会flink

前言Flink是一种流式计算框架，为什么我会接触到Flink呢？
大数据首席数据师·2020-02-17 08:13
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他