nebula流计算第11页

【Spark分布式内存计算框架——Structured Streaming】1. Structured Streaming 概述

前言ApacheSpark在2016年的时候启动了StructuredStreaming项目，一个基于SparkSQL的全新流计算引擎StructuredStreaming，让用户像编写批处理程序一样简单地编写高性能的流处理程序

csdnGuoYuying·2023-03-30 00:18

Flink笔记--深度全面总结

.Flink特性流式计算是大数据计算的痛点，第1代实时计算引擎Storm对ExactlyOnce语义和窗口支持较弱，使用的场景有限且无法支持高吞吐计算；SparkStreaming采用“微批处理”模拟流计算

☞空白页·2023-03-29 19:54

Spark生态系统和运行架构

1.Spark生态系统Spark生态圈Spark设计遵循”一个软件栈满足不同应用场景“的理念，逐渐形成了一整套完整的生态系统，既能够提供内存计算框架，也可以支持SQL即时查询(SparkSQL)、流计算

Aurora1217·2023-03-29 18:21

大数据理论篇 No.1-浅谈Flink中的数据传输

TaskManager之间会不断的进行数据交换，而TaskManager进程里是以Slot为单位执行任务的，一个TaskManager里可以有多个Slot，每个Slot之间都可能进行连接，并且传输数据，而在流计算的场景中

pezynd·2023-03-29 16:29

大数据算法_阿里十年大数据专家实践经验分享：离线和实时大数据分析和算法...

对Hadoop离线数据开发技术、流计算实时开发技术、大数据开发优化以及大数据建模等有较为深入的研究。阿里巴巴大数据开发专家撰写，源于十余年工作实践，只讲实用有效的“招式”；庖丁解牛式讲解离线和实

weixin_39962758·2023-03-29 15:50

大数据之路—— 实时技术

5.2.1数据采集5.2.2数据处理5.2.3数据存储5.2.4数据服务5.3流式数据模型5.3.1数据分层5.3.2多流关联5.3.3维表使用@5.4大促挑战5.4.1大促特征5.4.2大促保障@5.1简介流计算

jialun0116·2023-03-29 15:26

【前推回代法】含有分布式电源的三相不平衡配电网潮流计算【IEEE33节点】（Matlab代码实现）

本文目录如下：目录1概述2运行结果3参考文献4Matlab代码实现1概述配电网潮流计算是智能配电网实施中的基本要求,由于配电网三相参数不平衡，通常配网潮流计算采用三相不对称模型。

数学建模与科研·2023-03-29 13:09

如何高效搭建资产管理平台？众安科技告诉你答案是图技术

本⽂整理⾃NebulaGraphx阿⾥云计算巢专场中众安保险的⼤数据应⽤⾼级专家曾⼒带来的《众安资产在NebulaGraph的应⽤实践》分享，视频⻅链接。

图数据库NebulaGraph·2023-03-29 06:21

大数据中台架构

大数据中台架构1.数据采集传输1.1Flume和Logstash1.2日志采集如何工作1.3数据传输Kafka2.数据存储HDFSHBaseHive和PigMapReduce3.数据计算&查询3.1批计算和流计算

嗷嗷的特Man·2023-03-29 05:07

专家带你吃透 Flink 架构：一个新版 Connector 的实现

前言Flink可以说已经是流计算领域的事实标准，其开源社区发展迅速，提出了很多改进计划（FlinkImprovementProposals，简称FLIP[1]）并不断迭代，几乎每个新的版本在功能、性能和使用便捷性上都有所提高

Java小果·2023-03-28 19:44

用4+1架构视图说说Flink架构

在实时流计算的江湖里，Flink大有一统江湖的味道，其正处于如日中天的高光时刻。

zxhyxwwu·2023-03-28 18:22

2021-01-01

考完去千岛湖玩~2月份：回家过年修整期间外加增长知识，了解CFD热流计算领域，争取再写一篇文章。去体检一次。练习面试话术。继续专升本授课。

孙猴子爱跳舞·2023-03-28 13:13

DolphinDB 流计算应用：引擎级联监测门禁异常状态

物联网的发展为智能安防和自动化监控带来了更多便利，与此同时，新型城镇建设、智慧城市与智慧社区的发展也为门禁管理等安防问题智能化提出了更高的要求。在智能化发展的背景下，门禁不仅仅是门禁，更是一套集成了访客、考勤、消费、巡更、梯控等更多功能的全面便捷的系统安全应用。目前门禁系统主要用于出入口管理，在我国加速推动智慧城市、智慧工地、智慧社区等智慧化建设发展的前提下，门禁系统智能化升级的趋势成为必然，其普

DolphinDB智臾科技·2023-03-27 08:14

流批一体随想

这种架构的出现是历史必然，因为那时的流计算引擎以Storm为代表，而它们都无法提供Exactly-Once语义，所以任何一点小的扰动（延迟、网络问题、系统异常

LittleMagic·2023-03-26 11:45

基于binblog的数据监听

调研背景前段时间在调研实时计算的时候就在思考一个问题，目前的流计算是基于一个数据流的概念，而我们目前报名系统数据的同步是由集团将数据直接更新到数据库的，如果我们后期要集成这部分数据做实时报表分析，那么怎么监听这一部分数据呢

yschen·2023-03-25 11:54

主流开源分布式图数据库 Benchmark

本文由美团NLP团队高辰、赵登昌撰写首发于NebulaGraph官方论坛：https://discuss.nebula-graph.com.cn/t/topic/1377主流开源分布式图数据库Benchmark1

NebulaGraph·2023-03-25 04:37

NebulaGraph安装教程

1.安装NebulaGraph下载rpm包wgethttps://oss-cdn.nebula-graph.com.cn/package/nightly/2021.11.24/nebula-graph-

coppher·2023-03-24 14:35

nebula-graph安装手稿

1.安装NebulaGraph下载rpm包--------------------------不建议安装----------------------------wgethttps://oss-cdn.nebula-graph.com.cn

coppher·2023-03-24 14:35

日志平台的核心需求

简单总结下日志平台的核心需求，至少有以下2点：1、数据分析数据分析又分成2类，一类是预先定义好的分析逻辑，另一类是即时的，突发奇想的分析adhoc预先定义好的分析逻辑，可以在流计算系统就对日志流进行解析

hongshen·2023-03-24 02:29

分布式图数据库 Nebula RC2 发布：增强了 CSV Importer 功能

NebulaGraph是开源的分布式图数据库，可应用于知识图谱、社交推荐、风控、IoT等场景。

NebulaGraph·2023-03-24 01:50

Apache Flink on Kubernetes：四种运行模式，我该选择哪种？

通过支持事件时间（event-time）、计算状态（state）以及恰好一次（exactly-once）的容错保证，Flink迅速被很多公司采纳，成为了新一代的流计算处理引擎。

Docker_·2023-03-23 01:58

风控系统实践之感: drools 和 redis

3.需要支持滑动窗口，滚动窗口，长度窗口等遇到的问题主要有以下几点:1.redis做流计算太过勉强，一是根据业务上的需求，需要统计的key至少有几亿个，最多也有几十亿个，另外redis中需要存储少量的交易的信息

Double_winter·2023-03-20 07:20

流计算开发平台StreamPark安装

一、StreamPark简介StreamPark（原StreamX）是一个流处理应用程序开发管理框架。初衷是让流处理更简单，旨在轻松构建和管理流处理应用程序，提供使用ApacheFlink和ApacheSpark编写流处理应用程序的开发框架，未来将支持更多其他引擎。同时，StreamPark提供了一个流处理应用管理平台，核心能力包括但不限于应用开发、调试、交互查询、部署、运维、实时数仓等。官方网站

CodePhage·2023-03-19 11:40

一文了解 NebulaGraph 上的 Spark 项目

本文首发于NebulaGraphCommunity公众号最近我试着搭建了方便大家一键试玩的NebulaGraph中的Spark相关的项目，今天就把它们整理成文分享给大家。

NebulaGraph·2023-03-19 04:47

Flink的可靠性保证 - 状态存储

一为什么需要State存储与批计算相比，State是流计算特有的，批计算的failover机制，是失败后重新计算；流计算在大多数场景下是增量计算，数据逐条处理，每次计算是在上一次计算结果之上进行处理的，

flywind800·2023-03-17 09:24

摸鱼的气象&Python系列视频正在更新中！

4.摸鱼的气象&Python：复杂算法实现（以波通量和平流计算为例）5.摸鱼的气象&Python:利用Metpy实现复杂计算(以水汽通量散度

摸鱼咯·2023-03-17 05:48

2018-11-13-Flink(1)——基于flink sql的流计算平台设计

使用场景先说流计算平台应用场景。

此星爷非彼星爷·2023-03-16 13:41

DataPipeline & Apache Rocket Meetup 简单回顾

郭斯杰是StreamNative的联合创始人，ApachePulsarPMCMember和ApacheBookKeeperPMCChair，对EventStreaming、流计算及其周边生态有

StreamNative·2023-03-15 19:23

flink简介

有状态流计算架构，状态就是计算过程中产生的中间计算结果，每次计算新的数据进入流式系统中都是基于中间状态结果的基础上进行运算。

w未然·2023-03-15 17:14

AntDB“超融合+流式实时数仓”，谈传统数据库与流计算的有机融合

（一）前言据统计，在信息化时代的今天，人们一天所接触到的信息量，是古人一辈子所能接收到的信息量的总和。当今社会中除了信息量“多”以外，人们对信息处理的“效率”和“速度”的要求也越来越高。譬如，对于很多企业决策者来说，在当前的经济形势下需要尽一切可能降本增效。过去每周看看经营报表的习惯，现在慢慢转变为利用实时可视化的方式来随时分析企业当前的经营状况。数据库作为信息的核心载体，在过去的半个世纪中，基本

亚信安慧AntDB数据库·2023-03-15 02:46

Flink流式计算里的时间和watermark机制

一流计算对“批计算”的优势：“流计算”是相对于“批计算”来的，MapReduce，Spark底层的计算方式是目前主流的“批计算”实现方式，很多公司在使用这种方式做大数据处理。

flywind800·2023-03-14 17:31

《积的变化规律》教学反思

学生在课上交流计算结果与自己的发现时，习惯于表述成：一个因数不变，另一个因数扩大几倍，积也扩大相同的倍数；一个因数不变，

沈俊娟·2023-03-14 13:54

Flink 状态管理

对于state的需求不高对于流计算而言，对State有非常高的要求，特别在实时流中，输入是一个无限制的流，服务开启后基本都不会停机。在生产中，大部分需求都是有状态的计算就需要将状态数据很好的管理起来。

Rex_2013·2023-03-12 03:16

macOS 安装 Nebula Graph 看这篇就够了

本文首发于NebulaGraphCommunity公众号背景刚学习图数据的内容，当前网上充斥大量的安装文档，参差不齐，部署起来令人十分头疼。

图数据库NebulaGraph·2023-03-10 15:47

给你一个月100万的收入，看你要不要珍惜

（注意必须要会JavaScript）不要说我不告诉你注册的地址：https://incentive.nebulas.io/cn/signup.html?invi

蓝胖子的代码·2023-03-09 11:58

flinksql流批一体计算平台为什么选型是Streamx

flink实时计算平台为什么选型是Streamx一、概述1.1背景ApacheFlink被普遍认为是下一代大数据流计算引擎,我们在使用Flink时发现从编程模型,启动配置到运维管理都有很多可以抽象共用的地方

银假面面·2023-03-09 11:42

大数据技术原理与应用介绍

两大核心技术：分布式存储和分布式处理大数据计算模式批处理计算流计算图计算查询分析计算大数据具有数据量大、数据类型繁多、处理速度快、价值密度低等特点。

CODER8R·2023-02-24 03:04

Lightflus：云原生流计算框架，Demo 版本正式发布！

IntroductionHiall，这是我首次在SegmentFault上发文章，先简单介绍下我自己吧，我叫JasonThon，魔都一枚小开发，喜欢撸猫撸狗打电玩，练习时长两年半，擅长各种Bug制作技巧与Debug手艺。在这篇文章里，我将介绍一款与我一同练习时长一年，擅长流处理的新型云原生计算框架Lightflus。在我的公众号文章：Lightflus:云原生流处理框架中，小范围地宣传了一下这款框

·2023-02-21 22:48

基于图数据库 NebulaGraph 实现的欺诈检测方案及代码示例

本文是一个基于NebulaGraph图算法、图数据库、机器学习、GNN的FraudDetection方法综述。

·2023-02-21 15:20

NoVNC远程连接

HTML5VNC客户端，采用HTML5WebSockets,Canvas和JavaScript实现，noVNC被普遍用在各大云计算、虚拟机控制面板中，比如OpenStackDashboard和OpenNebulaSunstone

Linux丶晨星·2023-02-17 23:37

中科大脑知识图谱平台建设及业务实践

本文首发于NebulaGraphCommunity公众号中科大脑知识图谱平台建设及业务实践“为了支持城市复杂场景下各类需求，中科大脑知识图谱团队设计开发了一套包含本体可视化设计、数据映射、数据抽取、数据写入

NebulaGraph·2023-02-17 05:44

58 同城 NebulaGraph Database 运维实践

图计算业务背景介绍我们为什么选择NebulaGraph？在公司各个业务线中，有不少部门都有着关系分析等图探索场景，随着业务发展，相关的需求越来越多。

·2023-02-16 20:13

实现了统一消息中心的微服务基础框架 JVS，快点赞收藏

二、基础框架实现功能支持数据管理支持分布式定时任务支持分布式日志采集支持系统监控支持动态配置中心支持模板消息支持链路跟踪支持邮件渠道接入支持注解式打印日志支持接入实时流计算平台三、消息中心说明四、扩展的商用项目

·2023-02-16 20:03

RocketMQ Streams 1.1.0: 轻量级流处理再出发

本文作者：倪泽，ApacheRocketMQcommitter、RSQLDB/RocketMQStreamsMaintainer01背景RocketMQStreams是一款基于RocketMQ为基础的轻量级流计算引擎

·2023-02-07 11:25

电力系统潮流计算matlab仿真,计算结果自动保存到excel文件中

目录1.算法仿真效果2.MATLAB核心程序3.算法涉及理论知识概要4.完整MATLAB1.算法仿真效果matlab2022a仿真结果如下：2.MATLAB核心程序............................................................Y=G+B*1i;%求差.b=xlsread('TEST2.xlsx','C2:F31');precision=1;

我爱C编程·2023-02-07 09:22

FlinkFlink1.10.0ConceptsDataflow Programming Model

LevelsofAbstractionFlink提供了不同级别的抽象来开发批处理/流计算。levels_of_abstraction.png最底层的抽象只提供了有状态数据流。

guyuetftb·2023-02-07 04:27

vue 浏览器打开远程桌面 novnc