nebula流计算

主流行架构

WCP；redis，kafka，es，zookeeper，dubbo，shardingjdbc，mysql，InfluxDB，Telegraf，Grafana，Nginx，xxl-job，Neo4j,NebulaGraph
rainbowcheng·2024-09-15 09:43

Windows系统下的Spark环境配置

一：Spark的介绍ApacheSpark是一个开源的分布式大数据处理引擎，它提供了一整套开发API，包括流计算和机器学习。
eeee~~·2024-09-05 11:19

阿里云日志服务sls的典型应用场景

日志服务的典型应用场景包括：数据采集与消费、数据清洗与流计算（ETL/StreamProcessing）、数据仓库对接（DataWarehouse）、日志实时查询与分析。
阿里云天池·2024-08-31 01:30

nebula-studio-nginx代理配置

map$http_upgrade$connection_upgrade{defaultupgrade;''close;}server{listen80;server_namenebula-studio.xxx.xxxx.com
a...Z·2024-08-28 23:31

基于spark+hadoop+hive大数据分析的电影推荐系统的设计与实现

部分代码如下：**总结****大家可以帮忙点赞、收藏、关注、评论啦****有问题评论区交流**一、开发介绍1.1开发环境技术栈：spark+hadoop+hive离线ETL+在线数据分析(OLAP)+流计算
毕设木哥·2024-08-26 06:26

在 Spark 数据导入中的一些实践细节

best-practices-import-data-spark-nebula-graph本文由合合信息大数据团队柳佳浩撰写1.前言图谱业务随着时间的推移愈发的复杂化，逐渐体现出了性能上的瓶颈：单机不足以支持更大的图谱
NebulaGraph·2024-02-27 07:53

2024.2.19 阿里云Flink

一、Flink基本介绍Spark底层是微批处理,Flink底层则是实时流计算流式计算特点:数据是源源不断产生,两大问题,乱序和延迟Stateful:有状态Flink的三个部分Source:Transactions
白白的wj·2024-02-20 07:05

无依赖单机尝鲜 Nebula Exchange 的 SST 导入

无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式（单机、容器化Spark、Hadoop、NebulaGraph），快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph·2024-02-19 23:51

Flink 2.0 状态存算分离改造实践

主要分为以下四部分：Flink大状态管理痛点阿里云自研状态存储后端Gemini的存算分离实践存算分离的进一步探索批量化存算分离适用场景一、Flink大状态管理痛点1.1Flink状态管理状态管理是有状态流计算的核心
·2024-02-19 20:28

阿里云实时计算企业级状态存储引擎 Gemini 技术解读

本文整理自阿里云Flink存储引擎团队李晋忠，兰兆千，梅源关于阿里云实时计算企业级状态存储引擎Gemini的研究，内容主要分为以下五部分：流计算状态访问的痛点企业级状态存储引擎GeminiGemini性能评测
·2024-02-19 20:58

使用Flink完成流数据统计 | 京东云技术团队

一、统计流程所有流计算统计的流程都是：1、接入数据源2、进行多次数据转换操作(过滤、拆分、聚合计算等)3、计算结果的存储其中数据源可以是多个、数据转换的节点处理完数据可以发送到一个和多个下一个节点继续处理数据
·2024-02-19 15:51

02-flink基本架构

02-flink基本架构flink基本组件栈flink基本组件栈.pngAPI&Libraries同时提供了流计算和批计算的接口，同时在此基础上抽象出不同的应用类型的组件库Runtime核心层主要负责对上层不同接口提供基础服务
蜗牛写java·2024-02-14 13:54

Flink 1.7.0 安装、配置与使用

事件时间的语义使流计算的结果更加精确，尤其在事
编码前线·2024-02-13 22:57

Structured Streaming

SparkStreaming关系二、编写StructuredStreaming程序的基本步骤（一）实现步骤（二）运行测试三、输入源（一）File源（二）Kafka源（三）Socket源（四）Rate源四、输出操作（一）启动流计算
Francek Chen·2024-02-12 11:44

Flink 2.0 状态存算分离改造实践

主要分为以下四部分：Flink大状态管理痛点阿里云自研状态存储后端Gemini的存算分离实践存算分离的进一步探索批量化存算分离适用场景一、Flink大状态管理痛点1.1Flink状态管理状态管理是有状态流计算的核心
·2024-02-11 18:02

从一到无穷大 #23 《流计算系统图解》书评

本作品采用知识共享署名-非商业性使用-相同方式共享4.0国际许可协议进行许可。本作品(李兆龙博文,由李兆龙创作)，由李兆龙确认，转载请注明版权。文章目录引言内容总结引言春节假期回到家里断然是不会有看纸质书的时间的。造化弄人，二月三号早上十一点的飞机延误到一点多，原本三小时不到的阅读时间延长为五个小时，也给了我看完这本书的机会。第一次了解到这本书是Tison在朋友圈发了他写的书评[2]，开头便是：值
李兆龙的博客·2024-02-10 06:06

AXI数据流计算CRC8的代码

modulecrc8_coder_8bit(inputclk,inputrst_n,inputdin_last,inputdin_valid,input[7:0]din_data,outputregdout_last,outputregdout_valid,outputreg[7:0]dout_data);parameter[7:0]POLY=8'h07;reg[7:0]crc_remainder
冰冻土卫二·2024-02-08 07:42

AXI数据流计算CRC16的代码

modulecrc16_coder_8bit(inputclk,inputrst_n,inputdin_last,inputdin_valid,input[7:0]din_data,outputregdout_last,outputregdout_valid,outputreg[7:0]dout_data);parameter[15:0]POLY=16'h1021;//or16'h8005reg[
冰冻土卫二·2024-02-08 07:42

Flink 2.0 状态存算分离改造实践

主要分为以下四部分：Flink大状态管理痛点阿里云自研状态存储后端Gemini的存算分离实践存算分离的进一步探索批量化存算分离适用场景一、Flink大状态管理痛点1.1Flink状态管理状态管理是有状态流计算的核心
Apache Flink·2024-02-08 07:28

视频存储空间的计算：适用安防监控录像、视频会议录像、手机录像、短视频录像等场景

二、计算方法以下是我们总结的一些计算方法：码流计算法：这是最常用的方法之一，通过将码流（Mbps或Kbps为单位）乘以监控路数、监控天数、码流格式转换系数和压缩比系数，得到存储容量（G
威迪斯特·2024-02-05 06:49

Flink实时流计算入门系列——广播变量使用

总是被项目经理问：为什么你的Flink代码占用我这么多的集群资源啊？集群受不了，优化一下吧，程序员一听到优化的痛疼症，你懂的……image今天我们就讲解一个比较基础，且容易被人忽略的基础优化Flink程序的方法。Flink和Spark一样，都有支持广播变量这定义。广播变量，可以理解成为日常的广播，是一个公共的变量。广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节
晨冉1688·2024-02-05 06:19

飞腾Ubantu22.04.3安装OpenNebula测试

1.概述因OpenneBula官方镜像源只有AMD架构的镜像包不存在ARM的镜像包，借此用源码编译进行测试。
奋斗的小菜菜·2024-02-04 14:11

nebula数据库常见NGQL语句

文章目录创建space切换space创建Tag（Vertex）创建Tagindex删除Tagindex查询Tag创建Edge查询Edge插入点（使用Tag）插入边查询vertex查询Edge统计Vertex和Edge数量查看space下的所有节点查看特定类型的节点查询节点的关系查询特定类型的节点和关系查询节点的路径WHERE语句ORDERBY语句LIMIT子句组合语句创建spaceCREATESP
safina ~·2024-02-04 03:31

Nebula基础的查询操作介绍

Nebula基础的查询操作介绍这里只是对Nebula基础查询进行介绍，其目的是为了让未接触过Nebula的同学最短时间了解其语句。更详细更准确的内可以查看官方文档。
大·风·2024-02-04 03:00

解决nebula插入头尾节点相同的边数据覆盖问题

文章目录问题描述解决方法问题描述我要在nebula数据库中插入多条头尾节点相同的实体，他们的source和target是相同的，但是Key和其他属性不同。
safina ~·2024-02-04 03:30

Nebula基础的操作介绍

Nebula基础这里只是对Nebula基础的介绍，其目的是为了让未接触过Nebula的同学最短时间了解其概念和使用。更详细更准确的内可以查看官方文档。
大·风·2024-02-04 03:30

图计算 on nLive：Nebula 的图计算实践

本文首发于NebulaGraphCommunity公众号图计算onnLive：Nebula的图计算实践在#图计算onnLive#直播活动中，来自Nebula研发团队的nebula-plato维护者郝彤和
NebulaGraph·2024-02-02 23:41

使用 Flink Hudi 构建流式数据湖

摘要：本文介绍了FlinkHudi通过流计算对原有基于mini-batch的增量计算模型不断优化演进。
浪尖聊大数据-浪尖·2024-02-02 12:30

DolphinDB 智慧楼宇场景：门禁异常监测

作为一款高性能分布式时序数据库，DolphinDB提供了流数据表和流计算引擎用于实
DolphinDB智臾科技·2024-02-02 07:31

【三相潮流】基于仿射区间的，含分布式电源的配电网三相潮流算法

针对本课题要求，“基于仿射区间的含分布式电源的配电网三相潮流算法”，其中关于这方面的概念，主要从如下的三个方面角度考虑：理想状态下的，确定性潮流计算——即对应本课题的“含分布式电源的配电网三相潮流算法”
fpga和matlab·2024-02-01 09:53

Flink实战五_状态机制

回顾我们之前介绍的很多流计算的计算过程，有些计算方法，比如说我们之前多次使用的将stock.txt中的一行文本数据转换成Stock股票对象的map操作。
core512·2024-02-01 07:26

C语言文件操作

目录C语言文件操作C语言中的流与文件指针C语言中的流计算机中的读写操作与输入输出操作的关系文件指针C语言中的标准流C语言中的标准流文件类型程序文件数据文件文本文件二进制文件文件的打开和关闭文件的打开fopen
EPSDA·2024-01-31 14:59

TokenInsight 对话首席——获取增量用户 公链崛起的关键之战

本次《对话首席》特邀Contentos联合创始人MickTsai、Nebulas基金会秘书长Ruby、HarmonyCTO兰荣坚和COTICEOShahafBar-Geffen作为主嘉宾。
TokenInsight·2024-01-30 13:29

java 加权平均_使用Java 8流计算加权平均值

您可以为此任务创建自己的收集器：staticCollectoraveragingWeighted(ToDoubleFunctionvalueFunction,ToIntFunctionweightFunction){classBox{doublenum=0;longdenom=0;}returnCollector.of(Box::new,(b,e)->{b.num+=valueFunction.a
培茛·2024-01-27 15:03

Flink 2.0 状态管理存算分离架构演进

内容主要分为以下五部分：引言为什么状态对Flink如此重要状态存储提升——社区和商业版状态存储状态管理存算分离架构——架构演进和挑战总结1.引言我们在这个时间点重新聊状态存储这个话题是因为状态存储是流计算的核心
Apache Flink·2024-01-27 07:46

如何运行一个CYBEX数据节点

前端：https://github.com/CybexDex节点程序：https://github.com/NebulaCybexDEX/cybex-cor
logz2020·2024-01-26 09:11

Day 1322：架构师训练营学习总结（w13）

本周主要讲了Spark流计算、数据分析和机器学习。Spark的主要特点是DAG切分多阶段计算、内存存储中间结果、RDD的编程模型。RDD是Spark的核心概念。
kafkaliu·2024-01-25 22:18

Nebula Graph 在企查查的应用

本文首发于NebulaGraphCommunity公众号NebulaGraph在企查查的应用背景企查查是企查查科技有限公司旗下的一款企业信用查询工具，旨在为用户提供快速查询企业工商信息、法院判决信息、关联企业信息
NebulaGraph·2024-01-25 01:35

Matlab|基于改进遗传算法的储能选址定容（可任意设定储能数量）

目录主要内容部分代码结果一览（以3个储能为例）下载链接主要内容该模型采用改进遗传算法优化配电网系统中储能选址位置和容量，程序以IEEE33节点系统为分析对象，以网损最小为目标，采用matpower实现系统潮流计算
科研工作站·2024-01-24 08:39

Stuuctured Streaming基础--学习笔记

Structuredstreaming介绍spark进行实时数据流计算时有两个工具：SparkStreaming：编写rdd代码处理数据流,可以解决非结构化的流式数据StructuredStreaming
祈愿lucky·2024-01-23 14:58

pyspark之Structured Streaming结果保存到Mysql数据库-socket例子统计(含批次)

frompyspark.sqlimportSparkSession,DataFramefrompyspark.sql.functionsimportexplode,split,lit"""实现将数据保存到mysql数据库，同时将流计算
heiqizero·2024-01-21 06:28

【python】EI顶刊复现：综合能源系统分析的统一能路理论(三)：稳态与动态潮流计算程序代码！

适用平台：python3.8；模块：pandas、numpy、scipy、matplotlib2程序基于统一能路理论，针对天然气网络和供热网络，借鉴电力系统潮流计算方法，提出了（7节点）气网-（6节点）
预测及优化·2024-01-20 03:15

数据库内核那些事｜一文Get PolarDB IMCI如何对半结构化数据进行高效分析

数据库，其列存索引（InMemoryColumnIndex，IMCI）推出完备虚拟列与列式JSON等功能，可以快速处理大数据和支持多种数据类型（包括结构化与半结构化数据），并提供高效的数据分析、查询与流计算能力
阿里云瑶池数据库·2024-01-18 23:39

Nebula Graph -- 5. Nebula Graph简介

NebulaGraph是一款开源的、分布式的、易扩展的原生图数据库，能够承载包含数千亿个点和数万亿条边的超大规模数据集，并且提供毫秒级查询。
火箭蛋头·2024-01-18 10:34

工作十年总结的六条面试技巧，助力你拿到理想的offer

大数据开发的领域不同，面试的锚定点也不同，从我过往的经验来说，可以大致来将大数据领域的开发分为如下几种：离线开发：数据仓库、离线计算、ETL开发实时开发：流计算开发基础架构：组件二次开发，底层组件稳定性维护大数据运维方向数据平台开发一
KubeData·2024-01-17 02:12

《21天晋级大数据实战营》小结汇总

销售预测实验小结点击查看【DAY13】车联网应用之轨迹分析实验小结点击查看【DAY12】图引擎服务GES使用实验小结点击查看【DAY11】让编排变的简单-数据湖工厂实验小结点击查看【DAY9】1天精通实时流计算实验小结点击查看
技术火炬手·2024-01-16 12:48

架构设计内容分享(一百一十七)：基于 raft-listener 实现的 nebula 实时同步的高效双集群主备环境

Listener节点的管理和可靠性listener故障切换的设计nebula主备切换设计主备切换过程中的数据丢失问题背景以及需求线上业务对数据库可用性可靠性要求较高，要求需要有双AZ的主备容灾机制。
之乎者也··2024-01-16 06:51

【无标题】

静态路由：由网络管理员手工配置的路由条目动态路由：所有路由器运行相同的路由协议，之后，路由器之间彼此沟通，交流计算出未知网段的路由信息。
梦及天青·2024-01-16 03:21

【Matlab复现】基于自适应遗传算法的分布式电源优化配置

目录1主要内容2部分程序3程序结果4下载链接1主要内容该程序采用自适应遗传算法优化分布式电源的配置问题，以投资运行成本、网络损耗成本、购电成本和碳排放成本之和作为优化目标，潮流计算采用前推回代法进行计算
科研工作站·2024-01-15 08:57

PiflowX如何快速开发flink程序

自2015年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于Flink打造新一代计算引擎，针对
暗影八度·2024-01-14 14:58
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他