分布式处理

ODPS基本概念

ODPS是一种由阿里云自主研发，针对TB/PB级数据、实时性要求不高的分布式处理服务。主要服务于批量结构化数据的存储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。
眼君·2023-08-14 20:59

计算机网络 上 物理层和数据链路层

各层之间的协议1.1计算机网络概述1.1.1计算机网络概念计算机网络：分散独立的计算机通过通信设备与线路连接、通过软件实现资源共享和信息传递形成的系统1.1.2计算机网络的功能数据通信+资源共享（硬软件及数据）+分布式处理
shiyivei·2023-08-14 04:45

数据仓库实践杂谈（十三）——逻辑数据模型（数仓模型）

[目录]第一章：概述第二章：整体数据分层第三章：整体实现框架第四章：元数据第五章：ETL第六章：数据校验第七章：数据标准化第八章：去重第九章：增量/全量第十章：拉链处理第十一章：分布式处理增量第十二章：
老程序员一叶知秋·2023-08-11 14:45

Flink CDC数据同步

一、什么是FLinkApacheFlink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。
大数据开发工程师-宋权·2023-08-10 18:21

数据库的学习笔记（二）

Oracle-目前世界上使用最为广泛的数据库管理系统，作为一个通用的数据库系统，它具有完整的数据管理功能；作为一个关系数据库，它是一个完备关系的产品；作为分布式数据库，它实现了分布式处理的功能
星夜猫·2023-08-07 19:04

【新版系统架构补充】-七层模型

网络功能和分类计算网络的功能：数据通信、资源共享、管理集中化、实现分布式处理、负载均衡网络性能指标：速率、带宽（频带宽度或传送线路速率）、吞吐量、时延、往返时间、利用率网络非性能指标：费用、质量、标准化
阿提说说·2023-08-05 20:57

Flink1.17最新版本学习记录

一、初始Flink1、Flink是什么1）ApacheFlink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。
xuzhengzhou·2023-08-05 14:28

【大数据】Flink 从入门到实践（一）：初步介绍

Flink从入门到实践（一）：初步介绍ApacheFlink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。
G皮T·2023-08-05 14:49

《计算机网络学习笔记》-01章 计算机网络体系结构、02章 物理层

C、计算机网络的功能（1）数据通信（2）资源共享（3）分布式处理（4）提高可靠性（5）负载
飞哥小佛与泰瑞·2023-08-05 02:41

计算机网络一些知识

计算机网络的功能：数据通信；资源共享；提高可靠性；均衡负载和分布式处理；集中式处理。计算机网络发展过程：简单连接->网络化连接->网络互连和Internet。
csy_insist·2023-08-05 01:32

Flink简介/运行框架/流与批/分层API

FlinkFlink起源于Stratosphere项目Flink项目的理念是："ApacheFlink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架"ApacheFlink是一个框架和分布式处理引擎
syyyyyyyyyyyyyyh·2023-08-02 21:44

分布式处理框架Hadoop的安装与使用

Hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthro
与李_han·2023-08-01 15:28

2019-12-02 hadoop的了解（一）以及微服务、分布式、集群三者的异同

一、构成Hadoop简介：ApacheHadoop项目是可靠、可扩展的分布式计算开源软件；Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集；狭义上说Hadoop是apache
mrxueyue·2023-08-01 10:15

大数据部分总结

HadoopHADOOP是apache旗下的一套开源软件平台提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理HADOOP的核心组件有HDFS（分布式文件系统）ARN（运算资源调度系统
DHRJFH·2023-07-31 09:14

day82 Flink 安装 Source 算子

自定义数据源（连接数据库）2、一些算子1map2keyby3reduce4agg5window6sideout有的没的Iknow,iknow地球另一端有你陪我一、FlinkApacheFlink是一个框架和分布式处理引擎
韭菜盒子123·2023-07-31 08:45

H3C构建中小型企业网络（NE）

H3CNE计算机网络概述计算机网络定义一组自治计算机互联的集合计算机网络基本功能资源共享综合信息服务分布式处理与负载均衡计算机网络的类型局域网LAN由用户自行建设，使用私有地址组建的网络城域网MAN由运营商或大规模企业建设
峰峰同学·2023-07-29 09:06

2024考研408-计算机网络 第一章-计算机网络体系结构学习笔记.md

文章目录前言一、计算机网络概述1.1、概念及功能1.1.1、计算机网络的概念1.1.2、计算机网络的功能功能1、数据通信功能2、资源共享功能3、分布式处理功能4、提高可靠性（分布式处理引申功能）功能5、
长路 ㅤ   ·2023-07-28 09:55

计算机基础专升本笔记六 -- 新一代信息技术

云计算也可以理解为向用户屏蔽底层差异的分布式处理架构，在云计算环境中，用户与实际服务提供的计算资源相分离，云端集合了大量计算设备和资源。  
LYQ_YXQ·2023-07-27 04:38

kafka安装使用总结篇

目前越来越多的开源分布式处理系统如Storm，Spark，Flink都支持与Kafka集成。现在我们的数据实时处理平台也使用到了kafka。
study_小达人·2023-07-26 14:56

分布式事务-本地消息表

本地消息表方案核心思路需要分布式处理的任务通过消息日志的方式来异步执行。消息日志可以存储到本地文本、数据库或消息队列，再通过业务规则自动或人工发起重试。
jiguansheng·2023-07-25 21:40

Hadoop生态体系-HDFS

2.5.2shell常用命令介绍3、HDFS基本原理3.1NameNode概述3.2Datanode概述1、ApacheHadoopHadoop：允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理
海星？海欣！·2023-07-25 17:17

高精度地图服务引擎项目

技术栈：使用vue3+TypeScript+ElementPlus+Pinia+axios项目描述：高精度地图服务引擎项目，提供轻量化处理+3D瓦片切片+分布式处理+分发服务的一站式解决方案工作内容：1
小刺猬_985·2023-07-25 14:21

云计算基本概念

IaaS主要组件PaaS主要组件SaaS主要组件云计算的典型特征云计算数据中心云计算应用领域引言前面一篇《大数据BigData基本概念》介绍了大数据基本概念，我们知道大数据两大核心问题就是分布式存储和分布式处理
wumingxiaoyao·2023-07-24 21:38

分布式系统设计与实现

分布式系统的主要特点是通过计算机网络互联，实现任务分割和分布式处理，以提高系统的可扩展性、可靠性和性能。
coder - w·2023-07-23 07:35

大数据技术原理与应用（第3版）期末复习

价值密度低大数据完全颠覆了传统的思维方式：全样而非抽样、效率而非精确、相关而非因果第三次信息化浪潮：云计算，物联网和大数据大数据的两大核心技术分布式存储：GFS/HDFS、BigTable/HBase、NoSQL分布式处理
Blancness·2023-07-21 00:21

Flink数据流

4.2pre-job-cluster模式五.Flink运行时架构5.1任务提交流程5.2如何实现并行计算5.3并行任务需要占用多少slot5.4一个流处理包含多少任务一.基本概念官网介绍ApacheFlink是一个框架和分布式处理引擎
呆萌小新@渊洁·2023-07-19 15:18

flink学习1-flink是什么

ApacheFlink是一个分布式处理引擎，在有界或无界数据流上进行有状态的计算。flink可以在所有通用的集群环境上运行，并且可以以内存级的速度进行大批量的计算。
ericjauy·2023-07-18 20:49

什么是分布式软件系统

分布式软件系统(DistributedSoftwareSystems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。
微服务商城技术分享·2023-07-15 20:51

Python分布式任务队列Celery

一、分布式任务队列Celery介绍Pythoncelery是一个基于Python的分布式任务队列，主要用于任务的异步执行、定时调度和分布式处理。
Lightning-py·2023-07-15 04:32

Hadoop和Hive的关系

1.Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop最核心的设计就是hdfs和mapreduce，hdfs提供存储，mapreduce用于计算。2.Hive是Hadoop的延申。
红乘以白·2023-07-14 20:32

云计算专业术语速查手册（1）云计算综合名词

而云计算是分布式处理、并行处理和网格计算的发展，或者说是这些计算机科学概念的商业实现，这将是一个时代的来临。如今，不论工作和生活，云计算几乎早已无处不在。
夜海天·2023-06-24 07:36

什么是分布式软件系统

分布式软件系统(DistributedSoftwareSystems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。
m0_72864708·2023-06-22 19:47

【大数据】大数据相关概念

Hadoop：是一个能够对大量数据进行分布式处理的软件框架，用户可以利用Hadoop生态体系开发和处理海量数据。由于Hadoop有可靠及高效的处理性能，使得它逐渐成为分析大数据的领先平台。
白白卡路里·2023-06-21 18:03

使用Scala中的XML解析整个文件夹下的xml，并忽略dtd检测

，必须这个文件存在，不然会报错处理思路：重写原有的方法语言对比：Java处理速度慢，并且代码量大，这儿不做考虑，其次python，由于需要处理的xml太过复杂，python需要写多层嵌套循环，并且不能分布式处理
大酱游说大数据·2023-06-21 12:19

TBB 开源库及并发 Hashmap 的使用

康俊老师在Raft一致性协议优化、分布式存储与调度、高可用双活容灾、多Region地理分区等分布式处理模块研发领域具备丰富经验，现负责KaiwuDB基础数据结构研发与设计。
KaiwuDB·2023-06-21 11:27

【计算机网络基础】第1章 习题

.执行计算机数据处理的软件模块B.由自治的计算机互联起来的集合体C.多个处理器通过共享内存实现的紧耦合系统D.用于共同完成一项任务的分布式系统计算机网络最基本的功能是(A)A.数据通信B.资源共享C.分布式处理
Want595·2023-06-19 20:02

什么是分布式软件系统

分布式软件系统(DistributedSoftwareSystems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。
微服务商城技术分享·2023-06-19 16:57

TBB 开源库及并发 Hashmap 的使用

康俊老师在Raft一致性协议优化、分布式存储与调度、高可用双活容灾、多Region地理分区等分布式处理模块研发领域具备丰富经验，现负责KaiwuDB基础数据结构研发与设计。
·2023-06-19 12:27

flink概述

文章目录flink概述flink应用场景重要特点事件驱动型(Event-driven)流与批的世界观分层api其它特点对比sparkstreamingflink概述ApacheFlink是一个框架和分布式处理引擎
sgxmr·2023-06-19 06:16

从Paxos到Raft

Paxos算法Paxos算法是分布式技术大师Lamport提出的，主要目的是通过这个算法，让参与分布式处理的每个参与者逐步达成一致意见。用好理
游杜渐·2023-06-19 04:40

大数据相关概念了解

Hadoop生态及Hive、HBase、Impala、HDFS之间的关系Hadoop生态(什么是Hadoop)ApacheHadoop软件库是一个框架，允许使用简单的编程模型在计算机集群之间对大型数据集进行分布式处理
java资深菜鸟·2023-06-17 06:23

六款超好用的大数据分析工具

一、大数据分析工具——HadoopHadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。
明月说数据·2023-06-16 17:27

大数据学习记录（hadoop hive flume azkaban sqoop）

大数据学习记录（hadoophiveflumeazkabansqoop）1.hadoop对海量数据进行分布式处理2.核心组件：HDFS（分布式文件系统）、YARN（运算资源调度系统）、MAPREDUCE
左上晨·2023-06-16 10:58

Scrapy_redis分布式和爬虫的部署

Scrapy_redisScrapy_redis提供了四个模块：Scheduler（调度器）DuplicationFilter（requst的去重过滤器）ItemPipeline（将Item存储在redis中以实现分布式处理
爱你如·2023-06-14 14:29

掌握这五点，成为月薪20K的高级Java程序员（另附全套视频教程）

1.你需要学习如何管理与配置一个J2EE应用程序服务器，如WebLogic、JBoss等，并且利用它的附加服务，例如簇类，连接池以及分布式处理支援。
3829a40ab7b9·2023-06-13 11:54

什么是分布式软件系统

分布式软件系统(DistributedSoftwareSystems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。
微服务商城技术分享·2023-06-12 18:47

Hadoop技术

允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。
章鱼哥TuNan&Z·2023-06-11 09:01

什么是分布式软件系统

分布式软件系统(DistributedSoftwareSystems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。
m0_72864708·2023-06-10 14:23

【Flink】flink简介

1.Flink是什么ApacheFlink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算2.Flink发展时间线2014年12月，Flink项目完成孵化2015年4月，Flink发布了里程碑式的重要版本
Learn Forever·2023-06-09 21:58

第一部分Flink概述

Flink第一部分Flink概述1、什么是FlinkApacheFlink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。
唐唐爱吃糖糖·2023-06-09 12:40
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他