分布式处理

大数据部分总结

HadoopHADOOP是apache旗下的一套开源软件平台提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理HADOOP的核心组件有HDFS（分布式文件系统）ARN（运算资源调度系统
DHRJFH·2023-07-31 09:14

day82 Flink 安装 Source 算子

自定义数据源（连接数据库）2、一些算子1map2keyby3reduce4agg5window6sideout有的没的Iknow,iknow地球另一端有你陪我一、FlinkApacheFlink是一个框架和分布式处理引擎
韭菜盒子123·2023-07-31 08:45

H3C构建中小型企业网络（NE）

H3CNE计算机网络概述计算机网络定义一组自治计算机互联的集合计算机网络基本功能资源共享综合信息服务分布式处理与负载均衡计算机网络的类型局域网LAN由用户自行建设，使用私有地址组建的网络城域网MAN由运营商或大规模企业建设
峰峰同学·2023-07-29 09:06

2024考研408-计算机网络 第一章-计算机网络体系结构学习笔记.md

文章目录前言一、计算机网络概述1.1、概念及功能1.1.1、计算机网络的概念1.1.2、计算机网络的功能功能1、数据通信功能2、资源共享功能3、分布式处理功能4、提高可靠性（分布式处理引申功能）功能5、
长路 ㅤ   ·2023-07-28 09:55

计算机基础专升本笔记六 -- 新一代信息技术

云计算也可以理解为向用户屏蔽底层差异的分布式处理架构，在云计算环境中，用户与实际服务提供的计算资源相分离，云端集合了大量计算设备和资源。  
LYQ_YXQ·2023-07-27 04:38

kafka安装使用总结篇

目前越来越多的开源分布式处理系统如Storm，Spark，Flink都支持与Kafka集成。现在我们的数据实时处理平台也使用到了kafka。
study_小达人·2023-07-26 14:56

分布式事务-本地消息表

本地消息表方案核心思路需要分布式处理的任务通过消息日志的方式来异步执行。消息日志可以存储到本地文本、数据库或消息队列，再通过业务规则自动或人工发起重试。
jiguansheng·2023-07-25 21:40

Hadoop生态体系-HDFS

2.5.2shell常用命令介绍3、HDFS基本原理3.1NameNode概述3.2Datanode概述1、ApacheHadoopHadoop：允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理
海星？海欣！·2023-07-25 17:17

高精度地图服务引擎项目

技术栈：使用vue3+TypeScript+ElementPlus+Pinia+axios项目描述：高精度地图服务引擎项目，提供轻量化处理+3D瓦片切片+分布式处理+分发服务的一站式解决方案工作内容：1
小刺猬_985·2023-07-25 14:21

云计算基本概念

IaaS主要组件PaaS主要组件SaaS主要组件云计算的典型特征云计算数据中心云计算应用领域引言前面一篇《大数据BigData基本概念》介绍了大数据基本概念，我们知道大数据两大核心问题就是分布式存储和分布式处理
wumingxiaoyao·2023-07-24 21:38

分布式系统设计与实现

分布式系统的主要特点是通过计算机网络互联，实现任务分割和分布式处理，以提高系统的可扩展性、可靠性和性能。
coder - w·2023-07-23 07:35

大数据技术原理与应用（第3版）期末复习

价值密度低大数据完全颠覆了传统的思维方式：全样而非抽样、效率而非精确、相关而非因果第三次信息化浪潮：云计算，物联网和大数据大数据的两大核心技术分布式存储：GFS/HDFS、BigTable/HBase、NoSQL分布式处理
Blancness·2023-07-21 00:21

Flink数据流

4.2pre-job-cluster模式五.Flink运行时架构5.1任务提交流程5.2如何实现并行计算5.3并行任务需要占用多少slot5.4一个流处理包含多少任务一.基本概念官网介绍ApacheFlink是一个框架和分布式处理引擎
呆萌小新@渊洁·2023-07-19 15:18

flink学习1-flink是什么

ApacheFlink是一个分布式处理引擎，在有界或无界数据流上进行有状态的计算。flink可以在所有通用的集群环境上运行，并且可以以内存级的速度进行大批量的计算。
ericjauy·2023-07-18 20:49

什么是分布式软件系统

分布式软件系统(DistributedSoftwareSystems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。
微服务商城技术分享·2023-07-15 20:51

Python分布式任务队列Celery

一、分布式任务队列Celery介绍Pythoncelery是一个基于Python的分布式任务队列，主要用于任务的异步执行、定时调度和分布式处理。
Lightning-py·2023-07-15 04:32

Hadoop和Hive的关系

1.Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop最核心的设计就是hdfs和mapreduce，hdfs提供存储，mapreduce用于计算。2.Hive是Hadoop的延申。
红乘以白·2023-07-14 20:32

云计算专业术语速查手册（1）云计算综合名词

而云计算是分布式处理、并行处理和网格计算的发展，或者说是这些计算机科学概念的商业实现，这将是一个时代的来临。如今，不论工作和生活，云计算几乎早已无处不在。
夜海天·2023-06-24 07:36

什么是分布式软件系统

分布式软件系统(DistributedSoftwareSystems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。
m0_72864708·2023-06-22 19:47

【大数据】大数据相关概念

Hadoop：是一个能够对大量数据进行分布式处理的软件框架，用户可以利用Hadoop生态体系开发和处理海量数据。由于Hadoop有可靠及高效的处理性能，使得它逐渐成为分析大数据的领先平台。
白白卡路里·2023-06-21 18:03

使用Scala中的XML解析整个文件夹下的xml，并忽略dtd检测

，必须这个文件存在，不然会报错处理思路：重写原有的方法语言对比：Java处理速度慢，并且代码量大，这儿不做考虑，其次python，由于需要处理的xml太过复杂，python需要写多层嵌套循环，并且不能分布式处理
大酱游说大数据·2023-06-21 12:19

TBB 开源库及并发 Hashmap 的使用

康俊老师在Raft一致性协议优化、分布式存储与调度、高可用双活容灾、多Region地理分区等分布式处理模块研发领域具备丰富经验，现负责KaiwuDB基础数据结构研发与设计。
KaiwuDB·2023-06-21 11:27

【计算机网络基础】第1章 习题

.执行计算机数据处理的软件模块B.由自治的计算机互联起来的集合体C.多个处理器通过共享内存实现的紧耦合系统D.用于共同完成一项任务的分布式系统计算机网络最基本的功能是(A)A.数据通信B.资源共享C.分布式处理
Want595·2023-06-19 20:02

什么是分布式软件系统

分布式软件系统(DistributedSoftwareSystems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。
微服务商城技术分享·2023-06-19 16:57

TBB 开源库及并发 Hashmap 的使用

康俊老师在Raft一致性协议优化、分布式存储与调度、高可用双活容灾、多Region地理分区等分布式处理模块研发领域具备丰富经验，现负责KaiwuDB基础数据结构研发与设计。
·2023-06-19 12:27

flink概述

文章目录flink概述flink应用场景重要特点事件驱动型(Event-driven)流与批的世界观分层api其它特点对比sparkstreamingflink概述ApacheFlink是一个框架和分布式处理引擎
sgxmr·2023-06-19 06:16

从Paxos到Raft

Paxos算法Paxos算法是分布式技术大师Lamport提出的，主要目的是通过这个算法，让参与分布式处理的每个参与者逐步达成一致意见。用好理
游杜渐·2023-06-19 04:40

大数据相关概念了解

Hadoop生态及Hive、HBase、Impala、HDFS之间的关系Hadoop生态(什么是Hadoop)ApacheHadoop软件库是一个框架，允许使用简单的编程模型在计算机集群之间对大型数据集进行分布式处理
java资深菜鸟·2023-06-17 06:23

六款超好用的大数据分析工具

一、大数据分析工具——HadoopHadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。
明月说数据·2023-06-16 17:27

大数据学习记录（hadoop hive flume azkaban sqoop）

大数据学习记录（hadoophiveflumeazkabansqoop）1.hadoop对海量数据进行分布式处理2.核心组件：HDFS（分布式文件系统）、YARN（运算资源调度系统）、MAPREDUCE
左上晨·2023-06-16 10:58

Scrapy_redis分布式和爬虫的部署

Scrapy_redisScrapy_redis提供了四个模块：Scheduler（调度器）DuplicationFilter（requst的去重过滤器）ItemPipeline（将Item存储在redis中以实现分布式处理
爱你如·2023-06-14 14:29

掌握这五点，成为月薪20K的高级Java程序员（另附全套视频教程）

1.你需要学习如何管理与配置一个J2EE应用程序服务器，如WebLogic、JBoss等，并且利用它的附加服务，例如簇类，连接池以及分布式处理支援。
3829a40ab7b9·2023-06-13 11:54

什么是分布式软件系统

分布式软件系统(DistributedSoftwareSystems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。
微服务商城技术分享·2023-06-12 18:47

Hadoop技术

允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。
章鱼哥TuNan&Z·2023-06-11 09:01

什么是分布式软件系统

分布式软件系统(DistributedSoftwareSystems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。
m0_72864708·2023-06-10 14:23

【Flink】flink简介

1.Flink是什么ApacheFlink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算2.Flink发展时间线2014年12月，Flink项目完成孵化2015年4月，Flink发布了里程碑式的重要版本
Learn Forever·2023-06-09 21:58

第一部分Flink概述

Flink第一部分Flink概述1、什么是FlinkApacheFlink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。
唐唐爱吃糖糖·2023-06-09 12:40

MPP技术的优势与严重缺陷

MPP代表"MassivelyParallelProcessing"，是一种计算机架构，旨在通过分布式处理来实现大规模数据处理和分析。它使用多个处理器或计算节点同时工作，以加快数据处理速度和提高性能。
桥路丶·2023-06-08 21:52

H3C 计算机网络概述

计算机网络概述计算机网络的定义计算机网络是一组自治计算机互连的集合计算机网络基本功能资源共享分布式处理与负载均衡综合信息服务计算机网络类型局域网（LAN）由用户自行建设，使用私有地址组建的内部网络城域网
爱摸鱼的小码农·2023-06-08 17:50

什么是分布式软件系统

分布式软件系统(DistributedSoftwareSystems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。
m0_72864708·2023-06-07 11:03

【Flink】DataStream API使用之Flink支持的数据类型

1.Flink的类型系统Flink作为一个分布式处理框架，处理的是以数据对象作为元素的流。
sdut菜鸟·2023-06-07 05:21

Flink

Flink概述ApacheFlink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。
不久之·2023-06-07 04:53

什么是分布式软件系统

分布式软件系统(DistributedSoftwareSystems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。
微服务商城技术分享·2023-06-06 23:00

初识神经网络(1)

神经网络是由简单处理单元构成的大规模并行分布式处理器，天然的具有存储经验知识和使之可用的特性。
universe_ant·2023-04-21 13:06

1.Scala基础语法-1

MartinOdersky在2001年开始开发ScalaSca（scalable）La（language）设计目标消除常见分布式处理的bugs让编程框架做规模决策让程序员根据需要进行控制1.1.2为什么学习
大勇若怯任卷舒·2023-04-19 09:13

Flink处理大型离线任务稳定性与性能调优探索

ApacheFlink作为分布式处理引擎，用于对无界和有界数据流进行状态计算。其中实时任务用于处理无界数据流，离线任务用于处理有界数据。
360技术·2023-04-16 08:33

数据通信与计算机网络A笔记

计算机网络概述计算机网络的形成与发展1.面向终端的计算机网络2.多主机互联的网络阶段3.开放式标准化计算机网络阶段4.网络互联与高速网络阶段计算机网络的定义1.定义2.梅特卡夫规则计算机网络的功能1.数据通信2.资源共享3.分布式处理和均衡负荷
野生稚晖君·2023-04-15 23:19

骁龙AR2平台解析：分布式架构开启轻量化AR眼镜新时代

高通面向轻量化AR眼镜推出了专属SoC：第一代骁龙AR2平台，这套方案将骁龙XR1、骁龙XR2的单片式方案，改为多芯片分布式SoC方案，同时融合了分离式渲染，实现一整套的AR/VR与智能手机、PC等设备的分布式处理方案
青亭网-·2023-04-14 16:41

计算机网络

今天我们来学习计算机网络一.概述定义将分散的具有独立功能的计算机系统通过通信设备与线路连接成一个网络由功能完善的软件使它们能够实现数据通信和资源共享的系统功能数据通信资源共享硬件软件数据分布式处理提高可靠性负载均衡工作方式边缘部分核心部分分类分布范围广域网
天空之小程·2023-04-14 09:11

大数据api、电商api（详细介绍）

大数据必须采用分布式架构，对海量数据进行分布式数据挖掘，因此必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。电商api电商API（ApplicationP
技术开发者Q：1744543107·2023-04-14 09:32
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他