分布式计算

【分布式计算】二、架构(Architectures)

1.中心化架构（CentralizedArchitectures）1.1.经典C/S模型服务器：一个或多个进程提供服务客户端：一个或多个进程使用服务客户端和服务器可以在不同的机器上客户端遵循请求/回复模型1.2.传统三层视图用户界面层（User-interfacelayer）：包含了用于应用程序用户界面的单元，例如：显示display处理层（Processinglayer）：包含应用程序的功能，即
JaxHur·2023-09-30 02:39

spark笔记

spark分布式计算框架spark不是部署分布式的只是client而已=》hivespark支持分布式部署=》standalone1.spark产生背景？
qq_47721411·2023-09-29 06:59

介绍大数据处理架构Hadoop以及其生态系统

Hadoop简介Hadoop是一个开源的、可运行于大规模集群上的分布式计算平台，它实现了MapReduce计算模型和分布式文件系统HDFS等功能，在业内得到了广泛的应用，同时也成为大数据的代名词，借助于
转身丶即天涯·2023-09-29 04:40

2023年大数据面试题--转载

@[TOC]2023年大数据面试题–转载(HDFS)和MapReduceHadoop是一个开源的分布式计算框架，由两部分组成：HadoopDistributedFileSystem(HDFS)和MapReduce
李先生真号·2023-09-29 01:22

TensorFlow 的基本概念和使用场景

它使用数据流图来表示计算模型，这使得其在高效的分布式计算、GPU加速计算和可视化模型部署方面表现出色。TensorFlow的基本概念包括：1.张量（Tensor）：TensorFlow的基本数
虎头金猫·2023-09-28 12:21

2020-03-19

云计算与服务器整合的价值分布式计算技术的价格下落以及预算自由已导致了特定应用程序服务器的增长。
宇众一一·2023-09-28 02:22

Java应用|使用Apache Spark MLlib构建机器学习模型

一、引言1.1SparkMLlib简介ApacheSparkMLlib（MachineLearninglibrary）是一个开源机器学习框架，建立在ApacheSpark之上，支持分布式计算和大规模数据处理
青年老年程序员·2023-09-27 11:21

Spark集成ClickHouse(笔记)

前言：在大数据处理和分析领域，Spark是一个非常强大且广泛使用的开源分布式计算框架。而ClickHouse则是一个高性能、可扩展的列式数据库，特别适合用于实时分析和查询大规模数据。
小辉懂编程·2023-09-27 11:16

Hadoop笔记（一）

在大数据领域提出了两个概念：分布式文件系统，用于存储大量的数据分布式计算框架MapReduce，高效地分析数据以上两个概念组成了一个名词叫HadoopHadoop的起源谷歌发布了三篇论文：GFS分布式存储系统
lew1sss·2023-09-27 08:50

华为十年架构师实战经验总结：大规模分布式系统架构与设计实战

image.png本篇从分布式计算的基本概念开始，解剖了众多流行概念的本质，深入讲解分布式系统的基本原理与实现方式，包括
程序员阿远·2023-09-27 05:11

数据库缓存服务器集群 redis集群

提升数据库性能，缓解数据库压力2.NoSql产品产品:redis,mongodb,memcached名词解释：非关系型数据库以键值对的方式存储数据---（Key-Value）的形式3.NoSql的优点高可扩展性分布式计算低成本架构的灵活性
秀吖呀·2023-09-27 03:19

【Java 基础篇】Java网络编程实战：P2P文件共享详解

P2P（Peer-to-Peer）文件共享是一种分布式计算模型，其中每个计算机或设备都可以充当客户端和服务器。这意味着每台计算机都可以上传和下载文件，而不仅仅是从一个中心
繁依Fanyi·2023-09-26 21:53

细胞机器人系统的概念

此外，还解释了细胞机器人系统的概念在分布式计算、分子计算、自组织和可靠性方面的意义。1.引言解决的问题类型本文为设计一种新型机器人系统奠定了概念基础。该
岳野·2023-09-26 11:11

Confidential Compute Architecture - Arm构架的TEE新模式

1简介如今，云计算在分布式计算资源按需使用方面起着重要的作用。许多公司，如亚马逊、谷歌或微软都提供云服务，但使用这些服务需要信任服务提供商。
代码改变世界ctw·2023-09-25 18:36

GO语言从入门到实战-Go语言课程介绍

Go语言的初步设想始于2007年，当时Go语言的三位创始人是想通过开发一种新型的语言来解决Google在软件开发中面临的问题：多核硬件架构；超大规模分布式计算集群；Web开发模式导致的前所未有的开发规模和更新速度
云尔Websites·2023-09-25 14:38

GO语言从入门到实战-Go语言简介：历史背景、发展现状及语言特性

一、简述Go语言背景和发展1.软件开发的新挑战多核硬件架构超大规模分布式计算集群Web模式导致的前所未有的开发规模和更新速度2.Go的三位创始人RobPikeUnix的早期开发者UTF-8创始人KenThompsonUnix
云尔Websites·2023-09-25 14:38

云计算与大数据——Spark的安装和配置

云计算与大数据——Spark的安装和配置Spark的简单介绍：ApacheSpark是一个基于内存的分布式计算框架，它提供了高效、强大的数据处理和分析能力。
星川皆无恙·2023-09-25 05:10

5W字讲解最新大数据面试题

本文目录：一、Hadoop二、Hive三、Spark四、Kafka五、HBase六、Flink七、数仓业务方面八、算法HadoopHadoop中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架
无精疯·2023-09-24 20:59

第6章 云数据库

云数据库概述云计算是分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等计算机和网络技术发展融合的产物。云计算是由一系列可以动态升级和被虚拟化的资源组成。
wyz191·2023-09-24 16:44

XSRE那些事

自省SRE是工程师，SRE使用计算科学和软件工程手段设计和研发大型、分布式计算机软件系统。SRE并不是无止境的追求完美，当一个系统足够可靠时，SRE会把精力转向新功能或新产品的研发中。
商未央·2023-09-24 07:35

大数据学习技术栈及书籍推荐

一、Hadoop集群Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。它提供了可靠性、可扩展性和容错性，使得处理大数据变得更加高效
AI_Frank·2023-09-24 01:14

大数据分布式处理框架Hadoop

Hadoop是什么Hadoop是开源的分布式计算技术框架，用于处理大规模数据和实现分布式存储。
真空零点能·2023-09-23 07:08

WEB集群与各种负载均衡简介 （资源）

应用程序可以通过网络共享内存进行消息传送，实现分布式计算机。
weixin_34044273·2023-09-23 03:20

大数据思想与应用

2.分布式计算:采用集群方式进行大规模并行计算,提高性能与计算能力。3.流式计算:对数据流进行近实时处理与计算,用于实时监控和决策。4.在线分析:可以快速对大规模数据进行交互式查询与多维分析。
密斯特.张先生·2023-09-22 12:17

大数据-hadoop

Apache、Cloudera、HortonworksApache版本最原始的版本Cloudera在大型互联网企业中用的较多Hortonworks文档较好1.4架构hadoop由三个模块组成分布式存储HDFS分布式计算
highly2009·2023-09-22 10:59

算力和LAXCUS分布式操作系统

然而，在分布式计算模式下，算力的提升则需要依靠软件层面的优化。LAXCUS分布
LAXCUS分布式操作系统·2023-09-22 07:16

计算机概述

并行则指同一时刻能运行多个指令，需要硬件支持，如多流水线、多核处理器或者分布式计算系统。共享共享是指系统中的资源可以被多个并发进程共同使用。有两种共享方式：互斥共享和同时共享。
Vinson武·2023-09-22 06:33

大数据学习之Hadoop

一、基础概念Hadoop包含HDFS和MapReduce，HDFS实现分布式存储，MapReduce实现数据分布式计算。HDFS：HDFS是由Namenode和Datanode组成。
我问你瓜保熟吗·2023-09-21 04:40

如何使用pyspark统计词频？

Spark允许用户将数据加载到多台计算机所建立的cluster集群的内存中存储，执行分布式计算，再加上Spark特有的内存运算，让执行速度大幅提升，非常适合用于机器学习的算法。
shadowcz007·2023-09-20 05:51

Python快捷处理大数据：掌握PySpark的基本原理和应用

而分布式计算框架是解决大数据处理问题的重要方式之一。在众多分布式计算框架中，ApacheSpark是最受欢迎的之一，并且其Python版本——PySpark也备受青睐。
ZP1008yy·2023-09-20 05:47

Hadoop分布式计算

Mapreduce概述Mapreduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题Mapreduce是分布式运行的，由两个阶段组成：Map和Reduce，Map阶段是一个独立的程序
coderLumia·2023-09-19 14:30

抖音矩阵系统源码：开发搭建

其次，抖音seo矩阵系统开发还需要专业的云计算技术支持，比如分布式计算、负载均衡等，以确保系统的高可用性和稳定性。同时，还需要熟悉MySQL、Redis等数据库技术，能够
云罗团团yx898978·2023-09-19 05:33

抖音seo矩阵系统源码开发技术

其次，抖音seo矩阵系统开发还需要专业的云计算技术支持，比如分布式计算、负载均衡等，以确保系统的高可用性和稳定性。同时，还需要熟悉MySQL、Redis等数据库技术，能够合理设计和优化数据存储结构，
开发者ylhd898978·2023-09-19 01:47

SONM和Teleport合作推出商业分布式CDN

分布式计算平台SONM和区块链驱动的CDN项目Teleport宣布合作，为TeleportCDN提供SONM平台上可用的计算资源。
区块熊·2023-09-18 19:12

HBase 数据库介绍

Hadoop使用分布式文件系统，用于存储大数据，并使用MapReduce分布式计算来处理。Hadoop擅长于存储各种格式的庞大的数据，任意的格式甚至非
.道不虚行·2023-09-18 18:09

学习分布式第一天（分布式系统原理和概念）

目录分布式系统原理和概念1.分布式系统：单体架构：垂直架构：分布式架构：2.分布式计算：3.CAP原理：4.BASE理论：5.Paxos算法：6.Raft算法：分布式系统原理和概念1.分布式系统：学习分布式
AMIOKATT·2023-09-18 05:44

hadoop HDFS分布式计算概述，MapReduce概述，YARN概述

1、分布式计算概述1.1、什么是（数据）计算我们一直在提及：分布式计算，分布式暂且不论，“计算”到底是指什么呢？
新征程，再出发·2023-09-18 03:30

人工智能前景如何？人工智能所对应到企业中是什么样的岗位呢？

目录分布式计算在硕士阶段主要是在干什么呢，主要修的课程是些什么呢？分布式计算所对应到企业中是什么样的岗位呢？分布式计算前景如何？人工智能在硕士阶段主要是在干什么呢，主要修的课程是些什么呢？
盛溪的猫猫·2023-09-18 03:54

北京大学数据科学与大数据技术专业

北京大学数学科学学院数据科学与大数据技术专业一、专业简介数据科学是运用概率统计、分布式计算、现代软件等综合知识探索来自商业贸易，生物医疗，金融证券，社交网络等众多领域的较大规模或结构复杂数据集的高效存储
13351·2023-09-17 23:53

Apache Spark 的基本概念和在大数据分析中的应用

ApacheSpark是一个基于内存的分布式计算系统，可用于大规模数据处理、数据分析和机器学习。
指引拟态没·2023-09-17 10:42

介绍 Apache Spark 的基本概念和在大数据分析中的应用。

它是基于内存计算的分布式计算系统，并且支持包括Scala、Java、Python等多种编程语言。
wxchqaz·2023-09-17 10:12

Apache Spark

Spark支持分布式计算，可以处理大量数据，具有高速的计算和处理能力。
taoyiwei17_QFOI·2023-09-17 10:11

【分布式计算】六、命名机制 Naming

1.基本思想：用于标记分布式系统中的实体2.purename:1、不能代表全部，随机字符串2、仅用于比较3.identifier(ID)：一个ID对应一个实体、一个实体对应一个实体、ID永远对应同一实体4.无层次命名（FlatNaming）  a.非结构化名称（unstructuredpoint)  b.定位相关接入点（associateedaccesspoint)    1.广播（broadca
JaxHur·2023-09-17 09:54

Apache Spark 的基本概念和在大数据分析中的应用

ApacheSpark是一种流行的开源大数据分析框架，它是建立在强大的分布式计算引擎基础上的，可以处理大规模的数据，并提供高性能的数据处理能力。
IKUN家族·2023-09-17 09:08

什么是存储计算分离架构？

1.背景首先我们谈谈Hadoop的背景，说到Hadoop起源，就离不开Google的三辆马车：GoogleFileSystem、MapReduce和BigTable，分别说了分布式文件系统、分布式计算MR
中关村_周某·2023-09-16 12:12

操作系统学习笔记---计算机系统概述

目录概念功能和目标特征并发共享（资源共享）虚拟异步发展与分类手工操作阶段（无OS）批处理阶段单道批处理系统多道批处理系统分时操作系统实时操作系统网络操作系统分布式计算机系统个人计算机操作系统操作系统运行环境内核态和用户态特权和非特权指令状态切换中断中断机制的基本原理系统调用按功能分类过程操作系统体系结构分层法模块化宏内核
清风千里.·2023-09-16 12:04

Hadoop：YARN、MapReduce、Hive操作

分布式计算概述分散->汇总模式：（MapReduce就是这种模式）1.将数据分片，多台服务器各自负责一部分数据处理2.然后将各自的结果，进行汇总处理3.最终得到想要的计算结果中心调度->步骤执行模式：（
独憩·2023-09-16 06:29

ubuntu系统安装hadoop

Hadoop分布式计算平台，核心是分布式文件系统HDFSubantu下安装jdkwgethttps://repo.huaweicloud.com/openjdk/18.0.1.1/openjdk-18.0.1.1
shigen01·2023-09-16 02:30

《十小时入门大数据》学习笔记之初识Hadoop

Hadoop概述1.1Hadoop名字的由来1.2Hadoop介绍1.3Hadoop能做什么Hadoop核心组件2.1HDFS(分布式文件系统)2.2YARN(资源调度系统)2.3MapReduce(分布式计算框架
腊月的梅花·2023-09-15 08:36

zookeeper

先说Paxos，它是一个基于消息传递的一致性算法，LeslieLamport在1990年提出，近几年被广泛应用于分布式计算中，Google的Chubby，Apache的Zookeeper都是基于它的理论来实现的
凤舞飘伶·2023-09-15 05:49
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他