IT->分布式计算

网络 防御 笔记

一个由信息基础设施（计算机、路由器、交换机等）组成的相互依赖的网络我国官方文件定义：网络空间为继海，陆，空，天以外的第五大人类活动领域通信保密阶段---计算机安全阶段---信息系统安全---网络空间安全云计算--分布式计算云原生终极目标
Snow_flake_·2024-01-30 01:09

大数据 - Hadoop系列《三》- MapReduce（分布式计算引擎）概述

大数据-Hadoop系列《三》-HDFS（分布式文件系统）概述-CSDN博客目录12.1针对MapReduce的设计构思1.如何对付大数据处理场景2.构建抽象编程模型3.统一架构、隐藏底层细节12.2分布式计算概念
王哪跑nn·2024-01-29 23:31

什么是智慧城市

物联网（IoT）将改变我们的城市生活方式，实现实时数据分析和即时行动和响应的分布式计算
心之旅静待花开·2024-01-29 17:56

Hadoop面试题及参考答案

3.1YARN：YetAnotherResourceNegotiator，是一种新的Hadoop资源管理器3.2HDFS：分布式文件管理系统3.3MapReduce：分布式计算框架，采用Master/Slave
zuolixiangfisher·2024-01-29 06:02

分布式最优化：算法与架构

随着数据规模的增加，单机计算的能力已经无法满足需求，因此需要借助分布式计算来解决这些问题。
OpenChat·2024-01-29 04:06

数据中心大型AI模型所需的网络需求

为了适应大规模训练集群中高效分布式计算的需求，大
audrey-luo·2024-01-27 19:13

使用Ray轻松进行Python分布式计算

本文介绍了分布式计算的概念，并使用开源Python库Ray编写可在分布式系统上运行的可扩展代码。
Python学研大本营·2024-01-27 10:12

【Scala-spark.mlib】分布式矩阵——分布式计算的基石与利器

CoordinateMatrix类5.IndexedRowMatrix类6.RowMatrix类7.小结1.mlib.linalg.distributed包  矩阵计算是很多科学计算的重要步骤，而分布式矩阵存储则是分布式计算的基础
JimmyShis·2024-01-27 10:12

矩阵乘法的分布式计算架构

因此，研究矩阵乘法的分布式计算架构变得尤为重要。本文将从以下几个方面进行阐述：背景介绍核心概念与联系核心算法原理和具体操作步骤以及数学模型公式详细讲解具体代码实例和详细
OpenChat·2024-01-27 10:34

Hadoop三大核心组件，hadoop原理

HadoopMapReduce分布式计算框架一.HDFS1.HDFS概述HDFS是google三大论文之一的GFS的开源实现，是一个高度容错性的系统，适合部署
你敢和我比剑吗·2024-01-27 09:03

[AIGC] 后台开发者必看：大数据背景下的关键技能与难点

文章目录后台开发者必看：大数据背景下的关键技能与难点关键技能1.数据结构和算法2.分布式计算3.数据库技术4.编程语言难点1.数据安全2.高并发访问3.数据清洗与预
专注于Java中间件的程序员木木·2024-01-27 07:30

实时分析海量新数据的难点 和解决方案

解决方案：使用分布式计算和存储技术，如Hadoop、Spark、Kafka等，将数据分散存储在多个节点上，同时进行分布式计算和处理，以实现数据的实时处理和分析。2.数据质量的保障：海量新
云台095·2024-01-27 03:40

[AIGC 大数据基础] 浅谈hdfs

HDFS是为了支持Hadoop的分布式计算和存储而开发的，是Hadoop的核心组件之一。它可以在普通的硬件上运行，并且可以适应大型数据集和并行计算的需求。HDFS使
程序员三木·2024-01-27 01:00

XGBoost系列7——XGBoost的性能优化策略

目录写在开头1.XGBoost的并行计算原理1.1特征并行1.2数据并行1.3参数调整优化并行性能1.4多线程和分布式计算2.大规模数据集的分布式训练2.1分布式训练原理2.2集群配置2.3参数调整2.4
theskylife·2024-01-26 21:21

大数据开发必备工具——Hadoop及整体架构介绍

Hadoop是一个由Apache软件基金会开发的开源Java软件框架，专为大数据处理设计，支持在大量计算机组成的集群上进行数据存储和分布式计算。
love6a6·2024-01-26 21:03

链化未来共识协议详解（上）

1.共识协议简介Byzantinefaulttolerance(BFT)问题[1]描述了在分布式计算
区块奇点·2024-01-26 16:09

Day 1322：架构师训练营学习总结（w13）

Spark的分布式计算也都是以RDD为单位展开分片、任务调度。网页排名算法PageR
kafkaliu·2024-01-25 22:18

上万字详解Spark Core（建议收藏）

原因1：优秀的数据模型和丰富计算抽象Spark产生之前，已经有MapReduce这类非常成熟的计算系统存在了，并提供了高层次的API(map/reduce)，把计算运行在集群中并提供容错能力，从而实现分布式计算
废柴程序员·2024-01-25 09:06

边缘计算的挑战和机遇

目录数据安全与隐私保护网络稳定性与可靠性实时性与性能优化异构性与兼容性应用场景与商业模式技术趋势与未来发展概述：边缘计算是一种分布式计算框架，它使得数据处理更接近数据源，例如物联网（IoT）设备或本地边缘服务器
村口曹大爷·2024-01-24 19:32

NOC总线(1)

NoC(NetworkonChip)借鉴了分布式计算系统的通讯方式，采用数据路由和分组交换技术替代传统的总线结构，从体系结构上解决了So
biaobiao_hust·2024-01-23 09:05

分布式理论(一)——一致性理论基础

之后，CAP理论正式成为分布式计算领域的公认定理。
云拾·2024-01-23 07:22

RPC框架简介

RPC的目的就是让构建分布式计算（应用）更加简单，在提供强大的调用远程调用的同时不失去简单的本地调用的语义简洁性RPC整体架构服务端启动时首先将自己的服务节点信息注册到注册中心，客户端调用远程方法时会订阅注册中心中的可用服务节点信息
努力学习的小飞侠·2024-01-22 23:01

ORM Bee设计思想与功能思维导图

IT->AiTeaAITeaBee是一个具有人工智能(AI)特性，省时/优雅、简易、自动(AiTea:Timesaving/Ta
abckingaa·2024-01-22 21:23

(转载)Netty高性能之Reactor线程模型

作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，一些业界著名的开源组件也基于Net
树心图物·2024-01-22 08:00

看看关系型数据库是怎么吊打Hadoop的

所以在不少架构中，会看到使用ETL的方式将数据库送到Hadoop中，使用其分布式存储和分布式计算的特点来进行分析。
薛晓刚·2024-01-22 02:58

02-黑马程序员大数据开发：分布式计算和分布式资源调度

1.分布式计算概述目标：了解什么是计算？什么是分布式计算？计算是对数据进行处理，使用统计分析等手段得到需要的结果；分布式计算是多台服务器协同工作，共同完成一个计算任务。
S1406793·2024-01-21 08:52

Hadoop入门概述

Hadoop是一个开源的分布式计算框架，主要用于处理和存储大规模数据集。
转身成为了码农·2024-01-21 07:41

Hive on Spark 和 Spark sql on Hive，你能分的清楚么

Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。HiveOnSpark配置（1）首先安装包要选择
捞起月亮的渔民丁·2024-01-21 06:18

Spark：SparkSQL与Hive on Spark（Shark）的比较

简要介绍了SparkSQL与HiveonSpark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。
花和尚也有春天·2024-01-21 06:17

拾肆：Spark with Hive和Hive on Spark

在Hive与Spark这对“万金油”组合中，Hive擅长元数据管理，而Spark的专长是高效的分布式计算，二者的结合可谓是“强强联合”。
for your wish·2024-01-21 06:47

Hive on Spark and Spark sql on Hive

Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。HiveOnSpark配置1、首先安装包要选择对，否则就没有开始了。Hive版本:apache-hive-2.1.1
请叫我小帅哥·2024-01-21 06:14

数据结构暑期自学--MOOC浙江大学pta（7-13 统计工龄）

=mp.end();it++){if(it->second!=0)printf("%d:%d\n",i
rootting·2024-01-21 00:30

第二十八周周报

Diffusion-GAN模型在训练时就使用了分布式计算，但是ViTGAN的代码在生成器和
童、一·2024-01-20 22:49

Spark基础学习--基础介绍

1.Spark基本介绍1.1定义Spark是可以处理大规模数据的统一分布式计算引擎。
Yan_bigdata·2024-01-19 06:37

使用Apache Spark处理Excel文件的简易指南

对此，我们可借助ApacheSpark这一分布式计算框架，凭借其强大的计算与数据处理能力，快速有效地处理Excel数据。这些数据进行一个分析，整理
i查拉图斯特拉如是·2024-01-19 06:33

边缘计算的挑战与机遇：实时性、安全性与创新驱动

引言：边缘计算是一种分布式计算模型，它将计算和数据存储推向物理世界的边缘，靠近数据源和终端设备。这种模型的发展为企业提供了
梓德原·2024-01-18 21:43

大规模分布式系统架构与设计实战读书笔记

大规模分布式系统架构与设计实战彭渊59个想法1.1分布式计算、并行计算、云计算概述>>所谓分布式计算其实就是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理
vasco_he·2024-01-18 12:40

[动手学深度学习-PyTorch版]-8.4计算性能-多GPU计算

需要注意的是，这里我们谈论的是单主机多GPU计算而不是分布式计算。如果对分布式计算感兴趣可以参考PyTorch官方文档。本节中我们将展示如何使用多块GPU计算，例如，使用多块GPU训练同一个
蒸饺与白茶·2024-01-18 10:32

阿里云大数据ACA及ACP复习题（21~40)

（D）A:HDFSB:DFSC:RDDD:MapReduce解析：MAPREDUCE（分布式运算编程框架）22.以下选项中不属于MaxCompute特点的是(D)A:支持多种多种经典的分布式计算模型B:
周周的奇妙编程·2024-01-18 03:08

第十一周周报

文章目录摘要分布式计算数据增广微调总结摘要本周学习了分布式计算、使用多GPU训练情况及它与单GPU训练之间的比较，数据增广概念及应用的情况实例，和迁移学习中微调的技巧使用。
Joy_moon·2024-01-17 15:42

边缘计算的挑战和机遇

因此，边缘计算既带来了挑战也带来了机遇，需要我们不断地研究和创新，以应对日益复杂的应用场景和技术需方向一：数据安全与隐私保护边缘计算是一种分布式计算模型，它将数据处理和存储功能从中心化的云端移到接近数据源的边缘设备上
Direct_Yang·2024-01-17 13:32

介绍 Apache Spark 的基本概念和在大数据分析中的应用

ApacheSpark是一个开源的分布式计算系统，它旨在处理大规模数据集并提供高性能和易用性。Spark提供了一个统一的编程模型，可以在多种编程语言中使用，包括Scala、Java、Python和R。
酷爱码·2024-01-17 11:45

边缘计算的挑战和机遇

边缘计算是一种分布式计算框架，它将应用程序、数据和计算服务带离集中式数据中心，靠近用户和数据源的位置。这种方法可以减少延迟，提高服务速度，并可能改善数据安全性和隐私性。
终将老去的穷苦程序员·2024-01-17 03:15

2021UpdateC#.NET笔试题高级进阶篇

3.3分布式数据和存储3.4分布式计算。3.5
微软MVP Eleven·2024-01-16 10:11

mac上搭建 hadoop 伪集群

1.hadoop介绍Hadoop是Apache基金会开发的一个开源的分布式计算平台，主要用于处理和分析大数据。Hadoop的核心设计理念是将计算任务分布到多个节点上，以实现高度可扩展性和容错性。
寂夜了无痕·2024-01-16 06:30

Hadoop分布式文件系统(三)

目录一、Hadoop1、MapReduce1.1、理解MapReduce思想1.2、分布式计算概念1.3、MapReduce介绍1.4、MapReduce特点1.5、MapReduce局限性1.6、MapReduce
杀神lwz·2024-01-16 06:57

MapReduce总结

执行分布式计算和任务处理split读取数据，一个map任务处理一个分片，通常一个分片对应一个HDFS文件Block。
w未然·2024-01-16 05:51

如何利用云平台技术实现车辆远程控制的浅谈

数据处理与存储：在云端，利用云计算的分布式计算技术，对数据进行处理、分析和存储。此外，还可以利用机器
MarkHD·2024-01-16 00:14

2019-07-14 CAP理论小结

2002年，麻省理工学院的赛斯吉尔伯托和南希林奇发表了猜想的证明，使之成为分布式计算领域公认的一个定理。
hexm01·2024-01-15 18:32

2022-01-03大数据学习日志——Hadoop离线阶段——Hadoop MapReduce、YARN、HA

学习目标理解分布式计算分而治之的思想学会提交MapReduce程序掌握MapReduce执行流程掌握YARN功能与架构组件掌握程序提交YARN交互流程理解YARN调度策略掌握HadoopHA实现原理内容大纲
王络不稳定·2024-01-15 14:37
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他