分布式计算

XGBoost系列7——XGBoost的性能优化策略

目录写在开头1.XGBoost的并行计算原理1.1特征并行1.2数据并行1.3参数调整优化并行性能1.4多线程和分布式计算2.大规模数据集的分布式训练2.1分布式训练原理2.2集群配置2.3参数调整2.4
theskylife·2024-01-26 21:21

大数据开发必备工具——Hadoop及整体架构介绍

Hadoop是一个由Apache软件基金会开发的开源Java软件框架，专为大数据处理设计，支持在大量计算机组成的集群上进行数据存储和分布式计算。
love6a6·2024-01-26 21:03

链化未来共识协议详解（上）

1.共识协议简介Byzantinefaulttolerance(BFT)问题[1]描述了在分布式计算
区块奇点·2024-01-26 16:09

Day 1322：架构师训练营学习总结（w13）

Spark的分布式计算也都是以RDD为单位展开分片、任务调度。网页排名算法PageR
kafkaliu·2024-01-25 22:18

上万字详解Spark Core（建议收藏）

原因1：优秀的数据模型和丰富计算抽象Spark产生之前，已经有MapReduce这类非常成熟的计算系统存在了，并提供了高层次的API(map/reduce)，把计算运行在集群中并提供容错能力，从而实现分布式计算
废柴程序员·2024-01-25 09:06

边缘计算的挑战和机遇

目录数据安全与隐私保护网络稳定性与可靠性实时性与性能优化异构性与兼容性应用场景与商业模式技术趋势与未来发展概述：边缘计算是一种分布式计算框架，它使得数据处理更接近数据源，例如物联网（IoT）设备或本地边缘服务器
村口曹大爷·2024-01-24 19:32

NOC总线(1)

NoC(NetworkonChip)借鉴了分布式计算系统的通讯方式，采用数据路由和分组交换技术替代传统的总线结构，从体系结构上解决了So
biaobiao_hust·2024-01-23 09:05

分布式理论(一)——一致性理论基础

之后，CAP理论正式成为分布式计算领域的公认定理。
云拾·2024-01-23 07:22

RPC框架简介

RPC的目的就是让构建分布式计算（应用）更加简单，在提供强大的调用远程调用的同时不失去简单的本地调用的语义简洁性RPC整体架构服务端启动时首先将自己的服务节点信息注册到注册中心，客户端调用远程方法时会订阅注册中心中的可用服务节点信息
努力学习的小飞侠·2024-01-22 23:01

(转载)Netty高性能之Reactor线程模型

作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，一些业界著名的开源组件也基于Net
树心图物·2024-01-22 08:00

看看关系型数据库是怎么吊打Hadoop的

所以在不少架构中，会看到使用ETL的方式将数据库送到Hadoop中，使用其分布式存储和分布式计算的特点来进行分析。
薛晓刚·2024-01-22 02:58

02-黑马程序员大数据开发：分布式计算和分布式资源调度

1.分布式计算概述目标：了解什么是计算？什么是分布式计算？计算是对数据进行处理，使用统计分析等手段得到需要的结果；分布式计算是多台服务器协同工作，共同完成一个计算任务。
S1406793·2024-01-21 08:52

Hadoop入门概述

Hadoop是一个开源的分布式计算框架，主要用于处理和存储大规模数据集。
转身成为了码农·2024-01-21 07:41

Hive on Spark 和 Spark sql on Hive，你能分的清楚么

Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。HiveOnSpark配置（1）首先安装包要选择
捞起月亮的渔民丁·2024-01-21 06:18

Spark：SparkSQL与Hive on Spark（Shark）的比较

简要介绍了SparkSQL与HiveonSpark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。
花和尚也有春天·2024-01-21 06:17

拾肆：Spark with Hive和Hive on Spark

在Hive与Spark这对“万金油”组合中，Hive擅长元数据管理，而Spark的专长是高效的分布式计算，二者的结合可谓是“强强联合”。
for your wish·2024-01-21 06:47

Hive on Spark and Spark sql on Hive

Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。HiveOnSpark配置1、首先安装包要选择对，否则就没有开始了。Hive版本:apache-hive-2.1.1
请叫我小帅哥·2024-01-21 06:14

第二十八周周报

Diffusion-GAN模型在训练时就使用了分布式计算，但是ViTGAN的代码在生成器和
童、一·2024-01-20 22:49

Spark基础学习--基础介绍

1.Spark基本介绍1.1定义Spark是可以处理大规模数据的统一分布式计算引擎。
Yan_bigdata·2024-01-19 06:37

使用Apache Spark处理Excel文件的简易指南

对此，我们可借助ApacheSpark这一分布式计算框架，凭借其强大的计算与数据处理能力，快速有效地处理Excel数据。这些数据进行一个分析，整理
i查拉图斯特拉如是·2024-01-19 06:33

边缘计算的挑战与机遇：实时性、安全性与创新驱动

引言：边缘计算是一种分布式计算模型，它将计算和数据存储推向物理世界的边缘，靠近数据源和终端设备。这种模型的发展为企业提供了
梓德原·2024-01-18 21:43

大规模分布式系统架构与设计实战读书笔记

大规模分布式系统架构与设计实战彭渊59个想法1.1分布式计算、并行计算、云计算概述>>所谓分布式计算其实就是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理
vasco_he·2024-01-18 12:40

[动手学深度学习-PyTorch版]-8.4计算性能-多GPU计算

需要注意的是，这里我们谈论的是单主机多GPU计算而不是分布式计算。如果对分布式计算感兴趣可以参考PyTorch官方文档。本节中我们将展示如何使用多块GPU计算，例如，使用多块GPU训练同一个
蒸饺与白茶·2024-01-18 10:32

阿里云大数据ACA及ACP复习题（21~40)

（D）A:HDFSB:DFSC:RDDD:MapReduce解析：MAPREDUCE（分布式运算编程框架）22.以下选项中不属于MaxCompute特点的是(D)A:支持多种多种经典的分布式计算模型B:
周周的奇妙编程·2024-01-18 03:08

第十一周周报

文章目录摘要分布式计算数据增广微调总结摘要本周学习了分布式计算、使用多GPU训练情况及它与单GPU训练之间的比较，数据增广概念及应用的情况实例，和迁移学习中微调的技巧使用。
Joy_moon·2024-01-17 15:42

边缘计算的挑战和机遇

因此，边缘计算既带来了挑战也带来了机遇，需要我们不断地研究和创新，以应对日益复杂的应用场景和技术需方向一：数据安全与隐私保护边缘计算是一种分布式计算模型，它将数据处理和存储功能从中心化的云端移到接近数据源的边缘设备上
Direct_Yang·2024-01-17 13:32

介绍 Apache Spark 的基本概念和在大数据分析中的应用

ApacheSpark是一个开源的分布式计算系统，它旨在处理大规模数据集并提供高性能和易用性。Spark提供了一个统一的编程模型，可以在多种编程语言中使用，包括Scala、Java、Python和R。
酷爱码·2024-01-17 11:45

边缘计算的挑战和机遇

边缘计算是一种分布式计算框架，它将应用程序、数据和计算服务带离集中式数据中心，靠近用户和数据源的位置。这种方法可以减少延迟，提高服务速度，并可能改善数据安全性和隐私性。
终将老去的穷苦程序员·2024-01-17 03:15

2021UpdateC#.NET笔试题高级进阶篇

3.3分布式数据和存储3.4分布式计算。3.5
微软MVP Eleven·2024-01-16 10:11

mac上搭建 hadoop 伪集群

1.hadoop介绍Hadoop是Apache基金会开发的一个开源的分布式计算平台，主要用于处理和分析大数据。Hadoop的核心设计理念是将计算任务分布到多个节点上，以实现高度可扩展性和容错性。
寂夜了无痕·2024-01-16 06:30

Hadoop分布式文件系统(三)

目录一、Hadoop1、MapReduce1.1、理解MapReduce思想1.2、分布式计算概念1.3、MapReduce介绍1.4、MapReduce特点1.5、MapReduce局限性1.6、MapReduce
杀神lwz·2024-01-16 06:57

MapReduce总结

执行分布式计算和任务处理split读取数据，一个map任务处理一个分片，通常一个分片对应一个HDFS文件Block。
w未然·2024-01-16 05:51

如何利用云平台技术实现车辆远程控制的浅谈

数据处理与存储：在云端，利用云计算的分布式计算技术，对数据进行处理、分析和存储。此外，还可以利用机器
MarkHD·2024-01-16 00:14

2019-07-14 CAP理论小结

2002年，麻省理工学院的赛斯吉尔伯托和南希林奇发表了猜想的证明，使之成为分布式计算领域公认的一个定理。
hexm01·2024-01-15 18:32

2022-01-03大数据学习日志——Hadoop离线阶段——Hadoop MapReduce、YARN、HA

学习目标理解分布式计算分而治之的思想学会提交MapReduce程序掌握MapReduce执行流程掌握YARN功能与架构组件掌握程序提交YARN交互流程理解YARN调度策略掌握HadoopHA实现原理内容大纲
王络不稳定·2024-01-15 14:37

【AI】无人零售和边缘计算

1.1边缘计算的定义1.2边缘计算的作用1.3边缘计算的关键技术1.4边缘计算的应用场景二、边缘计算在无人零售中的应用一、什么是边缘计算1.1边缘计算的定义边缘计算（EdgeComputing）是一种分布式计算范式
giszz·2024-01-15 10:59

分布式计算平台 Hadoop 简介

Hadoop简介Hadoop是一种分析和处理大数据的软件平台，是一个用Java语言实现的Apache的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。
rookiexiong·2024-01-15 08:19

HCIA---学习笔记01

计算机网络基础HCIA---华为认证的初级网络工程师HCIP---华为认证的高级网络工程师HCIE---华为认证的专家级网络工程师计算机网络的基本结构图：云技术的分类云计算（分布式计算即使用多台计算机处理一项任务
江水三千里·2024-01-15 00:29

边缘计算的挑战和机遇：数据的安全性和隐私性问题

在分布式计算环境中，如何确保边缘计算中的数据安全性和隐私性成为亟待解决的问题。本文将深入讨论在边缘计算中设计有效的安全机制和隐私保护算法，以防止数据泄露和篡改。
Persus·2024-01-13 17:47

边缘计算中的数据安全与隐私保护：挑战与应对策略

边缘计算将数据处理和分析的任务从中心化的数据中心转移到了设备端，这种分布式计算模式虽然带来了许多优势，如更快的响应速度、更低的网络带宽需求以及更好的隐私保护，但也带来了新的安全挑战。
隐私无忧·2024-01-13 17:43

什么是“算力”？

在云计算之前，人类苦于单点式计算（一台大型机或一台PC，独立完成全部的计算任务）的算力不足，已经尝试过网格计算（把一个巨大的计算任务，分解为很多的小型计算任务，交给不同的计算机完成）等分布式计算架构。
三千世界灬·2024-01-13 16:46

Spark十一：面试问题

spark是借鉴了Mapreduce,并在其基础上发展起来的，继承了其分布式计算的优点并进行了改进，spark生态更为丰富，功能更为强大，性能更加适用范围广，mapred
eight_Jessen·2024-01-13 07:57

Spark Streaming

Spark由于其内部优秀的调度机制、快速的分布式计算能力，能够以极快的速度进行迭代计算。正是
奋斗的蛐蛐·2024-01-13 06:13

边缘计算：连接实时数据的力量与未来发展之路

边缘计算是一种分布式计算范式，它旨在将数据处理、存储和应用服务带到数据源的近端，即网络的“边缘”。
一尘之中·2024-01-13 05:16

Hadoop 的核心 —— HDFS（1）

Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=HDFS（分布式文件系统）+MapReduce（分布式计算）Hadoop的两个核心：HDFS分布式文件系统：存储是大数据技术的基础
土冥王·2024-01-12 16:13

云计算技术学习书籍推荐

云计算是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。从应用方面理解，云计算，是一种分布式计算，充分利用资源，实现资源的共享。
QFdongdong·2024-01-12 03:32

spark基础--学习笔记

1spark介绍1.1spark概念ApacheSpark是专为大规模数据处理而设计的快速通用的分布式计算引擎，是开源的类HadoopMapReduce的通用分布式计算框架。
祈愿lucky·2024-01-11 07:58

hive sql 和 spark sql的区别

SparkSQL：SparkSQL则建立在ApacheSpark引擎之上，使用了Spark的弹性分布式计算能力。由于Spark的内存
深度学习研究员·2024-01-11 07:08

ROS分布式框架搭建

我们还需要做些准备工作：为Jetsonnano连接无线网络，并且设置固定IP，实现如下：为Jetsonnano连接无线网络；为Jetsonnano配置静态IP，具体操作如图：2ROS分布式通信  ROS是一个分布式计算环境
Nav.·2024-01-11 05:59

云和云计算

1.概述云计算是分布式计算技术的一种，它的原理是通过网络“云”，将所运行的
三千世界灬·2024-01-11 02:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他