分布式计算

（论文分析）边缘计算中基于深度强化学习的卸载博弈

论文题目：ADeepReinforcementLearningBasedOffloadingGameinEdgeComputing研究内容：利用基于策略梯度的深度强化学习设计分布式计算卸载算法，在用户网络带宽以及偏好信息不公开情况下如何设计一种有效的卸载策略来决定哪些任务可以卸载到资源有限的边缘服务器
qq_45948088·2022-11-24 00:18

动手学习深度学习

Inception、ResNet循环神经网络：RNN、GRU、LSTM、seq2seq注意力机制：Attention、Transformer优化算法：SGD、Momtentum、Adam高性能计算：并行、多GPU、分布式计算机视觉
福尔摩东·2022-11-23 14:27

139.深度学习分布式计算框架-2

139.1SparkMLllibMLlib(MachineLearniglib)是Spark对常用的机器学习算法的实现库，同时包括相关的测试和数据生成器。MLlib是MLBase一部分，其中MLBase分为四部分：MLlib、MLI、MLOptimizer和MLRuntime。MLOptimizer会选择它认为最适合的已经在内部实现好了的机器学习算法和相关参数，来处理用户输入的数据，并返回模型或别
大勇若怯任卷舒·2022-11-23 08:32

138.深度学习分布式计算框架-1

138.1PaddlePaddlePaddlePaddle是百度开源的一个深度学习平台PaddlePaddle为深度学习研究人员提供了丰富的API，可以轻松地完成神经网络配置，模型训练等任务。官方文档中简易介绍了如何使用框架在线性回归识别数字图像分类词向量个性化推荐情感分析语义角色标注机器翻译等方面的应用138.2Deeplearning4jDeepLearning4J（DL4J）是一套基于Jav
大勇若怯任卷舒·2022-11-23 08:02

140.深度学习分布式计算框架-3

140.1HorovodHorovod是Uber开源的又一个深度学习工具，它的发展吸取了Facebook「一小时训练ImageNet论文」与百度RingAllreduce的优点，可为用户实现分布式训练提供帮助。Horovod支持通过用于高性能并行计算的低层次接口–消息传递接口(MPI)进行分布式模型训练。有了MPI，就可以利用分布式Kubernetes集群来训练TensorFlow和PyTorch
大勇若怯任卷舒·2022-11-23 08:26

浅谈云计算基本原理

目录一、大数据的计算二、理论基础一、大数据的计算云计算基于：1.大规模的分布式计算和存储2.通过网络访问，方便用户通过多种接入方式1.与大数据的关系通俗点说，我们要是以大数据为数据源，以云计算为工具，从而达成我们的目标
liangsena·2022-11-22 13:38

2021-11-04

的几篇文章收藏MATLABscriptsforalternatingdirectionmethodofmultipliershttps://web.stanford.edu/~boyd/papers/admm/分布式计算
Mouse_Y·2022-11-22 07:11

Spark、Filnk简单介绍

Spark是一个分布式计算平台。所谓分布式，指的是计算节点之间不共享内存，需要通过网络通信的方式交换数据。
bugmaker.·2022-11-21 21:33

边缘计算的 4 种类型都有哪些？

边缘计算被认为是分布式计算的下一个前沿。然而，并不是每个人都知道什么是边缘计算以及存在多种类型的边缘计算。简单地说，边缘计
CSDN云计算·2022-11-21 09:29

WSL2 编译安装pytorch1.7.0

WSL2要使用多显卡分布式计算，只能安装NCCL2.11.4及以上版本，因此需要通过源码编译安装pytorch1.7.0。本博客适用于连接github不畅的用户。
cascgu·2022-11-21 08:49

论文阅读笔记 - Pregel

://blog.csdn.net/colorant/article/details/8256145阅读笔记-Pregel:ASystemforLarge-ScaleGraphProcessing关键字分布式计算
彩色蚂蚁·2022-11-20 22:21

云计算基础

便捷且按需对一个共享的可配置资源（包括网络、服务器、存储、应用和服务）进行网络访问的模式，它能通过最少量的管理以及与服务提供商的互动实现计算资源的迅速供给和释放二、云计算的基石是虚拟化云计算是对并行计算、网格计算、分布式计算技术的发
語衣·2022-11-20 20:38

分布式机器学习原理及实战(Pyspark)

自2003年Google公布了3篇大数据奠基性论文，为大数据存储及分布式处理的核心问题提供了思路：非结构化文件分布式存储（GFS）、分布式计算（MapReduce）及结构化数据存储（BigT
算法进阶·2022-11-20 18:42

大数据与云计算概论简介

简述大数据与云计算大数据与云计算概论1#简介云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且常为虚拟化的资源，是并行计算，分布式计算，效用计算，面向服务架构等概念混合演进后商业实现的结果
小刘醒不来。·2022-11-20 16:06

Hadoop+Spark+Hive

Hadoop简介Hadoop采用MapReduce分布式计算框架，根据GFS原理开发了HDFS（分布式文件系统），并根据BigTable原理开发了HBase数据存储系统。
呆鸡.·2022-11-20 10:45

操作系统的奋斗（一）

（3）虚拟（4）异步1.1.3操作系统的目标和功能1.2操作系统发展史（1）手工操作阶段（此阶段无操作系统）（2）批处理阶段（操作系统开始出现）（3）分时操作系统（4）实时操作系统（5）网络操作系统和分布式计算机系统
填丶涂·2022-11-20 07:49

【Tensorflow】使用Tensorflow自定义模型和训练

Tensorflow的核心与NumPy非常相似，但具有GPU支持；Tensorflow支持分布式计算（跨多个设备和服务器）。
沐兮Krystal·2022-11-20 07:31

工业大数据的应用有哪些

通过互联网、移动物联网等带来的低成本感知、高速移动连接、分布式计算和高级分析，信息技术和全球工业系统正在深入融合，给全球工业带来深刻的变革，创新企业的研发、生产、运营、营销和管理方式。
中琛源科技·2022-11-20 01:27

大数据可以应用在哪些行业？

伴随着各种随身设备、物联网和云计算、云存储等技术的发展，数据内容和数据格式多样化，数据颗粒度也愈来愈细，随之出现了分布式存储、分布式计算、流处理等大数据技术，各行业基于多种甚至跨行业的数据源相互关联探索更多的应用场景
NicolasLearner·2022-11-20 01:44

【广告系统】Parameter Server分布式训练

一、基本原理以往的分布式计算，比如mapre
CC‘s World·2022-11-20 00:55

Parameter Server论文阅读笔记《Scaling Distributed Machine Learning with the Parameter Server》

容错：分布式计算需要较好的容错能力，failover机制。相关工作第一代的参数服务器架构VLD
沃柑火龙果·2022-11-20 00:51

【分布式计算】MapReduce的替代者-Parameter Server

首先还是要声明一下，这个文章是我在入职阿里云1个月以来，对于分布式计算的一点肤浅的认识，可能有些地方不够妥善，还请看官可以指出不足的地方，共同进步。
Garvin Li·2022-11-20 00:50

bevfusion单显卡训练/测试

很多人问这个问题,其实主要就是把分布式计算的stuff改一下就好了bevfusion采用torchpack这个很难用的包(其实也还好?
大头蘑菇汤·2022-11-19 16:46

ALBERT： A Lite BERT for Self-supervised Learning of Language Representations（2019-9-26）

BERT(Devlinetal.,2019)的参数很多，模型很大，内存消耗很大，在分布式计算中的通信开销很大。
不负韶华ღ·2022-11-19 13:20

研一的人工智能课程作业

人工智能，高级软件工程，分布式计算系统，形式语言与自动机理论。半个学期已经过去，考试已经考完，希望能考个好成绩，明年拿个学业奖学金！产生式
Johnny__Jiang·2022-11-19 10:32

Pytorch DDP原理（第一篇）

在此基础上，才能构建起分布式计算的大框架。
cv_lhp·2022-11-19 04:26

Hive与数据仓库——知识总结

查询和分析存储在分布式存储系统中的大规模数据集，可以将结构化的数据文件映射为一张数据库表如（csv），并提供类SQL查询功能Hive它能存储很大数据集，可以直接访问存储在HDFS中的文件，Hive支持MR，Spark，Tez三种分布式计算引擎
PineApple_Chan·2022-11-18 09:28

深度学习入门（三十九）计算性能——分布式训练、参数服务器（TBC）

深度学习入门（三十九）计算性能——分布式训练、参数服务器前言计算性能——分布式训练、参数服务器课件（分布式训练）分布式计算GPU机器架构计算一个小批量同步SGD性能性能的权衡实践的建议总结教材（参数服务器
澪mio·2022-11-18 09:13

2021-05-17 C#.NET面试题 说说什么是架构模式。

3.3分布式数据和存储3.4分布式计算。3.5此外
微软MVP Eleven·2022-11-15 07:07

pytorch常见错误

distributed有一个坑是使用分布式计算的时候，每张卡的内存分配都应该是均匀的，但是有时候会出现0卡占用更多内存的情况，这个坑在知乎上有讨论：链接分布式本身的内存分配应该是均匀的（左图），但是有时候会出现另一种情况
harry_tea·2022-11-14 07:34

操作系统分类

目录前言一、操作系统的分类二、批处理操作系统的发展1.手工操作阶段（此阶段无操作系统）2.批处理操作系统1)单道批处理系统2)多道批处理系统3.分时操作系统4.实时操作系统5.网络操作系统和分布式计算机系统前言上篇文章我们探讨了裸机系统与操作系统的区别
默默进步---一鸣惊人·2022-11-12 04:29

分布式计算（一）——Java进阶与Socket通讯

1.解释RuntimeException。例举它的1-2个之类，并用一个小程序验证捕获并处理异常的过程。错运行时异常都是RuntimeException类及其子类异常。这些异常是不检查异常，程序中可以选择捕获处理，也可以不处理，但程序应该从逻辑角度尽可能避免这类异常的发生。如NullPointerException、IndexOutOfBoundsException等2.在生产实践中，每个业务模块
aihuo0130·2022-11-10 13:38

Hadoop 概念 环境搭建 启动 测试

广义：Hadoop生态圈的代名词狭义：Apache软件基金会下用Java语言开发的一个开源分布式计算平台2.Hadoop发展历史来源：2005年，Hadoop作为Lucene子项目Nutch的一部分正式被引入
A52091·2022-11-08 10:44

RocketMQ Flink Catalog 设计与实践

FlinkCatalogRocketMQFlinkConnectorRocketMQFlinkCatalogTips：点击「阅读原文」查看更多技术内容～01Flink和FlinkCatalogFlink是一个分布式计算引擎
Apache Flink·2022-11-03 10:14

Hadoop、Hive、Spark 之间的区别和关系

由两部分组成，分布式存储（HDFS）和分布式计算（MapReduce）HD
吳名氏·2022-11-02 19:29

hive中的数据倾斜

1、数据倾斜的现象分布式计算中最常见的，最容易遇到的问题就是数据倾斜，数据倾斜的现象是，当我们提交运行一个程序时，我们通过监控发现，这个程序的大多数的Task都已经运行结束了，只有某一个Task一直在运行
万里长江横渡·2022-11-01 10:45

Spark SQL与Hive on Spark的比较

简要介绍了SparkSQL与HiveonSpark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。
weixin_42073629·2022-11-01 10:14

RocketMQ Flink Catalog 设计与实践

FlinkCatalogRocketMQFlinkConnectorRocketMQFlinkCatalog作者：李晓双，ApacheRocketMQContributorMentor：蒋晓峰，ApacheRocketMQCommitter一、Flink和FlinkCatalogFlink是一个分布式计算引擎
·2022-10-30 22:35

Spark机器学习：MLlib

但读者在学习MLlib的时候，大可不必关注其分布式细节，这是MLlib组件与其他组件很不一样的地方，这里不用考虑GraphX、StructuredStreaming中的关键抽象、分布式计算
人邮异步社区·2022-10-22 20:51

HDFS架构设计理念以及优缺点

其中Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）起到非常重要的作用，HDFS是Hadoop项目核心子项目，HDFS是分布式计算中数据存储管理的基础，它以文件的形式为上层应用提供海
梯度科技·2022-10-13 15:31

MapReduce分布式计算框架的优缺点

MapReduce是一个可用于大规模数据处理的分布式计算框架，它借助函数式编程及分而治之的设计思想，使编程人员在即使不会分布式编程的情况下，也能够轻松地编写分布式应用程序并运行在分布式系统之上。
梯度科技·2022-10-13 15:01

企业级分布式应用服务主要作用

分布式应用服务能够集成中间件成熟的整套分布式计算框架，包括分布式服务化框架、服务治理、运维管
梯度科技·2022-10-13 15:30

大数据需要哪些技术？

大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、
大数据和云计算·2022-10-12 19:45

Web3 的底层价值

在我看来，Web3是大家对于一种新的商业模式或协作关系的总称或抽象指代，而这套协作关系或商业范式的底层，是由互联网、密码学和分布式计算构成的关键技术——区块链。
·2022-10-12 16:14

大数据面试题总结

大数据为什么这么快1、扩展性传统的是纵向扩展（服务器数量不变，每个的配置越来越高）大数据是横向扩展（每个的配置不变，但服务器数量越来越多）2、分布式传统的是集中式存储，集中式计算大数据是分布式存储，分布式计算
ischangle·2022-10-12 10:04

Gravity 海量闲置算力的调度设计与实现

从企业内部的单机系统，私有云、公有云，算力从各个分散的点逐渐整合为规格更为统一的数据中心，同时分布式计算也逐步发展为解决如何处理互联网产生的大量数据的重要途径。公有云等云计算基础设施和服务出现以后
gravitylink1·2022-10-10 17:25

大数据技术十大核心原理详解

hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。
程序の之道·2022-10-04 14:35

matlab 并行计算 自动关闭,Matlab 的并行计算

~~~~2、如果并行计算用到的CPU属于不同的服务器时，有另一个称呼——分布式计算。~~~~3、要让多线程并行计算效率更高，
韩莹莹·2022-09-28 21:41

我眼中的大数据（三）——MapReduce

CSDN话题挑战赛第2期参赛话题：大数据技术分享这次来聊聊Hadoop中使用广泛的分布式计算方案——MapReduce。MapReduce是一种编程模型，还是一个分布式计算框架。
平 凡 程 序 猿·2022-09-28 09:55

我眼中的大数据（二）——HDFS

前言Hadoop的第一个产品是HDFS，可以说分布式文件存储是分布式计算的基础，也可见分布式文件存储的重要性。
平 凡 程 序 猿·2022-09-28 09:55
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他