IT->分布式计算

大数据资料整理

而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合，让大数据最终产生价值。
leveretz·2022-12-05 11:02

大数据从业者应该知道的开源工具（全）

它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。支持的操作系统：Windows、Linux和OSX。
fenghuo9527·2022-12-05 11:30

大数据平台常见开源工具集锦(强烈推荐收藏)

大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据仓库工具无法处理完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的各类技术
Hadoop技术博文·2022-12-05 11:30

大数据平台常见开源工具

大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据仓库工具无法处理完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的各类技术
程序猿刘强东·2022-12-05 11:00

大数据平台最常用的30款开源工具

大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据仓库工具无法处理完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的各类技术
后厂村火星氮气·2022-12-05 11:59

大数据技术原理与应用 大作业--------微博精准营销案例设计与实现

微博精准营销案例设计与实现摘要Abstract目录1.概述2.相关技术介绍2.1Hadoop分布式系统2.1.1.Hadoop概述2.3MapReduce分布式计算2.3.1理解MapReduce思想2.3.2HadoopMapReduce
漫天 星辰·2022-12-04 10:52

什么是云计算？什么是边缘计算？为什么需要云边协同？

云计算（cloudcomputing）是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。
清如许.·2022-12-03 19:12

矩池云 ｜ GPU 分布式使用教程之 Pytorch

GPU分布式使用教程之PytorchPytorch官方推荐使用DistributedDataParallel(DDP)模块来实现单机多卡和多机多卡分布式计算。
机器学习是魔鬼·2022-12-03 11:23

《人工智能技术在网络安全方向的应用》学习笔记

该技术与实现人工智能的基础条件相吻合，通过不同种类的安全设备、网络设备以及他们的运行日志，积累了大量的数据可供机器深度学习，对构建好的安全模型进行模拟训练，依靠分布式计算的强大数据处理能力,及时判别当前安全态势
chx09002463·2022-12-03 11:17

浅谈Spark分布式计算

归根结底，我们编写的代码是需要通过Spark去帮助我们把任务分布到各个集群上并执行的，那么这一类过程我们统称为分布式计算，Spark能实现分布式计算功能主要是靠它的进程模型以及调度系统。一、Spa
数新网络·2022-12-03 08:25

计算机前沿研究方向

1、计算机应用技术计算机网络、实时计算机应用、CIMS、计算机图形学、并行计算、网络信息安全、数据库、情感计算、数据挖掘、分布式计算、知识工程、计算机视觉、自动推理、机器学习、草图理解、网络性能分析与协议设计
weixin_33787529·2022-12-03 01:39

python搭建分布式集群_利用python的dask搭建分布式集群

一、dask介绍优势：dask内部自动实现了分布式调度、无需用户自行编写复杂的调度逻辑和程序；通过调用简单的方法就可以进行分布式计算、并支持部分模型的并行化处理；内部实现的分布式算法：xgboost、LR
weixin_39951295·2022-12-02 13:33

矩池云｜GPU 分布式使用教程之 TensorFlow

GPU分布式使用教程之TensorFlowTensorFlow提供了6种策略实现分布式计算，各个策略详情请参考官方文档。
机器学习是魔鬼·2022-11-30 22:30

云计算期末习题含答案

并行计算B网格计算C分布式计算D三个选项都是；答案：D从研究现状上看，下面不属于云计算特点的是（）;A。超大规模B.虚拟化C。
小鸭文库·2022-11-30 20:31

致敬即将到来的web3.0

分布式计算分布式存储人人都是区块链的节点web3.0即将到来在通信技术发展过程中，元宇宙就是社交网路从2.0向3.0的跨越，逐步进入到下一代互联网，构成全域互联网场景应用毫无疑问，这个激动人心的时刻即将到来关于加密货币未来的看法
狗庄欺人太甚·2022-11-30 20:27

专访优维科技CTO黎明：探寻当下的IT运维之道

随着互联网信息和云计算技术的发展，企业的服务器系统从集中计算架构全面过度到海量的分布式计算架构，随之而来的海量服务器维护和管理成为企业运维人员的主要挑战，自动化运维已经成为目前企业服务器系统的主要建设方向
钱曙光·2022-11-29 22:02

Hadoop高频面试题

hadoop中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框架(YARN)。
李大寶·2022-11-29 16:07

Flink 分区策略

在分布式计算中，flink把数据集依据不同的策略发送到下游算子中，而策略的实现由分区器决定，flink所有的分区器都实现了ChannelSelector接口，下面是ChannelSelector的实现类由实现类我们知道有
一杯咖啡半杯糖·2022-11-29 15:58

【spark】一文(10分钟)入门spark

文章目录前言一、开启分布式运算1、单机运算2、分布式运算思路3、分布式运算代码示例4、spark运算总结前言ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎，在处理大量的数据时，采用分布式计算来加快运算速度
叁滴水·2022-11-29 11:17

如何入门spark

毕竟，通过这些API与开发算子，我们才能启动并驱使Spark的分布式计算引擎。接着，我们必须要深入理解它的工作原理。
bugmaker.·2022-11-29 11:07

RDD—Transformation算子

RDD1.2RDD五大特性1.3WordCount案例分析2RDD编程入门2.1RDD的创建2.2RDD算子2.3常用Transformation算子小案例（客户端，集群）1.了解RDD1.1RDD概念背景首先分布式计算分区控制
JStana·2022-11-27 20:31

机器人操作系统ROS教程（二） ROS总体框架

它提供了一些分布式计算的基本工具，以及整个ROS的核心部分的程序编写。（2）universe：全球范围的代码，有不同国家的ROS社区组织开发和维护。
likely_zhao·2022-11-26 21:49

Heterogeneous Parallel Programming（异构并行编程）学习笔记（七）

一个MPI框架由分布式计算节点组成，每一个节点可以视为是一个“Thread”，但这里的不同之处在于这些节点没有所谓的共享内存，或者说GlobalMemory。
苏幕洲·2022-11-26 10:27

云计算期末复习

云计算复习文章目录云计算复习第一章云计算概述第二章分布式计算第三章云计算架构第四章虚拟化技术第五章分布式存储第六章云计算网络第七章云计算安全第八章云原生应用的开发第九章云端软件第十章轻量级虚拟化第十四章云操作系统第十五章云服务的编排与管理
半儿~·2022-11-26 02:05

2022爱分析· 隐私计算厂商全景报告 | 爱分析报告

厂商全景地图\3.市场定义与厂商评估\4.入选厂商列表1.研究范围定义研究范围隐私计算，又称隐私保护计算（Privacy-PreservingComputation），是指基于一套融合密码学、信息论、分布式计算
ifenxi爱分析·2022-11-24 12:51

国家级区块链基础设施BSN推出BSN-DDC以支持部署NFT

摘要产业动态：谷歌成立区块链部门，将专注于分布式计算、存储等技术腾讯最快于月内向日本企业提供元宇宙业务服务目前暂无公司成功注册“元宇宙”相关商标政策相关：央行、公安部等11部门联合开展打击治理洗钱违法犯罪三年行动北京市广播电视局
陀螺财经·2022-11-24 07:31

（论文分析）边缘计算中基于深度强化学习的卸载博弈

论文题目：ADeepReinforcementLearningBasedOffloadingGameinEdgeComputing研究内容：利用基于策略梯度的深度强化学习设计分布式计算卸载算法，在用户网络带宽以及偏好信息不公开情况下如何设计一种有效的卸载策略来决定哪些任务可以卸载到资源有限的边缘服务器
qq_45948088·2022-11-24 00:18

动手学习深度学习

Inception、ResNet循环神经网络：RNN、GRU、LSTM、seq2seq注意力机制：Attention、Transformer优化算法：SGD、Momtentum、Adam高性能计算：并行、多GPU、分布式计算机视觉
福尔摩东·2022-11-23 14:27

139.深度学习分布式计算框架-2

139.1SparkMLllibMLlib(MachineLearniglib)是Spark对常用的机器学习算法的实现库，同时包括相关的测试和数据生成器。MLlib是MLBase一部分，其中MLBase分为四部分：MLlib、MLI、MLOptimizer和MLRuntime。MLOptimizer会选择它认为最适合的已经在内部实现好了的机器学习算法和相关参数，来处理用户输入的数据，并返回模型或别
大勇若怯任卷舒·2022-11-23 08:32

138.深度学习分布式计算框架-1

138.1PaddlePaddlePaddlePaddle是百度开源的一个深度学习平台PaddlePaddle为深度学习研究人员提供了丰富的API，可以轻松地完成神经网络配置，模型训练等任务。官方文档中简易介绍了如何使用框架在线性回归识别数字图像分类词向量个性化推荐情感分析语义角色标注机器翻译等方面的应用138.2Deeplearning4jDeepLearning4J（DL4J）是一套基于Jav
大勇若怯任卷舒·2022-11-23 08:02

140.深度学习分布式计算框架-3

140.1HorovodHorovod是Uber开源的又一个深度学习工具，它的发展吸取了Facebook「一小时训练ImageNet论文」与百度RingAllreduce的优点，可为用户实现分布式训练提供帮助。Horovod支持通过用于高性能并行计算的低层次接口–消息传递接口(MPI)进行分布式模型训练。有了MPI，就可以利用分布式Kubernetes集群来训练TensorFlow和PyTorch
大勇若怯任卷舒·2022-11-23 08:26

浅谈云计算基本原理

目录一、大数据的计算二、理论基础一、大数据的计算云计算基于：1.大规模的分布式计算和存储2.通过网络访问，方便用户通过多种接入方式1.与大数据的关系通俗点说，我们要是以大数据为数据源，以云计算为工具，从而达成我们的目标
liangsena·2022-11-22 13:38

2021-11-04

的几篇文章收藏MATLABscriptsforalternatingdirectionmethodofmultipliershttps://web.stanford.edu/~boyd/papers/admm/分布式计算
Mouse_Y·2022-11-22 07:11

Spark、Filnk简单介绍

Spark是一个分布式计算平台。所谓分布式，指的是计算节点之间不共享内存，需要通过网络通信的方式交换数据。
bugmaker.·2022-11-21 21:33

边缘计算的 4 种类型都有哪些？

边缘计算被认为是分布式计算的下一个前沿。然而，并不是每个人都知道什么是边缘计算以及存在多种类型的边缘计算。简单地说，边缘计
CSDN云计算·2022-11-21 09:29

WSL2 编译安装pytorch1.7.0

WSL2要使用多显卡分布式计算，只能安装NCCL2.11.4及以上版本，因此需要通过源码编译安装pytorch1.7.0。本博客适用于连接github不畅的用户。
cascgu·2022-11-21 08:49

论文阅读笔记 - Pregel

://blog.csdn.net/colorant/article/details/8256145阅读笔记-Pregel:ASystemforLarge-ScaleGraphProcessing关键字分布式计算
彩色蚂蚁·2022-11-20 22:21

云计算基础

便捷且按需对一个共享的可配置资源（包括网络、服务器、存储、应用和服务）进行网络访问的模式，它能通过最少量的管理以及与服务提供商的互动实现计算资源的迅速供给和释放二、云计算的基石是虚拟化云计算是对并行计算、网格计算、分布式计算技术的发
語衣·2022-11-20 20:38

分布式机器学习原理及实战(Pyspark)

自2003年Google公布了3篇大数据奠基性论文，为大数据存储及分布式处理的核心问题提供了思路：非结构化文件分布式存储（GFS）、分布式计算（MapReduce）及结构化数据存储（BigT
算法进阶·2022-11-20 18:42

大数据与云计算概论简介

简述大数据与云计算大数据与云计算概论1#简介云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且常为虚拟化的资源，是并行计算，分布式计算，效用计算，面向服务架构等概念混合演进后商业实现的结果
小刘醒不来。·2022-11-20 16:06

Hadoop+Spark+Hive

Hadoop简介Hadoop采用MapReduce分布式计算框架，根据GFS原理开发了HDFS（分布式文件系统），并根据BigTable原理开发了HBase数据存储系统。
呆鸡.·2022-11-20 10:45

操作系统的奋斗（一）

（3）虚拟（4）异步1.1.3操作系统的目标和功能1.2操作系统发展史（1）手工操作阶段（此阶段无操作系统）（2）批处理阶段（操作系统开始出现）（3）分时操作系统（4）实时操作系统（5）网络操作系统和分布式计算机系统
填丶涂·2022-11-20 07:49

【Tensorflow】使用Tensorflow自定义模型和训练

Tensorflow的核心与NumPy非常相似，但具有GPU支持；Tensorflow支持分布式计算（跨多个设备和服务器）。
沐兮Krystal·2022-11-20 07:31

工业大数据的应用有哪些

通过互联网、移动物联网等带来的低成本感知、高速移动连接、分布式计算和高级分析，信息技术和全球工业系统正在深入融合，给全球工业带来深刻的变革，创新企业的研发、生产、运营、营销和管理方式。
中琛源科技·2022-11-20 01:27

大数据可以应用在哪些行业？

伴随着各种随身设备、物联网和云计算、云存储等技术的发展，数据内容和数据格式多样化，数据颗粒度也愈来愈细，随之出现了分布式存储、分布式计算、流处理等大数据技术，各行业基于多种甚至跨行业的数据源相互关联探索更多的应用场景
NicolasLearner·2022-11-20 01:44

【广告系统】Parameter Server分布式训练

一、基本原理以往的分布式计算，比如mapre
CC‘s World·2022-11-20 00:55

Parameter Server论文阅读笔记《Scaling Distributed Machine Learning with the Parameter Server》

容错：分布式计算需要较好的容错能力，failover机制。相关工作第一代的参数服务器架构VLD
沃柑火龙果·2022-11-20 00:51

【分布式计算】MapReduce的替代者-Parameter Server

首先还是要声明一下，这个文章是我在入职阿里云1个月以来，对于分布式计算的一点肤浅的认识，可能有些地方不够妥善，还请看官可以指出不足的地方，共同进步。
Garvin Li·2022-11-20 00:50

bevfusion单显卡训练/测试

很多人问这个问题,其实主要就是把分布式计算的stuff改一下就好了bevfusion采用torchpack这个很难用的包(其实也还好?
大头蘑菇汤·2022-11-19 16:46

ALBERT： A Lite BERT for Self-supervised Learning of Language Representations（2019-9-26）

BERT(Devlinetal.,2019)的参数很多，模型很大，内存消耗很大，在分布式计算中的通信开销很大。
不负韶华ღ·2022-11-19 13:20
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他