并行化第11页

实践教程｜PyTorch训练加速技巧

由于最近的程序对速度要求比较高，想要快速出结果，因此特地学习了一下混合精度运算和并行化操作，由于已经有很多的文章介绍相关的

视学算法·2022-11-19 07:49

PyTorch训练加速技巧

PyTorch训练加速技巧由于最近的程序对速度要求比较高，想要快速出结果，因此特地学习了一下混合精度运算和并行化操作，由于已经有很多的文章介绍相关的原理，因此本篇只讲述如何应用PyTorch实现混合精度运算

好名字可以让朋友..更容易记住你·2022-11-19 07:23

实践经验｜PyTorch训练加速技巧

最近程序对速度要求比较高，想要快速出结果，因此特地研究了一下混合精度运算和并行化操作，由于已经有很多的文章介绍相关的原理，因此本篇只讲述如何应用torch实现混合精度运算、数据并行和分布式运算，不具体介绍原理

机器学习社区·2022-11-19 07:53

算法面试题

值怎么确定以及改进算法树模型1.bagging与boosting的区别2.GBDT原理及与RF的区别RandomForest3.GBDT与LR的区别，并说说什么情景下GBDT不如LR4.Xgboost与GBDT比较，特征并行化怎么做

识醉沉香·2022-11-18 11:40

搞懂 Vision Transformer 原理和代码，看这篇技术综述就够了

Transformer模型使用了Self-Attention机制，不采用RNN顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。本文将对VisionTransfor

视学算法·2022-11-16 01:45

【视觉SLAM】视觉SLAM相关开源算法总结

PTAM单目，首次将tracking和mapping并行化，首次采用了BA优化，之后加入了重定位部分。

ChLee98·2022-11-15 13:21

LightGBM调参

它有以下优势：更快的训练效率低内存使用更高的准确率支持并行化学习可处理

CtrlZ1·2022-11-15 09:58

网格搜索调参-基于LightGBM算法分类器

这种算法有很多的优点，比如更快的训练效率、更高的准确率、支持并行化学习、大规模数据的处理等。

gao_vip·2022-11-15 09:20

《Attention Is All You Need》论文笔记 - 【transformer模型】

在两个机器任务上表明了模型能够更好的并行化计算，可以显著地减少训练时间，性能达到了SOTA的效果。

#苦行僧·2022-11-10 23:49

【李宏毅】注意力机制+transformer详解

Transformer背景关于RNN详解可以看这篇博客：循环神经网络RNN一般被用来处理序列输入的，但是它有一个缺点就是不能并行化，后面一个神经元的输入要依赖与之前神经元的输出。

头发没了还会再长·2022-11-10 16:01

关于batch_size的理解

batch_size设置合适时的优点：1.并行化提高了内存的利用率，提高了训练速度2.使得单个epoch的训练次数变少了，如果要达到相同的精度，需要增加epoch迭代次数3.使得梯度下降的方向更加准确，

石头猿rock·2022-11-04 09:50

Open3d读写pcd点云文件

后端是高度优化的，并且是为并行化而设置的。Open3d直接使用pip安装即可。解决下载慢的问题，请切换下载源。设置方式请参考：pythonpip_Coding的叶子的博客-CSDN博客。

Coding的叶子·2022-11-01 16:17

【深度学习】Pytorch 如何高效使用GPU

GPU（GraphicProcessUnits，图形处理器）的众核体系结构包含几千个流处理器，可将矩阵运算并行化执行，大幅缩短计算时间。随着NV

风度78·2022-10-28 15:27

机器学习笔记25——Bagging算法之随机森林(Rondoom Forest) 算法原理以及python实现

quad在集成学习简介中，简单的介绍了根据个体学习器学习方式不同划分的两大类集成学习方法，个体学习器间存在强依赖关系、必须串行生成的序列化方法，如Boosting；个体学习器间不存在强依赖关系、可同时生成的并行化方法

珞沫·2022-10-25 19:56

GPU矩阵并行相乘

原文链接实验介绍相对CPU来说，GPU更适合处理高度并行化的程序，此次实验借助CUDA架构，C++编码实现在GPU的矩阵快速相乘，实验中用到了CUDA的相关知识，如cudaMalloc，cudaMemcpy

高明爱圣子·2022-10-23 10:37

[Transformer]Transformer-李宏毅

SectionABackgroundseq2seqwithself-attentionRNN处理sequenceRNN输入vectorsequence,输出vectorsequenceRNN的问题：不容易被并行化

黄小米吖·2022-10-19 19:12

李沐--transformer要点记录

transformer纯attention，并行化，克服了卷积难以对长的序列进行建模的缺点使用multi-headattention的原因是模拟卷积神经网络的多通道机制transformer使用了auto-regressive

Lucas_sssssss·2022-10-18 14:06

《CUDA高性能并行计算》----第3章从循环到网格 3.1 并行化 dist_v1

本节书摘来自华章出版社《CUDA高性能并行计算》一书中的第3章，第3.1节，作者CUDAforEngineers:AnIntroductiontoHigh-PerformanceParallelComputing[美]杜安·斯托尔蒂（DuaneStorti）梅特·尤尔托卢（MeteYurtoglu）著，苏统华项文成李松泽姚宇鹏孙博文译，更多章节内容可以访问云栖社区“华章计算机”公众号查看。第3章从

weixin_34356555·2022-10-17 11:08

Transformer在量化投资的应用

但是，RNN固有的顺序属性阻碍了训练样本间的并行化，对于长序列，内存限制将阻碍对训练样本的批量处理。

BigQuant·2022-10-17 07:46

Language Modeling with Gated Convolutional Networks ( GLU )理解

GLU计算过程卷积网络就是对输入进行卷积以获得H=f∗w，因此没有时间依赖性，这使得在句子的单个单词上更容易并行化。这个计算过程将根据多个先前单词来计算每个上下文。

凉寒·2022-10-15 07:42

12.3. 自动并行

因此，并行化对于单设备计算机来说并不是很有用，而并行化对于多个设备就很重要了。12

nsq1101·2022-10-14 15:07

基于Hadoop和CDC的重复数据检测实现

这里就是用Hadoop将这个算法并行化，但是没有做到将重复数据删除，只是检测到两个文件的重复部分。使用Hadoop的版本：1.0.3操作系统：ubuntu12.0

just_young·2022-10-13 16:39

图计算开源工具介绍

它具有高效的跨引擎内存管理，在业界首次支持Gremlin分布式编译优化，同时支持算法的自动并行化和支

usermiszhao·2022-10-09 15:03

python运行速度和cpu还是gpu有关_Pythorch速度比较GPU比CPU慢

一般情况下，矩阵运算非常适合并行化，但也不总是能够并行化计算！

weixin_39898854·2022-10-08 11:52

MapReduce经典案例-数据去重

1.数据去重介绍=数据去重主要是为了掌握利用并行化思想来对数据进行有意义的筛选，数据去重指去除重复数据的操作。在大数据开发中，统计大数据集上的多种数据指标，这些复杂的任务数据都会涉及数据去重。

诺特兰德·2022-10-04 08:11

人工智能入门算法逻辑回归学习笔记

LogisticRegression因其简单、可并行化、可解释强深受工业界

冠亦·2022-09-30 13:58

大规模机器学习（Large Scale Machine Learning）

StochasticGradientDescent小堆梯度下降Mini-BatchGradientDescent保证随机GD的收敛与学习速率的选择在线学习OnlineLearningMapReduce和数据并行化在大数据集

蓝色枫魂·2022-09-29 18:47

MATLAB并行计算

%%串行计算ticS1=1;fori=1:500S1=S1+max(eig(rand(i)));enddisplay(strcat('客户端串行计算时间：',num2str(toc),'秒'));并行化

SimpleFelix·2022-09-28 21:08

【论文笔记_自蒸馏_知识蒸馏_2022】Self-Distillation from the Last Mini-Batch for Consistency Regularization

然而，它们要么需要额外的网络结构修改，要么难以并行化。为了应对这些挑战，我们提出了一个高效、可靠的自蒸馏框架，命名为“来自上一次小批量的自蒸馏”（DLB）。具

乱搭巴士·2022-09-25 01:57

闭关之 C++ 并发编程笔记（五）：并行算法函数与测试

目录第10章并行算法函数10.1并行化的标准库算法函数10.2执行策略10.2.1因指定执行策略而普遍产生的作用10.2.2std::execution::sequenced_policy10.2.3std

七Du°C糊涂·2022-09-24 20:07

解密最接近人脑的智能学习机器——深度学习及并行化实现

深层模型的并行化框架和训练加速方法是深度学习走向实用的重要基石，已

Janvn·2022-09-23 17:34

解密最接近人脑的智能学习机器——深度学习及并行化实现，最全的Deep Learning解析

深层模型的并行化框架和训练加速方法是深度学习走向实用的重要基石，已

-circle-·2022-09-23 17:03

腾讯深度学习系列——深度学习及并行化实现概述

深度学习及并行化实现概述摘要：深度学习可以完成需要高度抽象特征的人工智能任务，如语音识别、图像识别和检索、自然语言理解等。

zhihua_bupt·2022-09-23 17:03

java官网教程（进阶篇）—— 集合

简介接口Collection接口Set接口List接口Queue接口Deque接口Map接口对象排序SortedSet接口SortedMap接口接口的总结问题和练习：接口聚合操作归约并行化（Parallelism

石灰聪·2022-09-22 10:58

Vision-Transformer详解

在此之前，nlp主要使用RNN（记忆的长度是有限的，比较短，所以有了后面的LSTM），LSTM等时序网络，且无法并行化训练（即必须先计算出t0时刻的数据，再计算t1时刻的数据），导致训练效率低。

Shashank497·2022-09-05 21:50

php 大文件md5,php – 一种使md5_file()更快的方法？

可能你现在依次做这个.即获取数据1,进程数据1,提取数据2,进程数据2,…和瓶颈可能是数据传输.您可以使用curl_multi_exec()并行化一点.要注册一个CURLOPT_WRITEFUNCTION

菲菲ruby·2022-09-05 14:56

数字逻辑计算机组成,数字逻辑设计与计算机组成pdf

书中通过大量实例揭示作者对现代计算机设计目标的理解，展示如何应用流水线和并行化技术提升并发处理能力，并阐述了处理器体系结构与编译器、编程方法和性能之间的关系。本书可作为高等院校

范世明·2022-09-05 13:45

求求你们了，别再乱用 parallelStream 了，速度竟然比 Stream 还要慢！！

大家都知道Stream分为顺序流和并行流：stream（顺序流）parallelStream（并行流）它们最大的区别就是parallelStream支持并行化处理，所以效率较stream（顺序流）肯定是要更快的

·2022-09-02 16:55

图解数据分析(8) | Numpy - 统计与数据科学计算工具库介绍（数据科学家入门·完结）

ShowMeAI·2022-08-25 07:17

机器学习之逻辑回归Logistic Regression（python代码实现）

逻辑回归（LogisticRegression）逻辑回归是一个非常经典的算法，用于解决分类问题的机器学习方法，用于估计某种事物的可能性，其有着简单、可并行化、可解释强的特点。

卷不动的程序猿·2022-08-18 07:57

一文讲透 Stream.reduce()

StreamAPI提供了丰富的中间函数，归并函数和终端函数，这些函数还支持并行化执行。而归并流的操作的作用是从一个序列的元素重复应用合并操作，最后产生一个单一的结果返回。

codingstyle·2022-08-15 13:43

《动手学深度学习》(五) -- 多GPU训练

因此，并行化对于单设备计算机来

长路漫漫2021·2022-08-13 07:10

大数据(4)：MapReduce

最早，Google为了解决其搜索引擎中大规模网页数据的并行化处理，提出了一种面向大规模数据处理的并行计算模型和方法。

小道萧兮·2022-07-31 21:12

C#并发编程之异步编程(一)

如果使用得当，你可以写出具有并行化并且性能较高的程序，但是同时也增加了对异步编程理解的复杂度，毕竟在C#5.0里，你已经看不到异步编程具体是如何实现的了，需要花费额外的经历去研究探索。使

weixin_34259159·2022-07-27 09:41

Python 并行化执行详细解析

目录例子：N体问题普通计算方法效果图Python并行化执行再举一个例子前言：并行编程比程序编程困难，除非正常编程需要创建大量数据，计算耗时太长，物理行为模拟困难例子：N体问题物理前提：牛顿定律时间离散运动方程普通计算方法

·2022-07-22 12:14

[论文精读]Attention Is All You Need

质量更好,同时并行化程

Remember00000·2022-07-22 07:20

Pyspark 平台的协同过滤推荐算法应用与实现

Pyspark大数据处理平台原理及架构进行研究，并对ALS协同过滤算法原理研究与其在Pyspark平台上的实现推荐系统应用．实验结果表明，基于Pyspark平台的ALS算法，通过调节正则化参数为0.01、增加并行化分块计算的块数

人工智能曾小健·2022-07-14 07:32

【USENIX ATC'22】支持异构GPU集群的超大规模模型的高效的分布式训练框架Whale

Whale是阿里云机器学习PAI平台自研的分布式训练框架，开源后的名称是EPL(EasyParallelLibrary)，Whale通过对不同并行化策略进行统

·2022-07-12 10:40

4、Hive压缩、存储原理详解与实战

1、Hive压缩1.1数据压缩说明压缩模式评价：（1）压缩比（2）压缩时间（3）已经压缩的是否可以再分割；可以分割的格式允许单一文件有多个Mapper程序处理，才可以更好的并行化。

数据分析师虾米·2022-07-12 09:50

Transformer算法完全解读

可以说，Transformer是完全基于自注意力机制的一个深度学习模型，且适用于并行化计算，导致它在精度和性能上都要高于

奥辰·2022-07-07 10:00

推荐频道

并行化