并行化

并行编程——OpenMP

文章目录并行机体系结构并行机体系结构及通信机制并行程序设计方法设计模型openmp基础OpenMp简介在VS中启用OpenMPOpenMp并行编程模型OpenMp存储模型支持条件编译并行化控制编译制导功能指令子句
isaacyn·2023-11-01 22:49

OpenMP并行程序设计——for循环并行化详解

这篇OpenMP的for循环使用已经很详尽了，而且例子很好，就转载了，不再自己另开篇博客。感谢作者。转载请声明出处http://blog.csdn.net/zhongkejingwang/article/details/40018735在C/C++中使用OpenMP优化代码方便又简单，代码中需要并行处理的往往是一些比较耗时的for循环，所以重点介绍一下OpenMP中for循环的应用。个人感觉只要掌
Sirius_0·2023-11-01 22:46

OpenMP并行程序设计—for循环并行化详解

转载请声明出处http://blog.csdn.net/zhongkejingwang/article/details/40018735在C/C++中使用OpenMP优化代码方便又简单，代码中需要并行处理的往往是一些比较耗时的for循环，所以重点介绍一下OpenMP中for循环的应用。个人感觉只要掌握了文中讲的这些就足够了，如果想要学习OpenMP可以到网上查查资料。工欲善其事，必先利其器。如果还
KayChanGeek·2023-11-01 22:15

16.ViT模型介绍

VisionTransformer关于ViTTransformer自2017年06月由谷歌团队在论文AttentionIsAllYouNeed中提出后，给自然语言处理领域带去了深远的影响，其并行化处理不定长序列的能力及自注意力机制表现亮眼
恒友成·2023-10-31 23:39

tushare股票列表保存到mysql_下载股票的历史日交易数据并存入数据库——基于tushare...

此处提到的多线程的方法可以参考Python黑魔法，一行实现并行化这篇文章，讲的很好。
V12119w·2023-10-31 10:04

吴恩达机器学习第十周测试

第一题答案B分析：当代价函数呈上升趋势的时候，可以试着将学习率减小第二题答案CD分析：A：随机梯度下降并不能并行化，错误。B：批量梯度下降是在每一次迭代后计算代价函数，错误。
一叶知秋Autumn·2023-10-27 07:28

中断的基本概念

实现程序的并行化，实现嵌入式系统进程之间的切换。中断处
倚楼听戏·2023-10-25 23:48

你想了解的分布式文件系统HDFS，看这一篇就够了

分布式文件系统使用的计算机集群，其配置都是由普通硬件构成的，与用多个处理器和专用高级硬件的并行化处理装置相比，前者大大降低了硬件上的开销。
与李_han·2023-10-25 01:48

JAVA8流式编程【2】——函数式编程

函数式编程已有数十年的历史，而且与面向对象的编程相比，函数式编程通常更简洁、更具表达力、更不容易出错，而且更容易并行化。所以在Java程序中引入函数特性是有充分理由的。
88互联网从业者·2023-10-24 23:49

学习笔记 —— C++并行库OpenMP

ContentsInstallationImplement1、一个最简单的OpenMP代码：2、如何规定线程数2、如何设置OpenMP分配线程的schedule3、冲突避免机制--Reduction（规约）Discovery写在最前面：并行化虽好
昼行plus·2023-10-24 13:05

自然语言处理---Transformer机制详解之BERT模型特点

1BERT的优点和缺点1.1BERT的优点通过预训练,加上Fine-tunning,在11项NLP任务上取得最优结果.BERT的根基源于Transformer,相比传统RNN更加高效,可以并行化处理同时能捕捉长距离的语义和结构依赖
lichunericli·2023-10-23 15:59

大数据 MapReduce 的执行机制

它将任务分解为两个主要阶段：Map阶段和Reduce阶段，并通过并行化的方式在分布式系统中执行。本文将详细介绍MapReduce的执行机制，并提供相应的源代码示例。
雨中徜徉的思绪漫溢·2023-10-22 15:50

transformer理解

RNN存在的问题是，只有得到t(i)时刻的向量信息才能够计算t(i+1)时刻的向量信息，无法实现并行化。无法实现长序列的特征信息提取，超过一篇文章的训练，train不起来。
yyfhq·2023-10-22 14:25

Streams （流）

另外一个关注点是效率，就像多核处理器能够提升效率一样，开发者也可以通过并行化编程来改进工作流程，但是这样很容易出错。因
灰PatrickStar·2023-10-22 08:40

CUDA学习笔记（LESSON5）——GPU优化

GPU基本算法（PartI）CUDA学习笔记（LESSON4）——GPU基本算法（PartII）CUDA学习笔记（LESSON5）——GPU优化CUDA学习笔记（LESSON7）——常用优化策略&动态并行化
Veropatrinica·2023-10-22 06:25

Numpy

朋友实现数组的基本操作应用随机数组的创建实现正态分布应用应用Numpy实现数组的逻辑计算应用Numpy实现数组的统计运算应用Numpy实现数组之间的计算4.1Numpy优势学习目标目标了解Numpy运算速度的优势知道Numpy的数组内存块风格知道Numpy的并行化运算应用
小猪Piglet·2023-10-21 14:11

Serverless 在大规模数据处理的实践

而在传统的使用范式中，用户必须预留成百上千的服务器来做一些高度并行化但执行时长较短的任务，而且必须为每一台服
阿里云云原生·2023-10-21 08:06

CUDA编程模型- 层次结构

层次结构的划分在GPU上，为了满足其大规模并行处理的特性，执行模型采用了大量并行化的轻量级线程。当我们谈到CUDA编程模型时，我们首先要考虑的是其线程执行层次结构。
青衫客36·2023-10-19 18:49

图像分割数据集的相关操作（二）—— albumentations 数据增强

torchvision的transform库，albumentations库提供了更丰富的增强操作和更高的性能；albumentations通过使用OpenCV库实现增强操作，它采用了基于NumPy数组的处理方式，并通过并行化和内存优化来提高性能
想要躺平的一枚·2023-10-19 16:17

集成学习方法（随机森林和AdaBoost）

释义集成学习很好的避免了单一学习模型带来的过拟合问题根据个体学习器的生成方式，目前的集成学习方法大致可分为两大类：Bagging(个体学习器间不存在强依赖关系、可同时生成的并行化方法)流行版本：随机森林
怎么全是重名·2023-10-19 10:26

Pytorch 高效使用GPU的操作

GPU（GraphicProcessUnits，图形处理器）的众核体系结构包含几千个流处理器，可将矩阵运算并行化执行，大幅缩短计算时间。随着
乐观的程序员·2023-10-19 04:16

大模型技术实践（五）｜支持千亿参数模型训练的分布式并行框架

并行化是大规模训练中训练大型模型的关键策略，本期内容UCloud将为大家带来“加速并行框架”的技术科普和实践。在学
AI 研习所·2023-10-18 08:52

Intel Parallel Studio的使用

IntelVtuneAmplifier、intelAdvisor、IntelInspector三个组件，这里主要讲下IntelVtuneAmplifier安装以及使用，他们的功能主要是测试程序的热点分步以及给出并行化的优化建议
崔益俊·2023-10-17 11:37

【SQLite3】使用 SQLite 为模型训练中的并行 dataloader 节省内存

解决方案：基于SQLite无限数量的并行读取做一个dataset呗在做模型并行化训练的时候，我们通常会做多个dataloader为一张卡提供数据预处理，如果数据处理速度是瓶颈时，单张卡所需的dataloader
糖果天王·2023-10-17 06:58

TBB、OpenMP对比

1、TBB需要相当可观的重新设计程序，而OpenMP足够简单；2、TBB不太适合并行化已有的实现（软件），它为新设计的并行程序培养一种好的编程风格和更高的抽象层；3、在论文的实验中，OpenMP稍稍超过
三石目·2023-10-15 07:16

OpenCL浅析(1)-GPU和FPGA平台搭建

://blog.csdn.net/chifredhong/article/details/73931017OpenCL简介OpenCL是由非盈利性组织KhronosGroup组织发布的针对异构设备进行并行化计算的一套开源的
SongEsther·2023-10-14 13:42

【日常业务开发】接口性能优化

【日常业务开发】接口性能优化缓存本地缓存分布式缓存数据库分库分表SQL优化业务程序并行化异步化池化技术预先计算事务粒度批量读写锁的粒度尽快return上下文传递空间换时间集合空间大小缓存本地缓存本地缓存
喜羊羊sk·2023-10-14 13:20

浅谈go的并发编程

相应地，编程语言也开始逐步向并行化的方向发展。Go语言正是在多核和网络化的时代背景下诞生的原生支持并发的编程语言。来自书《go语言高级编程》go并发编程和多线程的区别和联系？
cottpaddedC·2023-10-14 11:57

mysql面试题50：500台数据库，如何在最快时间之内重启

如果需要在最快时间内重启500台数据库，可以考虑采用并行化和自动化的方法来提高效率。比如：编写自动化脚本：首先，编写一个自动化脚本，用于批量执行重启操作。
小小鱼儿小小林·2023-10-13 03:18

GPU 基础知识整理

这使得GPU能够同时处理大量的数据和任务，适用于高度并行化的工作负载，如深度学习、科学计算和图形渲染。浮点性能：GPU在浮点运算性能上通常非常强大，可以执行大规模的浮点计算，适用于科学计算、仿真和数
运气好到爆·2023-10-12 21:32

Batch_size的作用：决定了下降的方向

在合理范围内，增大Batch_size的好处：提高了内存利用率以及大矩阵乘法的并行化效率；跑完一次epoch(全数据集）所需要的迭代次数减少，对相同的数据量，处理的速度比小的Batch_size要更快；
小鹏AI·2023-10-12 17:26

记录Spark中使用coalesce遇到的坑

为了充分利用并行化，我又在读file的时候对数据进行了分区——sc.textFile(path,20)，但是依然不起作用。查明原因：  查阅了
妖皇裂天·2023-10-11 07:21

【Transformer理解】

关于注意力机制可以参看这篇文章，trasnformer可以说是完全基于自注意力机制的一个深度学习模型，因为它适用于并行化计算，和它本身模型的复杂程度导致它在精度和性能上都要高于之前流行的RNN循环神经网络
阿牛02·2023-10-09 20:15

Java8函数式编程

在上一篇文章中，我们大致介绍了函数式编程的情况，包括函数式编程的缘起，意义，还有高阶函数，柯里化等特点，今天我们将从lambda风格，流操作，高阶函数，并行化等几个方面，一起简单聊聊函数式编程在Java8
董家二少·2023-10-06 06:03

python并行读写文件_python上的并行执行与文件写入

可以使用joblib并行化分析。
专心学习的娃·2023-10-06 02:03

Systemd服务管理

Systemd的特征有：支持并行化任务；同时采用socket式与D-Bus总线式激活服务；按需启动守护进程（daemon）；利用Linux的cgroups监视进程；支持快照和系统恢复；维护挂载点和自动挂载点
Superwind20·2023-10-04 16:47

Ray和RLlib用于快速并行强化学习

它使你能够将训练扩展到大型分布式服务器，或者利用并行化特性来更有效地使用你自己的笔记本电脑进行训练。我们展示了如何使用Ray和RLlib在OpenAIGym上构建一个自定义的强化学习环境。
磐创 AI·2023-10-04 06:41

超分辨率指标计算：Python代码用于评估图像质量，PSNR、SSIM、LPIPS和NIQE

并行化:使用多进程来加速图像处理，特别是在处理大量图像时。可扩展性:可以容易地添加更多的图像质量指标。结果记录:为每个高
加油当当·2023-10-03 16:03

C++ 并发编程实战 第十章 并行算法函数

目录10.1并行化的标准库算法函数10.2执行策略10.2.1使用执行策略的影响10.2.2std::execution::sequenced_policy10.2.3std::execution::parallel_policy10.2.4std
小猴啊0.0·2023-10-03 09:57

AutoML--参数自动搜索

1.目前常见的调参方法GridSearch，当参数空间较小时，网格搜索是个不错的选择，并且容易并行化；当参数空间较大时，网格搜索效率会变得极低，通常该方法需结合一定的调参经验来缩小参数空间。
吴祺育的笔记·2023-10-01 09:03

Oracle性能优化之高级SQL优化（二）

（题外话：优秀的Oracle数据库优化人才，是任何公司都稀缺的）SQL优化又称SQL调节，其步骤一般包括：SQL调节的目标SQL调节包括三大目标：降低负载、均衡负载和并行化负载。
cssddning·2023-09-30 20:50

sql高级优化（1）

（题外话：优秀的Oracle数据库优化人才，是任何公司都稀缺的）SQL优化又称SQL调节，其步骤一般包括：SQL调节的目标SQL调节包括三大目标：降低负载、均衡负载和并行化负载。
10010010001·2023-09-30 20:47

Oracle SQL优化

（题外话：优秀的Oracle数据库优化人才，是任何公司都稀缺的）SQL优化又称SQL调节，其步骤一般包括：SQL调节的目标SQL调节包括三大目标：降低负载、均衡负载和并行化负载。
World_2015·2023-09-30 20:17

跨部门团队的“假把式”和“真把式”

网图侵删IPD集成产品开发流程，是将整个公司的能力和资源通过“以客户为中心，以市场为导向”的并行化流程实现研发工作的效率和效益提升。
大石头谈创新管理·2023-09-29 12:37

chatgpt赋能python：Python如何并行执行两个函数

在处理大规模数据集时，单线程执行会导致效率低下，而并行化执行可以提高程序的速度。本文将介绍如何用Python并行执行两个函数，以提高程序运行效率。
tutan123321·2023-09-29 01:38

Mina中的Scan State

此外，scanstate数据结构支持并行化生成transactio
mutourend·2023-09-26 07:53

提升程序运行速度-计算加速的20种方法

-缺点：需要额外的硬件支持，并且某些任务可能无法并行化。-应用场景：大规模数据处理，机器学习模型训练等。-例子：使用CUDA加速GPU计算。
专注VB编程开发20年·2023-09-25 21:56

朴实无华且高效！视觉Transformer中ReLU替代softmax，DeepMind新招让成本速降

softmax有较高的成本，因为其会执行指数计算和对序列长度求和，这会使得并行化难以执行。GoogleDeepMind想到了一个新思路：用某种不一定会输出概率分
我爱计算机视觉·2023-09-25 02:11

从数据中进行学习-基础知识

他与传统BI一样，都是从数据中挖掘有价值的信息，以满足商业目标；但它的独特之处在于：分布式、并行化。
Arrow·2023-09-24 23:40

生信技巧 | GNU 并行操作

如果数据可以分成块并单独处理，那么问题就被认为是可并行化的。
冷冻工厂·2023-09-24 06:07
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他