并行化

解放研究者：GPT自动化科研

受到AutoGPT和最近的Plan-and-Solve论文的启发，GPTResearcher解决了速度和确定性的问题，通过并行化代理工作而不是同步操作，提供更稳定的性能和更快的速度。
无数据不智能·2023-07-19 22:26

英特尔oneAPI - 使用parallel_for完成高斯消去的并行化

因此简单学习了一下OneAPI中DPC++的使用，并且用它完成了高斯消去并行化的作业，得到了不错的加速比。
suhipek·2023-07-19 15:07

open3d教程(一)：open3d的安装和测试（Python版本）

后端经过高度优化，并设置为并行化。我们欢迎来自开源社区的贡献。
不写八个·2023-07-19 06:25

【深度学习框架】pytorch之分布式数据并行化DDP

文章目录1.引言2.QuickStart3.基本概念4.DDP使用流程4.1launch启动4.2spawn启动5.不是很相关的一些bug参考文献1.引言DistributedDataParallel（DDP）是一个支持多机多卡、分布式训练的深度学习工程方法。它通过Ring-Reduce的数据交换方法提高了通讯效率，并通过启动多个进程的方式减轻PythonGIL的限制，从而提高训练速度。即是，将数
weiquan fan·2023-07-19 03:31

PyTorch如何加速数据并行训练？分布式秘籍大揭秘

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达PyTorch在学术圈里已经成为最为流行的深度学习框架，如何在使用PyTorch时实现高效的并行化？
小白学视觉·2023-07-19 03:30

机器学习基础知识

通常情况下，训练数据集非常庞大，批量处理可以提高计算效率和并行化能力。在训练过程中，将训练数据集分为多个批次（batches），每个批次包含一定数量的样本。
Che_Che_·2023-07-18 14:23

OpenMP并行编程

OpenMP提供了对并行算法的高层抽象描述，通过线程实现并行化，特别适合在多核CPU机器上的并行程序设计。
伴君·2023-07-18 08:16

F#奇妙游（12）：并行编程与π

在多核CPU上，程序的性能可以通过并行化来提升，但是并行化的难度也随之提升。本文将介绍多核CPU的基本概念，以及如何在多核CPU上进行并行化编程。
大福是小强·2023-07-18 08:45

excel和csv表格文件流式处理降低内存需求以及并行化读取——分块读写和计算

excel格式数据不能像csv格式一样方便的实现分块的读取。对于csv可以通过dask库和或者pd.read_csv的chunksize参数实现流式加载和运算。为了避免对excel大文件读取或运算过程中的内存不足，通过流式加载excel再进行处理，节约内存使用。流式加载和计算主要有两种思路1、将excel转化为csv实现流式加载和计算。2、分块读取excel实现流式加载和计算。该方案会严重影响读写
风暴之零·2023-07-17 21:44

NER(命名实体识别)之LR-CNN详解

效率低；2、LatticeLSTM不能解决词汇冲突问题，比如下面句子中的“长”，根据前面的“广州市”很容易判断为O，然而整体观察后发现正确是B-GPE对应的改进方案是：1、使用CNN来替换LSTM来实现并行化
wshzd·2023-07-17 12:36

【V6.6】ElasticSearch-基础篇.md

通过唯一的名称来区分集群节点：默认名称是通过UUID来生成的，当然如果想加入到某个集群里面，需要修改成对应的集群名称索引：名称必须小写类型：将在V7.0以后移除文档：主分片：允许你水平拆分/扩展存储空间允许你跨分片分布和并行化操作以提高性能
smallAttr·2023-07-16 22:59

使用 RPC 的分布式管道并行化

使用RPC的分布式管道并行化先决条件：PyTorch分布式概述单机模型并行最佳实践分布式RPC框架入门RRef辅助函数：RRef.rpc_sync()，RRef.rpc_async()和RRef.remote
yanglamei1962·2023-07-16 11:37

16.例：MapReduce 案例之数据去重

数据去重数据去重主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。实例描述对数据文件中的数据进行去重。
__元昊__·2023-07-16 02:07

【机器学习小论文】sklearn随机森林RandomForestRegressor代码及调参

各个模型训练之间互不影响，天生就适合并行化
小胡同1991·2023-07-16 02:22

Transformer笔记

Transformer在主流的神经网络架构如卷积神经网络（CNNs）和循环神经网络（RNNs）中：CNNs易于并行化，却不适合捕捉变长序列内的依赖关系。
wjsjjss·2023-07-15 21:09

【Rust日报】2023-07-11 rustc 的并行编译性能优化探索

他解释了不同数量和大小的CGU之间的权衡，以及rustc如何使用LLVM来并行化代码生成和优化。Nethercote还探索了一些形成和排序CGU的替代方法，并报告了他的实
Rust语言中文社区·2023-07-15 13:28

ElasticSearch（六）：聚合索引

聚合的作用范围排序Elasticsearch聚合性能优化ES聚合分析不精准原因分析启用eagerglobalordinals提升高基数聚合性能插入数据时对索引进行预排序使用节点查询缓存使用分片请求缓存拆分聚合，使聚合并行化
Men-DD·2023-07-13 23:48

Java并发编程学习18-线程池的使用（下）

串行递归转并行递归3.谜题3.1串行的谜题解答器3.2并发的谜题解答器3.3无解答的并发解答器3.4进一步的改进总结引言上篇介绍了ThreadPoolExecutor配置和扩展相关的信息，本篇开始将介绍递归算法的并行化
Huazie·2023-07-13 20:09

Flink基本原理剖析讲解

1.Flink简介Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。
Hello.Reader·2023-07-13 16:48

Apache Kafka：优化部署的10种最佳实践

更多的分区意味着更好的并行化和吞吐量，但分区也意味着更多的复制延迟、平衡，以及打开更多服务器文件。监控系统网络吞吐量、
weixin_34061482·2023-06-22 21:36

什么是 Java Stream API？

相比传统的for循环和迭代器，StreamAPI更加灵活、易于并行化和优化
风吹落枫·2023-06-22 15:46

Nautilus Chain 主网上线在即，一文盘点该生态即将上线的项目

NautilusChain是行业内第一个并行化，且运行速度最快EVMRollup的L3扩容方案，作为首个模块化链，存储、计算、共识等都在不同的模块中，意味着其能够获得更高的可拓展性与扩容能力，并在Layer2
区块链小八歌·2023-06-22 13:30

Yarn使用

它还能并行化操作以最大化资源利用率，安装速度之快前所未有。
Der先生·2023-06-21 11:51

Flink 学习九 Flink 程序分布式运行部署

执行计划层级说明备注StreamGraph用户代码生成的最初的图程序的运行流程图JobGraph将多个符合条件的节点多个符合条件的节点合并,减少序列化和反序列化ExecutionGraphJobGraph的并行化调度层的核心数据结构
C0oOder·2023-06-21 00:21

Nautilus Chain 主网上线在即，一文盘点该生态即将上线的项目

NautilusChain是行业内第一个并行化，且运行速度最快EVMRollup的L3扩容方案，作为首个模块化链，存储、计算、共识等都在不同的模块中，意味着其能够获得更高的可拓展性与扩容能力，并在Layer2
金马1988·2023-06-20 17:27

Nautilus Chain 主网上线在即，一文盘点该生态即将上线的项目

NautilusChain是行业内第一个并行化，且运行速度最快EVMRollup的L3扩容方案，作为首个模块化链，存储、计算、共识等都在不同的模块中，意味着其能够获得更高的可拓展性与扩容能力，并在Layer2
西柚财经·2023-06-20 05:18

Nautilus Chain 主网上线在即，一文盘点该生态即将上线的项目

NautilusChain是行业内第一个并行化，且运行速度最快EVMRollup的L3扩容方案，作为首个模块化链，存储、计算、共识等都在不同的模块中，意味着其能够获得更高的可拓展性与扩容能力，并在Layer2
BTColdman·2023-06-18 05:14

Stream流 - 获取Stream和转换操作(含基本数据类型流)

Stream可以并行化操作，Stream的并行操作是依赖Java7中引入的Fork/Join框架拆分任务和加速处理过程，并且允许数
Jothan Zhong·2023-06-17 03:34

Nautilus Chain 主网上线在即，一文盘点该生态即将上线的项目

NautilusChain是行业内第一个并行化，且运行速度最快EVMRollup的L3扩容方案，作为首个模块化链，存储、计算、共识等都在不同的模块中，意味着其能够获得更高的可拓展性与扩容能力，并在Layer2
WilliamMeta·2023-06-16 23:09

Nautilus Chain 主网上线在即，一文盘点该生态即将上线的项目

NautilusChain是行业内第一个并行化，且运行速度最快EVMRollup的L3扩容方案，作为首个模块化链，存储、计算、共识等都在不同的模块中，意味着其能够获得更高的可拓展性与扩容能力，并在Layer2
QiJublockchain·2023-06-15 23:14

异步线程:CompletableFuture、@Async

通常指定一个方法使用的异步方法调用，而CompletableFuture可以一个方法体内对请求体进行排序组合成链式调用再返回目录1.CompletableFuture总体架构2.计算完成时回调方法串行化与并行化串行化案例
景庆197·2023-06-15 01:23

【编程技巧（三）】并行化+分治：大矩阵运算的终极解决方案

在对一个大矩阵执行相关性计算或JaccardIndex的计算时，其实执行的是矩阵任意两行（这里假设要进行分析的对象是矩阵的每个行）之间的两两的计算，若这个矩阵的规模非常庞大，有n行时，计算的时间复杂度就是，这个时候可以采用并行化策略来加速这个进程
UnderStorm·2023-06-14 05:50

模型压缩- 剪枝/量化/蒸馏/AutoML

由于矩阵操作的并行化，减去单个像素
NCU_wander·2023-06-13 16:23

如何设计神经网络的硬件加速器

这些处理器通常具有高度并行化的设计，能够大大加速神经网络的训练和推理。使用FPGA芯片，这种芯片的灵活性比专
Shen Planck·2023-06-11 10:38

有限差分时域法（FDTD）计算电磁学的并行代码_C语言

目录引言有限差分时域法（FDTD）FDTD并行化FDTD并行代码_C语言结论参考文献引言电磁学是许多工程和科学学科的基础，例如无线通信、雷达、微波设备、光纤通信、医学成像等等。
快撑死的鱼·2023-06-09 22:50

Transformer模型简介

Transformer在机器翻译任务上的表现超过了RNN，CNN，只用encoder-decoder和attention机制就能达到很好的效果，最大的优点是可以高效地并行化。
gb4215287·2023-06-09 00:28

nn.MultiheadAttention

所谓Multi-HeadAttention其实是把QKV的计算并行化我们先不考虑其并行化的计算过程，只关注他的输入输出。上面两个图，图一是对第i个词执行注意力机制的过程。
yf416·2023-04-21 14:39

【博学谷学习记录】超强总结，用心分享丨人工智能 自然语言处理 BERT、GPT、ELMO对比学习简记

目录三模型架构BERTGPTELMO三者差异点三模型架构BERT优点在11个NLP任务上取得SOAT成绩.利用了Transformer的并行化能力以及长语句捕捉语义依赖和结构依赖.BERT实现了双向Transformer
鹏晓星·2023-04-20 20:03

C/C++编译器并行优化技术：并行优化针对多核处理器和多线程环境进行优化，以提高程序的并行度

自动并行化：编译器自动分析代码，找出可以并行执行的部分，将这些部分转换为多线程或多核处理器可以并行执行的代码。自动向量化：将循环中的操作转换为单指令多数据（SIM
泡沫o0·2023-04-20 03:48

CompletableFuture异步编排

CompletableFuture异步编排1、CompletableFuture异步编排1.1为什么需要异步编排1.2CompletableFuture介绍1.3创建异步对象1.4线程串行化与并行化方法
别团等shy哥发育·2023-04-20 03:44

启动加速方案

1、SpringBean异步初始化2、模块并行化启动3、减少业务初始化4、延迟初始化，非必要的bean进行延迟加载5、SpringContextIndexer6、关闭JMX7、关闭分层编译8、关闭endpoins
一丝轻风、·2023-04-18 20:19

昇思MindSpore“自动向量化Vmap”介绍与示例

CSDN社区云一、什么是“自动向量化Vmap”自动向量化Vmap官方地址MindSpore这应该是非常常见的问题了：自动向量化Vmap是MindSpore深度学习框架中的一个重要特性，用于自动地将数据并行化执行
在下周周ovo·2023-04-18 12:58

Ceph

高性能：数据分布均衡，并行化度高。对于objectsstorage和blockstorage,不
想成为大师的学徒小纪·2023-04-18 07:27

Sklearn——集成模型

sklearn——集成模型1.bagging2.决策树的bagging2.1随机森林2.2极端随机森林2.3参数2.4并行化3.Adaboost3.1用法4.GradientTreeBoosting4.1
是菜鸡小小陈啊·2023-04-16 16:10

自学大数据第16天~Pig安装与配置及其他

Pig程序的显着特性是它们的结构适合大量的并行化，这反过来使它们能够处理非常大的数据集。
CodeMartain·2023-04-16 16:05

量化工具Numpy知识1：并行化思想与基础操作

Numpy的输出是一个非常大且连续的并由同类型数据组成的内存区域，所以可以构造一个比普通列表大得多的数组，并且灵活高效地对数组中所有的元素进行并行化操作。一、并行化思想示例1：构建10000个元
APRII2·2023-04-16 13:02

Pytorch 如何高效使用GPU

GPU（GraphicProcessUnits，图形处理器）的众核体系结构包含几千个流处理器，可将矩阵运算并行化执行，大幅缩短计算时间。随着
血_影·2023-04-15 18:33

MapReduce简述

它提供了一个庞大但设计精良的并行计算软件框架，能自动完成计算任务的并行化处理，自动
会飞的bird·2023-04-15 15:15

pytorch | 使用vmap对自定义函数进行并行化/ 向量化的执行

0.参考pytorch官方文档：https://pytorch.org/docs/stable/generated/torch.func.vmap.html#torch-func-vmap关于if语句如何执行：https://github.com/pytorch/functorch/issues/2571.问题背景笔者现在需要执行如下的功能：root_ls=[func(x,b)forxininpu
Rilkean heart·2023-04-14 17:55

CUDA基础（一）同步、并行与计时的初步理解

并行并行程序中经常的一种现象：把串行代码并行化时对串
Codiplay·2023-04-13 11:02
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他