并行化

HarmonyOS NEXT应用开发性能优化篇(一)

文章将性能优化分为四篇按照顺序(1.并行化、预加载和缓存2.布局嵌套层数3.管理状态变量4.系统接口)来介绍介绍应用开发过程中常见的一些性能问题，配合相关参考示例。

周星0927·2024-09-13 08:56

LLM大模型学习：LLM大模型推理加速

目录一、模型优化技术二、模型压缩技术三、硬件加速四、GPU加速五、模型并行化和分布式计算技术一、模型优化学习常见的模型优化技术，如模型剪枝、量化、分片、蒸馏等，掌握相应的实现方法。1.1剪枝

七七Seven～·2024-09-12 17:45

python分布式集群ray_Ray：为人工智能而生的分布式执行框架

现有代码的简单并行化Ray允许通过最少的修改来远程执行P

不死鹰阿江·2024-09-12 04:51

【Lidar】基于Python的点云数据下采样+体素显示

Open3D为开发者提供了一组精心选择的数据结构和算法，内部实现高度优化并设置为并行化。它处理3D数据的各种应用，包括点云、网格、体积计算、可视化、深度学习、测量

RS迷途小书童·2024-09-05 06:14

并行处理的艺术：深入探索PyTorch中的torch.nn.parallel模块

本文将详细介绍如何使用这个模块，以及如何通过并行化来提高模型的计算效率。引言深度学

杨哥带你写代码·2024-09-04 06:10

大语言模型算力优化策略：基于并行化技术的算力共享平台研究

目录大语言模型算力优化策略：基于并行化技术的算力共享平台研究摘要引言算力共享平台的设计1.平台架构2.并行化计算技术模型并行化流水线并行化3.资源管理和调度实验与结果分析结论与展望首先，大语言模型（如GPT

ZhangJiQun&MXP·2024-09-03 19:34

大语言模型诞生、探索和爆发阶段

2017年：Google发表了Transformer架构，这是一种基于自注意力机制的神经网络架构，它彻底改变了自然语言处理（NLP）领域，使得大规模并行化处理成为可能，

花开盛夏^.^·2024-09-02 10:38

深度学习--Transformer和BERT区别详解

与传统的循环神经网络（RNN）和卷积神经网络（CNN）不同，Transformer完全摒弃了循环和卷积结构，依赖于自注意力机制和并行化的处理方式，极大地提高了模型的训练效率和效果。

Ambition_LAO·2024-08-26 08:36

Numpy、Pandas库的使用

目录Numpy1、概述2、基础操作2.1生成一个numpy的array数组：2.2自定义一个新的数据类型：np.dtype()3、并行化思想4、量化分析应用4.1索引选取和切片选择4.2数据转换与规整4.3

貮叁·2024-03-29 00:29

【循环神经网络rnn】一篇文章讲透

目录引言二、RNN的基本原理代码事例三、RNN的优化方法1长短期记忆网络（LSTM）2门控循环单元（GRU）四、更多优化方法1选择合适的RNN结构2使用并行化技术3优化超参数4使用梯度裁剪5使用混合精度训练

CX330的烟花·2024-03-27 04:51

sprintboot集成flink快速入门demo

一、flink介绍Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。

AskHarries·2024-03-07 04:55

ElasticSearch为什么快？

2.索引分片：ElasticSearch把每个索引划分成多个分片，这样可以让查询操作并行化，从而提高查询速度。3.全文索引：ElasticSearch使用了高效的全文索引技术，把文档转化成可

z.jiaminf·2024-03-06 19:14

transformer-Attention is All You Need（一）

这种固有的顺序特性阻止了训练样本内的并行化，这在较长的序列长度上变得至关重要，因为有限的内存限制了样本的批处理大小。

liaolaa·2024-02-20 04:18

基于 C# 的 ETL 大数据并行编程

但编写并行化应用只会越来越简单，一个应用同时利用设备CPU上的多个内核，来实现效率最大化也是很常见的。如今，随着数据工程作为一个专业领域的兴起，并行编程比以往任何时候都更受欢迎。

dotNET跨平台·2024-02-14 07:07

首个支持RWA交易的订单簿DEX-PoseiSwap，即将开启IEO

NautilusChain是行业内第一个并行化且运行速度最快EVM

西柚财经·2024-02-13 11:53

Hadoop：认识MapReduce

其优势在于能够处理大量的数据，通过并行化来加速计算过程。它适用于那些可以分解为多个独立子任务的计算密集型作业，如文本处理、数据分析和大规模数据集的聚合等。

爱写代码的July·2024-02-12 06:41

【论文精读】Transformer

摘要以往的循环神经网络如LSTM和GRU，在序列建模和翻译问题中已经成为最先进的方法，但由于其循环结构，导致无法并行化计算，且难以对长序列的全局关系建模。

None-D·2024-02-11 15:40

numpy常用操作

2.ndarray支持并行化运算（向量化运算）3.numpy底

卅清·2024-02-09 23:33

Spark是什么？与MapReduce的对比

Spark主要解决计算的并行化，集群资源的管理与分配，容错与恢复，任务的分发与回收管理等问题。SparkvsMapReduceJob的划分方式不同，MapReduce中一个map和

Tim在路上·2024-02-09 10:27

【MATLAB】使用随机森林在回归预测任务中进行特征选择（深度学习的数据集处理）

由于其天然的并行化、抗过拟合的特性和对非线性关系的

编程到天明·2024-02-07 15:31

OpenAI Gym 高级教程——分布式训练与并行化

PythonOpenAIGym高级教程：分布式训练与并行化在本篇博客中，我们将深入探讨OpenAIGym高级教程，特别关注分布式训练与并行化的方法。

Echo_Wish·2024-02-05 02:20

FLUENT UDF并行化（1）

来源：ANSYSFLUENTUDF帮助文档，翻译自用，如有错误，欢迎指出！本章概述了并行ANSYSFluent的用户定义函数（UDF）及其用法。有关并行UDF功能的详细信息，请参见以下部分，本文介绍前两部分。7.1.OverviewofParallelANSYSFluent7.2.CellsandFacesinaPartitionedMesh7.3.ParallelizingYourSerialU

BetterFlow_CFD·2024-02-04 14:54

FLUENT UDF并行化（2）

来源：ANSYSFLUENTUDF帮助文档，翻译自用，如有错误，欢迎指出！本章概述了并行ANSYSFluent的用户定义函数（UDF）及其用法。有关并行UDF功能的详细信息，请参见以下部分，本文介绍第三部分。7.1.OverviewofParallelANSYSFluent7.2.CellsandFacesinaPartitionedMesh7.3.ParallelizingYourSerialU

BetterFlow_CFD·2024-02-04 14:54

FLUENT UDF并行化（3）

来源：ANSYSFLUENTUDF帮助文档，翻译自用，如有错误，欢迎指出！本章概述了并行ANSYSFluent的用户定义函数（UDF）及其用法。有关并行UDF功能的详细信息，请参见以下部分，本文介绍第四、五部分。7.1.OverviewofParallelANSYSFluent7.2.CellsandFacesinaPartitionedMesh7.3.ParallelizingYourSeria

BetterFlow_CFD·2024-02-04 14:24

Google Earth Engine（GEE）——缩放错误指南（聚合过多、超出内存、超出最大像素和超出内存限制）！

缩放错误虽然脚本可能是有效的JavaScript，没有逻辑错误，并代表服务器的一组有效指令，但在并行化和执行计算时，结果对象可能太大、太多或计算时间太长。

此星光明·2024-02-04 09:46

【Docker】【深度学习算法】在Docker中使用gunicorn启动多个并行算法服务，优化算法服务：从单进程到并行化

文章目录优化算法服务：从单进程到并行化单个服务架构多并行服务架构Docker化并指定并行服务数量扩展知识优化算法服务：从单进程到并行化在实际应用中，单个算法服务的并发能力可能无法满足需求。

XD742971636·2024-02-02 00:47

消息队列之RabbitMQ

消息队列之RabbitMQ：一、准备知识：把数据放到消息队列叫做生产者从消息队列里取数据叫做消费者消息队列主要实现的功能：a.异步：批量数据的异步处理b.解耦：串行任务的并行化我的理解：将原先直接关联的系统

五月高高·2024-02-01 17:05

2017HPCS-The Parallel and Distributed Future of Data Series Mining

标题：时间序列挖掘到的并行化和分布式的未来本文是时间序列大佬ThemisPalpanas在2017年HPCS上做的一篇techreport。

Caucher·2024-01-31 06:20

SparkCore之RDD---弹性分布式数据集

2.RDD的属性三、RDD特点1.可分区2.不可变3.依赖关系4.缓存（cache）5.检测点（CheckPoint）四、RDD的创建1.通过并行化的方式创建RDD2.读取文件生成RDD3.通过其他RDD

孤独の√ 3·2024-01-30 15:09

HIVE优化场景三-合理并行控制

场景三.合理进行并行控制合理的使用并行化参数控制并行化参数有以下几个：开启任务并行执行sethive.exec.parallel=true;允许并行任务的最大线程数sethive.exec.parallel.thread.number

xuanxing123·2024-01-28 14:36

两行代码实现python多进程并行计算

python内置的multiprocessing库可以实现循环语句的并行化，不过这里使用的是map而不是for，其本质相同。

jedi-knight·2024-01-28 01:14

并行化K-means聚类算法的实现与分析

并行化K-means聚类算法并行化K-means聚类算法的实现与分析项目背景与意义算法原理与串行实现分析并行化策略与关键细节实验结果与讨论未来改进方向结语并行化K-means聚类算法的实现与分析在大数据时代

OverlordDuke·2024-01-27 09:19

[Node]yarn介绍、安装与常用命令 2024最新出炉！

Yarn提供了如下特性：速度：Yarn通过缓存已下载的包来提高重复安装的速度，并并行化下载操作以利用系统资源，进一步加快安装速度。

魔都吴所谓·2024-01-27 05:33

【.NET Core】深入理解任务并行库 (TPL)

）三、Parallel.For循环示例四、Parallel.ForEach循环示例五、处理并行循环中的异常六、数据并行总结6.1不要假定并行的速度始终更快6.2不要假定并行的速度始终更快6.3避免过度并行化

goyeer·2024-01-25 23:10

如何使用 OpenCV parallel_for_并行化代码

目标本教程的目的是演示如何使用OpenCV框架轻松并行化代码。为了说明这个概念，我们将编写一个程序来对图像执行卷积运算。完整的教程代码在这里。

人工智能小豪·2024-01-25 23:05

Linux中安装clickhouse

其特性如下：基于shard+replica实现的线性扩展和高可靠采用列式存储，数据类型一致，压缩性能更高硬件利用率高，连续IO，提高了磁盘驱动器的效率向量化引擎与SIMD提高了CPU利用率，多核多节点并行化大查询二

ZeroMaster·2024-01-25 11:37

淘宝购物车扩容与性能优化

主要包括：淘宝购物车扩容分析与解决方案网络包大小与服务端并行化分析与方案扩容的背景首先讲一讲购物车的职责。购物车承载着购前环节中促成购买的职责：对于下单犹豫的用户，用营销等手段提升用

阿里巴巴淘系技术团队官网博客·2024-01-25 08:51

状态空间模型（SSM）是近来一种备受关注的 Transformer 替代技术

状态空间模型（SSM）是近来一种备受关注的Transformer替代技术，其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。

AI知识图谱大本营·2024-01-24 15:54

大数据系列——Flink理论

Flink以REST资源的形式和外部进行交互，所以可以集成在所有常见的集群资源管理环境中运行，同时提供计算状态的容错及持久化机制，基于Event（事件）驱动并行化在集群中运行，理论

mql007007·2024-01-23 16:11

分布式深度学习中的数据并行和模型并行

前言对于深度学习模型的预训练阶段，海量的训练数据、超大规模的模型给深度学习带来了日益严峻的挑战，因此，经常需要使用多加速卡和多节点来并行化训练深度神经网络。

张小殊.·2024-01-23 10:29

pandas 多进程并发与python加速

1.背景在大规模数据之间完成一些操作，往往会浪费大量的时间，为了充分利用软硬件资源，演化出了2种主流的优化方式，即“向量化”和“并行化”。

MusicDancing·2024-01-21 16:24

游戏渲染管道

管道每个阶段独立于其他阶段，所以管道的最大有点在于非常适合并行化。渲染管道分为3个概要阶段。

keep-learner·2024-01-21 14:34

C语言总结十四：实用调试技巧

今天的软件环境在不断向着大型化、并行化、复杂化方

未来可期，静待花开~·2024-01-20 01:12

Elastic Stack 8.12：通过对 ES|QL 等的改进增强了向量搜索

此版本还优化了Elasticsearch®中的查询并行化以及Kibana®的增强功能，包括仪

Elastic 中国社区官方博客·2024-01-19 20:38

分布式鼻祖：Map Reduce 论文深入解析

MapReduce架构的程序能够在大量的普通配置的计算机上实现并行化处理。这个系统在运行时只关心：如

西部小笼包·2024-01-19 11:48

解析Transformer模型

RNN是按顺序处理单词的，所以很难并行化。用一句话总结Transformer：当一个扩展性极佳的模型和一个巨大的数据集邂逅，结果可能会让你大吃一惊。Transformer是如何工作的？

.别拖至春天.·2024-01-17 15:50

九、多线程之TaskAdvanced

并行与并发的区别privatevoidParallelKnoledgePoints(){{//最简洁的将串行的代码并行化，并行线程Parallel.Invoke(()=>this.DoSomethingLong

四平二六·2024-01-16 16:14

STM32-中断系统

实现程序的并行化，实现嵌入式系统进程之

物联网攻城狮·2024-01-16 12:32

FPGA中的乒乓操作思想

乒乓操作的思想乒乓操作主要是为了处理，输入时钟和输出时钟不匹配的问题，也可以算跨时钟处理对于乒乓操作我主要参考了野火的文档，以及下面这篇文章彻底弄懂乒乓操作与并行化_快，快去救列宁！

小林家的龙小年·2024-01-15 17:09

理论U4 集成学习

在学习过程引入随机性2）输入属性扰动3）输出表示扰动4）算法参数扰动5、集合策略1）平均法2）投票法3）学习法二、集成学习方法1、串行化方法1）典型算法：提升Boosting算法(Adaboost)2）特点总结2、并行化方法

轩不丢·2024-01-14 12:07

推荐频道

并行化