并行化

Transformer原理及其应用

相较于RNN结构可以进行并行化训练，能够拥有全局信息。
cckyol·2023-04-05 07:34

逻辑回归LR(Logistic Regression)原理以及代码实践

简介逻辑回归应该算得上是机器学习领域必须掌握的经典算法之一，并且由于其简单有效、可并行化、可解释性强等优点，至今仍然也是分类问题中最基础和最受欢迎的算法之一。
HaloZhang·2023-04-04 18:40

Transformer初识

与之前主流的翻译模型相比，transformer的依然是一个encoder-decoder结构，改变的主要是encoder和decoder内部的组成，改变结构带来的优势是使得模型可以并行化训练。
妖皇裂天·2023-04-04 13:29

Apache Hive与Spark。

这是一种分布式处理的通用形式，它包含多个组件：Hadoop分布式文件系统（HDFS），以Hadoop本地格式存储文件并在集群中并行化它们；YARN，用于协调应用
你今天机器学习了么·2023-04-04 07:43

Python之numpy详细教程

Numpy学习笔记Numpy介绍ndarray介绍ndarray与Python原生list运算效率对比ndarray的优势内存块风格ndarray支持并行化运算（向量化运算）效率远高于纯Python代码
ZSYL·2023-04-03 13:12

六、集成学习二、集成学习（Bagging、Stacking）

集成学习就是构建并组合多个学习器来完成学习任务的算法，常用的有三类：Bagging：个体学习器之间没有强依赖关系，可同时生成的并行化方法，装袋Boosting：个体学习器之间存在强依赖关系，必须串行生成基分类器的方法
万物皆可代码·2023-04-03 07:15

高级 Jenkins 并行构建（与 Jenkins 分布式构建）

每个简单的事情都可以用十种不同的方式来完成，包括并行化构建。本文将采用Jenkins中的并行阶段指令，并将其灵活性扩展至所需的地方。我们将通过在管道的定义中引入一些命令逻辑来实现这一点。
Incredibuild·2023-04-03 02:49

（转）RF、GBDT、XGBoost、lightGBM原理与区别

根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：即个体学习器之间存在强依赖关系、必须串行生成的序列化方法，以及个体学习器间不存在强依赖关系、可同时生成的并行化方法；前者的代表就是Boosting
花花花哇_·2023-04-02 13:13

中断系统概述

实现程序的并行化，实现嵌入式
倚楼听戏·2023-04-02 13:35

深度|史上最全面的深度学习硬件指南

研究并行化深度学习过程中，我搭建了一个GPU集群，为此，我需要仔细挑选硬件。尽管经过了仔细的研究和逻辑推理，但是，挑选硬件时，我还是会犯相当多的错误，当我在实践中应用集群时，错误就会
liuhongyue·2023-04-02 13:21

大数据｜MapReduce模型 | Hadoop MapReduce的基本工作原理

前文回顾：HDFS分布式文件系统目录对付大数据处理：分而治之大数据的并行化计算大数据任务划分和并行计算模型构建抽象模型：Map和Reduce关键思想MapReduce抽象描述Map：(k1;v1)→[(
啦啦右一·2023-04-02 03:12

Spark学习笔记-理论篇-01-Spark系统综述

文章目录Spark系统综述1.1大数据处理框架1.2Spark大数据处理框架1.2.1RDD的表达能力1.2.2Spark子系统Spark系统综述1.1大数据处理框架集群环境对编程来说带来了很多挑战，比如并行化
Chris刘·2023-04-01 13:01

Open3d学习计划—高级篇 7（颜色映射）

后端是高度优化的，并且是为并行化而设置的。本系列学习计划有Blue同学作为发起人，主要以Open3D官方网站的教程为主进行翻译与实践的学习计划。
Being_young·2023-04-01 07:59

Hadoop 数据去重

数据去重这个实例主要是为了读者掌握并利用并行化思想对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问等这些看似庞杂的任务都会涉及数据去重。
|旧市拾荒|·2023-04-01 03:22

系统架构升级规划

售后数据访问层服务http接口接入到shepher网关查询路由模块(人工+自动)搜索数据同步服务售后接口性能优化：非耦合业务并行化，非核心业务异步化售后读写服务拆分售后数据监控服务(性能+业务)售后系统自动补偿和修复服务外部系统交互
kuaipao19950507·2023-03-31 22:59

Transformer-《Attention is All You Need》

传统的RNN系模型(LSTM,GRU等)都是序列模型,每一步都需要上一步的结果,所以无法并行化.而CNN系虽然可以并行,但是只能捕捉到局部
hiyoung·2023-03-30 21:46

Python 并行化执行

并行编程比程序编程困难，除非正常编程需要创建大量数据计算耗时太长物理行为模拟困难目录多进程模版例子：N体问题普通计算方法效果图Python并行化执行再举一个例子多进程模版importmultiprocessingasmpdeffinal_fun
River Chandler·2023-03-30 12:46

Chatgpt-3 训练使用的分布式技术和框架

为了训练ChatGPT-3这样的大型神经网络模型，OpenAI采用了多种分布式技术来加速处理并行化。
roxxo·2023-03-29 22:39

直播｜PostgreSQL 技术内幕(五）Greenplum-Interconnect模块

相比PostgreSQL只能在单节点上执行查询计划，Greenplum能够将查询并行化，以充分发挥集群的优势。为了最大限度的实现并行化处理，
HashData酷克数据·2023-03-29 04:59

flink 四层图概述

Client首先根据用户编写的代码生成StreamGraph，然后把StreamGraph构建成JobGraph提交给Flink集群主节点2、然后启动的JobMaster在接收到JobGraph后，会对其进行并行化生成
画画的老顽童·2023-03-28 19:34

RAID和虚拟磁盘管理

一.RAID（acaseforRedundantArraysofInexpensiveDisks）RAID组合多块磁盘（Disk>=2）形成阵列，通过磁盘存取I/O的并行化来提高存储的速度，吞吐量和可靠性
beeworkshop·2023-03-28 09:07

工作队列

并且可以根据当前系统CPU的个数创建线程的数量，使得线程处理的事务能够并行化。workqueue是内核中实现简单而有效的机制，他显然简化了内核daemon
傀儡世界·2023-03-26 23:16

Java8专题四《引入流》

我们会在后面的章节详细解释流和并行化是怎么工作的。2、使用流的好处用一个例子展示流的好处，下面两段代码都是用来返回低热量的菜肴名称的，按照卡路里排序。//Java8之前ListlowCalori
七月_3155·2023-03-19 08:02

pytorch: n个GPU并行计算时模型输出的batch size等于预定义bs的n倍

按照我以前对pytorch并行化的理解，一个batch的数据应该是被平均划分到不同GPU上并行计算，然后再
Timeless_·2023-03-17 23:56

Linux离线安装yarn和配置离线仓库

它还能并行化操作以最大化资源利用率，安装速度之快前所未有。特别安全Yarn会在每个安装包被执行前校验其完整性。超级可靠Yarn使用格式详尽而又简洁的lockfile文件和确定性
小王子b612小行星·2023-03-14 20:00

2019-10-17 消息队列的应用场景

1.异步处理比如用户在注册完之后,需要发送邮件和短信,我们可以之前我们都是串行化和并行化处理.这样一来并发量,响应时间都会有瓶颈,到某一个值就是极限了,我们利用消息队列之后我们可以在注册之后,我们可以把发送邮件和短信放到消息队列里
割肉喂鹰丶·2023-03-13 16:47

python randomforest_随机森林random forest及python实现

引言想通过随机森林来获取数据的主要特征1、理论根据个体学习器的生成方式，目前的集成学习方法大致可分为两大类，即个体学习器之间存在强依赖关系，必须串行生成的序列化方法，以及个体学习器间不存在强依赖关系，可同时生成的并行化方法
weixin_39661345·2023-03-12 07:44

AutoML并非全能神器！新综述爆火，网友：了解深度学习领域现状必读

又要如何解决、能否并行化解决？现在一篇
QbitAl·2023-02-16 20:45

集成学习（bagging与boosting）

算法比较bagging：个体学习器之间不存在强依赖关系，可同时生成的并行化方法。算法特征：样本选择：从训练集中进行有放回的均匀采样，各轮训练集之间是独立的。样例权重：使用均匀取样，每个样例的权重相等。
yangyi_hust·2023-02-07 11:48

集成学习（Boosting、Bagging）

分类：个体学习器间存在强依赖关系、必须串行生成的序列化方法：Boosting个体学习器间不存在强依赖关系、可同时生成的并行化方法：Bagging,RandomForest一、Boosting个体学习器存在强依赖关系
夕述·2023-02-07 11:01

使用torch.load()加载文件时，报错_pickle.UnpicklingError: could not find MARK

他们首先在CPU上并行化，然后移动到保存它们的设备。如果失败(例如，因为运行时系统
TEn%·2023-02-07 10:52

《零基础学机器学习》读书笔记四之Python和机器学习框架

良好的框架不仅易于理解，还支持并行化计算（即硬
青青木屋·2023-02-06 17:02

【自然语言处理五】Transformer模型

Transformer模型使用了Self-Attention机制，不采用RNN的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。
moo611·2023-02-05 14:40

HLS 3 FPGA并行化 稀疏矩阵向量乘法（计算机视觉）

CRS作为一种数据结构，由3个数组组成。值(values)数组保存矩阵中非零元素的值。列索引(columnIndex)数组和行指针（rowPtr）数组对非零元素的位置信息进行编码。列索引存储每个元素的列数，行指针包含每一行第一个元素在values中的索引。CRS结构避免存储矩阵中的0值，确实在数值数组中确实没有存储0。但是在这个例子中，虽然数值数组不保存0，但是列索引数组和行指针数组作为标记信息，
风尘23187·2023-02-05 11:18

Spark源码-spark算子-1-构建RDD的算子

构建RDD的算子1.概述2.RDD创建方式2.1.根据驱动程序中现有并行化集合创建RDD2.1.1.parallelize方式创建RDD2.2.根据外部存储系统中的数据集创建RDD2.2.1.textFile
zdaiqing·2023-02-03 12:26

第七章 函数式编程 总结

纯函数也方便进行并行化运算。函数式编程消灭了副作用，即无形中消除了竞
大饼与我·2023-02-02 22:24

自然语言处理( NLP )Subword Models

相比于word2vec,因为golve更容易并行化，所以速度更
weixin_46783985·2023-02-01 11:08

详解 Spark RDD 的转换操作与行动操作

学习目标RDD的创建RDD的转换操作RDD的行动操作惰性求值1.RDD的创建Spark提供了两种创建RDD的方式：对一个集合进行并行化操作和利用外部数据集生成RDD。
Data跳动·2023-01-31 14:50

Transformer介绍

让我们进行一些回顾：CNNs易于并行化，却不适合捕捉变长序列内的依赖关系。RNNs适合捕捉长距离变长序列的依赖，但是却难以实现并行化处理序列。
幸福诗歌·2023-01-30 18:31

Open3D从RGB图与depth图产生RGB-D点云（采坑记录）

后端经过高度优化，并设置为并行化。前期也用了一段时间的PCL，但是C++真的啃不动，转而寻求python版的点云处理库，就找到了Open3D。
农机AI小白·2023-01-30 18:27

使用shell实现多进程ASR解码

对于较大的测试集，或者不支持batch解码的解码算法，我们可以使用将数据集分割成多个子集，使用shell的多进程并行化处理。
习惯了千姿百态·2023-01-30 07:58

numpy的并行多进程处理

又想进一步提高处理速度，就需要并行化。关于numpy的ndarray的并行化处理，已经又前人研究过，使用multiprocessing.shared_memory模块。
makefool·2023-01-29 19:27

正确率能很好的评估分类算法吗_人工智能入门算法逻辑回归学习笔记

LogisticRegression因其简单、可并行化、可解释强深受工业界
weixin_39819661·2023-01-29 09:28

Java 8 之Stream Spliterator

Spliterator也可以将其部分元素作为另一个Spliterator进行分区，为了并行化操作。使用不能拆分或以非常不平衡或低效的方式进行拆分Spliterator的操作不太可能从并行中获益。
Unyielding_L·2023-01-26 08:26

学习 Visual Transformer

Transformer模型（速度快）使用了Self-Attention机制，不采用RNN顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。
Superhi·2023-01-26 02:54

大数据技术原理与应用——大数据存储与管理

每台服务器并不是缺一不可，它存在的作用主要是：缓解并发压力、提升计算性能单点故障转移问题传统版集群结构示意1.传统集群使用多个处理器和专用高级硬件的并行化处理装置2.紧密/集中构造阿姆达尔定律——并行度和可扩展性关系普通版计算机集群结构普
linjiayina·2023-01-22 19:07

[译][并行计算] 1. 并行计算简介

若里面有翻译错误和打字错误敬请谅解，并请参考原贴）1摘要最近项目需要实现程序的并行化，刚好借着翻译这篇帖子的机会，了解和熟悉并行计算的基本概念和程序设计。帖子的原文见这里。
WGH100817·2023-01-21 10:57

并行计算教程简介 Introduction to Parallel Computing Tutorial

并行计算简介（对网上翻译文章再进行整理，可能存在些问题，请参考原贴）1摘要最近项目需要实现程序的并行化，刚好借着翻译这篇帖子的机会，了解和熟悉并行计算的基本概念和程序设计。帖子的原文见这里，原翻译。
鳄鱼儿·2023-01-21 10:56

【转载】Transformer 模型详解

Transformer模型使用了Self-Attention机制，不采用RNN的顺序结构，使得模型可以并行化训练，而且能
yepeng2007fei·2023-01-21 09:34

dnn分类鸢尾花 pytorch_基于PyTorch的深度学习入门教程之训练一个神经网络分类器...

Part1：PyTorch简单知识Part2：PyTorch的自动梯度计算Part3：使用PyTorch构建一个神经网络Part4：训练一个神经网络分类器Part5：数据并行化本文是关于Part4的内容
weixin_39585886·2023-01-19 16:52
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他