并行化

【异步编程笔记分享】同步编程方式已经不在成为主流？阿里技术官首发Java异步编程的顶级教程笔记成功刷新了我的认知！

在使用同步编程方式时，由于每个线程同时只能发起一个请求并同步等待返回，所以为了提高系统性能，此时我们就需要引入更多的线程来实现并行化处理。
阿杰子啊·2023-08-06 03:59

从价值的角度看，为何 POSE 通证值得长期看好

该DEX本身能够以Dapp层（Rollup）的形态，与其他应用层并行化运行。
石头财经23·2023-08-06 00:56

从价值的角度看，为何 POSE 通证值得长期看好

该DEX本身能够以Dapp层（Rollup）的形态，与其他应用层并行化运行。
Moment2313·2023-08-05 23:08

从价值的角度看，为何 POSE 通证值得长期看好

该DEX本身能够以Dapp层（Rollup）的形态，与其他应用层并行化运行。
QiJublockchain·2023-08-05 12:32

pyspark学习笔记——RDD

目录1.程序执行入口SparkContext对象2.RDD的创建2.1通过并行化集合创建（本地对象转分布式RDD）2.2读取外部数据源（读取文件）2.2.1使用textFileAPI2.2.2wholeTextFileAPI2.3RDD
千层肚·2023-08-04 18:33

【python】基于multiprocessing.Pool实现python并行化的坑和解决方案

坑1：apply_async调用的子函数不执行或执行不彻底的解决方案解决：使用apply_async时传入error_callback检查报错frommultiprocessingimportPooldefprocessFolder(idx,folders,o_dir):train_mesh=TrainMeshes(folders)output_path=os.path.join(o_dir,st
繁星¹⁸⁹⁵·2023-08-04 11:09

PySpark大数据分析(2)：RDD操作

Spark可以将RDD中的数据分发到集群上，以此并行化执行相关的操作。
唐犁·2023-08-03 11:45

关于Hive的使用技巧

Hive的主要特点包括：可扩展性：Hive可以处理大规模的数据，支持高性能的并行化执行。数据抽象：Hive将数据抽象为表，可以通过HiveQL进行查询和分析。它支持表的分区、桶和索引，以提高查询性能。
auspicious航·2023-08-03 10:07

Nautilus Chain 测试网第二阶段，推出忠诚度计划及广泛空投

NautilusChain是行业内第一个并行化且运行速度最快EVMRollup的L3扩容方案，作为首个模块化链，存储、计算、共识等都在
石头财经23·2023-08-01 08:32

Linux离线安装yarn和配置离线仓库

它还能并行化操作以最大化资源利用率，安装速度之快前所未有。特别安全Yarn会在每个安装包被执行前校验其完整性。超级可靠Yarn使用格式详尽而又简洁的lockfile文件和确定性
小王子CQY·2023-07-31 17:21

机器学习分布式框架ray运行TensorFlow实例

使用Ray来实现TensorFlow的训练是一种并行化和分布式的方法，它可以有效地加速大规模数据集上的深度学习模型的训练过程。
Aresiii·2023-07-29 13:34

使用 Go 重构 - Goroutine 并发

场景假设你希望运行特定数量的任务，而这些任务很容易并行化(没有副作用，没有外部依赖等等)，并且希望存储每个任务的结果。Go的解决方案就是使用多个Goroutine。
Chole121·2023-07-29 10:37

机器学习分布式框架ray运行xgboost实例

它的目标是简化分布式计算的复杂性，使得用户能够轻松地将任务并行化并在多台机器上运行，以加速训练和推理的速度。
Aresiii·2023-07-29 09:33

机器学习分布式框架ray运行pytorch实例

Ray是一个用于分布式计算的开源框架，它可以有效地实现并行化和分布式训练。下面是使用Ray来实现PyTorch的训练的概括性描述：安装Ray：首先，需要在计算机上安装Ray。
Aresiii·2023-07-29 07:01

基于OpenMP的质数并发求解方法研究

本文研究给定范围内质数求解的并发性算法，基于OpenMP将枚举、埃氏筛两种串行算法并行化，并通过加速比等指标评估两种算法在不同并行方式、任务分配方式中的改进程度。关键词OpenMP;并行算法;筛选法1
sylviiiiiia·2023-07-28 04:37

分布式系统论文阅读(1)mapReduce

key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示的现实世界的工作.以这种方式写的程序能自动的在大规模的普通机器上实现并行化
寒夏凉秋·2023-07-27 11:07

论文解读14——XGBoost：A Scalable Tree Boosting System

目录1、文章贡献2、算法推导3、寻找分裂点算法3.1精确贪心算法3.2近似算法4、稀疏感知算法5、特征维度的并行化6、XGBoostVSGBDT7、XGBoost局限半年前看了这篇XGBoost的原文，
对流层的酱猪肘·2023-07-26 01:43

【NLP】图解变压器（transformer）

然而，最大的好处来自变压器如何适应并行化。事实上，谷歌云建议使用TheTransformer作为参考模型来使用他们的CloudTPU产品。因此，让我们尝试将模型分解并查看其功能。
无水先生·2023-07-25 15:11

Dask介绍

Dask强调以下优点：熟悉：提供并行化的N
白日与明月·2023-07-25 11:09

PoseiSwap 即将开启 POSE 单币质押，治理体系将全面运行

PoseiSwap是目前行业首个将支持RWA资产交易的DEX，其构建在NautilusChain上，并通过模块化的形式单独构建了zk-Rollup应用层，具备并行化运行、隐私特性，并从Cosmos、Celestia
金马1988·2023-07-25 03:12

缓存预热和热点数据（storm）解决方案

基于最基础的实时计算语义和API（实时数据处理领域）对实时的数据流持续的进行查询或计算，同时将最新的计算结果持续的推送给客户端展示，同样基于最基础的实时计算语义和API（实时数据分析领域）对耗时的查询进行并行化
鱼获飞·2023-07-24 06:26

OpenMP并行化傅里叶变换

设计思想傅里叶变换，表示能将满足一定条件的某个函数表示成三角函数（正弦和/或余弦函数）或者它们的积分的线性组合。在不同的研究领域，傅里叶变换具有多种不同的变体形式，如连续傅里叶变换和离散傅里叶变换。快速傅里叶变换(FastFourierTransform)，即利用计算机计算离散傅里叶变换（DFT）的高效、快速计算方法的统称，简称FFT，于1965年由J.W.库利和T.W.图基提出。对多项式f(x)
sylviiiiiia·2023-07-23 13:20

王益分布式机器学习讲座~Random Notes (1)

它提供了一套编程模型和接口，以便开发者可以方便地利用并行计算资源来编写并行化
图灵和柯南道尔的大弟子·2023-07-23 07:01

【NLP】机器翻译相关原理

二、算法的目标Seq2Seq的并行化：RNN/CNN按顺序逐字处理序列，这是并行化的障碍。转换器通过用注意力代替重复并按顺序编码符号位置来实现并行化。这反过来又大大缩短
无水先生·2023-07-21 11:13

大模型基础之注意力机制和Transformer

【注意力机制的优势】RNNs顺序计算阻碍了并行化论文：A
只要开始永远不晚·2023-07-20 21:06

解放研究者：GPT自动化科研

受到AutoGPT和最近的Plan-and-Solve论文的启发，GPTResearcher解决了速度和确定性的问题，通过并行化代理工作而不是同步操作，提供更稳定的性能和更快的速度。
无数据不智能·2023-07-19 22:26

英特尔oneAPI - 使用parallel_for完成高斯消去的并行化

因此简单学习了一下OneAPI中DPC++的使用，并且用它完成了高斯消去并行化的作业，得到了不错的加速比。
suhipek·2023-07-19 15:07

open3d教程(一)：open3d的安装和测试（Python版本）

后端经过高度优化，并设置为并行化。我们欢迎来自开源社区的贡献。
不写八个·2023-07-19 06:25

【深度学习框架】pytorch之分布式数据并行化DDP

文章目录1.引言2.QuickStart3.基本概念4.DDP使用流程4.1launch启动4.2spawn启动5.不是很相关的一些bug参考文献1.引言DistributedDataParallel（DDP）是一个支持多机多卡、分布式训练的深度学习工程方法。它通过Ring-Reduce的数据交换方法提高了通讯效率，并通过启动多个进程的方式减轻PythonGIL的限制，从而提高训练速度。即是，将数
weiquan fan·2023-07-19 03:31

PyTorch如何加速数据并行训练？分布式秘籍大揭秘

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达PyTorch在学术圈里已经成为最为流行的深度学习框架，如何在使用PyTorch时实现高效的并行化？
小白学视觉·2023-07-19 03:30

机器学习基础知识

通常情况下，训练数据集非常庞大，批量处理可以提高计算效率和并行化能力。在训练过程中，将训练数据集分为多个批次（batches），每个批次包含一定数量的样本。
Che_Che_·2023-07-18 14:23

OpenMP并行编程

OpenMP提供了对并行算法的高层抽象描述，通过线程实现并行化，特别适合在多核CPU机器上的并行程序设计。
伴君·2023-07-18 08:16

F#奇妙游（12）：并行编程与π

在多核CPU上，程序的性能可以通过并行化来提升，但是并行化的难度也随之提升。本文将介绍多核CPU的基本概念，以及如何在多核CPU上进行并行化编程。
大福是小强·2023-07-18 08:45

excel和csv表格文件流式处理降低内存需求以及并行化读取——分块读写和计算

excel格式数据不能像csv格式一样方便的实现分块的读取。对于csv可以通过dask库和或者pd.read_csv的chunksize参数实现流式加载和运算。为了避免对excel大文件读取或运算过程中的内存不足，通过流式加载excel再进行处理，节约内存使用。流式加载和计算主要有两种思路1、将excel转化为csv实现流式加载和计算。2、分块读取excel实现流式加载和计算。该方案会严重影响读写
风暴之零·2023-07-17 21:44

NER(命名实体识别)之LR-CNN详解

效率低；2、LatticeLSTM不能解决词汇冲突问题，比如下面句子中的“长”，根据前面的“广州市”很容易判断为O，然而整体观察后发现正确是B-GPE对应的改进方案是：1、使用CNN来替换LSTM来实现并行化
wshzd·2023-07-17 12:36

【V6.6】ElasticSearch-基础篇.md

通过唯一的名称来区分集群节点：默认名称是通过UUID来生成的，当然如果想加入到某个集群里面，需要修改成对应的集群名称索引：名称必须小写类型：将在V7.0以后移除文档：主分片：允许你水平拆分/扩展存储空间允许你跨分片分布和并行化操作以提高性能
smallAttr·2023-07-16 22:59

使用 RPC 的分布式管道并行化

使用RPC的分布式管道并行化先决条件：PyTorch分布式概述单机模型并行最佳实践分布式RPC框架入门RRef辅助函数：RRef.rpc_sync()，RRef.rpc_async()和RRef.remote
yanglamei1962·2023-07-16 11:37

16.例：MapReduce 案例之数据去重

数据去重数据去重主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。实例描述对数据文件中的数据进行去重。
__元昊__·2023-07-16 02:07

【机器学习小论文】sklearn随机森林RandomForestRegressor代码及调参

各个模型训练之间互不影响，天生就适合并行化
小胡同1991·2023-07-16 02:22

Transformer笔记

Transformer在主流的神经网络架构如卷积神经网络（CNNs）和循环神经网络（RNNs）中：CNNs易于并行化，却不适合捕捉变长序列内的依赖关系。
wjsjjss·2023-07-15 21:09

【Rust日报】2023-07-11 rustc 的并行编译性能优化探索

他解释了不同数量和大小的CGU之间的权衡，以及rustc如何使用LLVM来并行化代码生成和优化。Nethercote还探索了一些形成和排序CGU的替代方法，并报告了他的实
Rust语言中文社区·2023-07-15 13:28

ElasticSearch（六）：聚合索引

聚合的作用范围排序Elasticsearch聚合性能优化ES聚合分析不精准原因分析启用eagerglobalordinals提升高基数聚合性能插入数据时对索引进行预排序使用节点查询缓存使用分片请求缓存拆分聚合，使聚合并行化
Men-DD·2023-07-13 23:48

Java并发编程学习18-线程池的使用（下）

串行递归转并行递归3.谜题3.1串行的谜题解答器3.2并发的谜题解答器3.3无解答的并发解答器3.4进一步的改进总结引言上篇介绍了ThreadPoolExecutor配置和扩展相关的信息，本篇开始将介绍递归算法的并行化
Huazie·2023-07-13 20:09

Flink基本原理剖析讲解

1.Flink简介Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。
Hello.Reader·2023-07-13 16:48

Apache Kafka：优化部署的10种最佳实践

更多的分区意味着更好的并行化和吞吐量，但分区也意味着更多的复制延迟、平衡，以及打开更多服务器文件。监控系统网络吞吐量、
weixin_34061482·2023-06-22 21:36

什么是 Java Stream API？

相比传统的for循环和迭代器，StreamAPI更加灵活、易于并行化和优化
风吹落枫·2023-06-22 15:46

Nautilus Chain 主网上线在即，一文盘点该生态即将上线的项目

NautilusChain是行业内第一个并行化，且运行速度最快EVMRollup的L3扩容方案，作为首个模块化链，存储、计算、共识等都在不同的模块中，意味着其能够获得更高的可拓展性与扩容能力，并在Layer2
区块链小八歌·2023-06-22 13:30

Yarn使用

它还能并行化操作以最大化资源利用率，安装速度之快前所未有。
Der先生·2023-06-21 11:51

Flink 学习九 Flink 程序分布式运行部署

执行计划层级说明备注StreamGraph用户代码生成的最初的图程序的运行流程图JobGraph将多个符合条件的节点多个符合条件的节点合并,减少序列化和反序列化ExecutionGraphJobGraph的并行化调度层的核心数据结构
C0oOder·2023-06-21 00:21

Nautilus Chain 主网上线在即，一文盘点该生态即将上线的项目

NautilusChain是行业内第一个并行化，且运行速度最快EVMRollup的L3扩容方案，作为首个模块化链，存储、计算、共识等都在不同的模块中，意味着其能够获得更高的可拓展性与扩容能力，并在Layer2
金马1988·2023-06-20 17:27
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他