mpi-并行运算

Hadoop之MapReduce

解决的问题1)数据问题：10G的TXT文件2)生活问题：统计分类上海市的图书馆的书2.MapReduce是什么MapReduce是一种分布式的离线计算框架，是一种编程模型，用于大规模数据集(大于1TB)的并行运算将自己的程序运行在分布式系统上
qq_43198449·2024-09-03 01:07

渲染对硬件的要求有哪些？渲染100邀请码1a12

如果用的软件支持Nvidia的CUDA并行运算，那对CPU的性能要求就降低了。2、GPUGPU或图形处
千野竹之卫·2024-02-20 19:54

第七章 函数式编程

2.并行运算所谓的并行运算是指多条指令同时执行。一个程序运行后，就成为一个进程，进程有自己的内存空间，用来储存自身的运行状态、
lammmya·2024-02-04 20:24

Python之numpy学习

numpy内置了并行运算功能，当系统有多个核心时，做某种计算时，numpy会自动做并行计算。Numpy底层使用C语言编写，数组中直接存储对象，而不是
Mekeater·2024-02-01 18:41

当量子计算机普及化：对未来生活方式的探讨

量子计算机以其独特的并行运算和超高速计算能力，将使得大数据分析、人工智能、机器学习等领域的应用更加高效便捷。无论是日常工作中的复杂问题求解，还是日常生活
TechCreator·2024-01-30 18:52

multiprocessing

tutorials/python-basic/multiprocessing/和threading的比较多进程Multiprocessing和多线程threading类似,他们都是在python中用来并行运算的
榴莲气象·2024-01-30 03:03

建模调参笔记

树模型做为基分类器（默认）gbliner线性模型做为基分类器silentsilent=0时，不输出中间过程（默认）silent=1时，输出中间过程nthreadnthread=-1时，使用全部CPU进行并行运算
KingsleyLin·2024-01-30 01:29

（野火征途 Altera EP4CE10）硬件说明

通过编程，用户可以随时改变它的应用场景，它可以模拟CPU、GPU等硬件的各种并行运算。通过与目标硬件的高速接口互联，FPGA可以完成目标硬件运行效率比较低的部分，从而在系统层面实现加速。
一壶浊酒..·2024-01-26 23:01

模型训练速度 配置 （Speed Problem）

训练模型时遇到速度过慢时的深思GPU占用CPU占用内存占用查看内存使用情况查看硬盘使用情况查看具体某个文件或者文件夹的大小查看文件夹下所有文件的大小，可以使用*：占用率GPU占用并行运算高性能运算nvidia-smi
Cmy_CTO·2024-01-24 18:02

Hadoop -- HDFS

1.什么是Hadoophadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台
Cool_Pepsi·2024-01-23 02:42

fpga运算服务器_一张图了解CPU、GPU、ASIC、FPGA性能、功耗效率、灵活性

GPU：图形处理器（GraphicsProcessingUnit，GPU）：最初是专门为图形处理制作的，后来也用于计算，适合执行复杂的数学和几何计算(尤其是并行运算)。相比CPU，
O超哥·2024-01-22 18:31

Cpp多线程（一）

2、多CPU内核的多线程可以做到真正的并行运算所以，现在我
BUAAer_xuyang·2024-01-19 13:45

Pytorch单机多卡并行应用经验分享

目录一、设置进程组二、封装模型【Tips】三、分割数据【Tips】四、训练模型【Tips】五、执行命令行【Tips】参考资料记录分享一下最近使用单机多卡执行并行运算时总结的一些经验，以下内容均假设实验所使用的设备上有
略胜亿筹·2024-01-14 09:34

pytorch12：GPU加速模型训练

目录1、CPU与GPU2、数据迁移至GPU2.1to函数使用方法3、torch.cuda常用方法4、多GPU并行运算4.1torch.nn.DataParallel4.2torch.distributed
慕溪同学·2024-01-12 03:45

GCD详解 《一》

GCD的优点可以用于多核的并行运算会自动利用更多的CPU内核会自动管理线程的生命周期GCD的队列（串行队列，并发队列）串行队列（Se
lq_ios·2024-01-06 15:03

iOS-OC底层21:GCD 函数 和队列

全称是GrandCentralDispatch,将任务添加到队列，并且指定执行任务的函数纯C语言，提供了非常多强大的函数.2.GCD的优势GCD是苹果公司为多核的并行运算提出的解决方案GCD会自动利用更多的
MonKey_Money·2024-01-01 03:41

CESM2.1.3 移植记录

这次用到的编译器的并行运算是超算上自带的，因此直接导入就行，不需要自己安装。编译器：intel编译器并行运算：mpimoduleloadcompiler/2021.3.0moduleloadmp
拂夜微亮·2023-12-25 20:59

网络应用编程 实验3 矩阵并行计算练习实验

具体要求（1）在代码中用多任务通过调用某方法实现矩阵并行运算，在调用的参数中分别传递M、N、P的大小。（2）程序中至少要测试3次有代表性的不同大小的矩阵运算，并显示其并行运行用时。
lsy永烨·2023-12-24 17:23

Pytorch：模型的保存加载、模型微调、GPU的使用

1.3模型的断点续训练二、模型微调2.1TransferLearning＆ModelFinetune2.2Finetune的实例三、GPU的使用3.1CPUVSGPU3.2数据迁移至GPU3.3多GPU并行运算四
碧蓝的天空丶·2023-12-17 06:23

MapReduce

MapReduce是一种编程模型，主要用于处理大规模数据集的并行运算，特别是非结构化数据。这个模型的核心思想是将大数据处理任务分解为两个主要步骤：Map和Reduce。
编织幻境的妖·2023-12-16 20:21

Android中的Coroutine协程原理详解

但是面对计算密集型的任务不如多线程并行运算效率高。不同的语言对于协程都有不同的实现，甚至同一种语言对于不同平台的操作系统都有对应的实现。
蜗牛是不是牛·2023-12-16 03:02

Flink快速入门

1、大数据处理框架发展史大数据-3v-tpezy-分而治之批处理流处理-微信运动、信用卡月度账单、国家季度GDP增速MPI-节点间数据通信-c和pythonMR-2004谷歌提出的编程范式-hadoop
WaiSaa·2023-12-05 21:30

GCD的探索三两事

GCDGCD优势GCD是苹果公司为多核的并行运算提出的解决方案GCD会自动利用更多的CPU内核（比如双核、四核）GCD会自动管理线程的生命周期（创建线程、调度任务、销毁线程）程序员只需要告诉GCD想要执行什么任务
佛祖ohmygod·2023-12-05 14:50

自己动手写 chatgpt: Attention 机制的原理与实现

这种机制能让神经网络更有效的从语言中抽取识别其内含的规律，同时它支持多路并行运算，因此相比于原来的自然语言处理算法，它能够通过并发的方式将训练的速度提升几百倍，于是海量的训练数据，加上超大规模的算力，并利用超大规模的并行计算来推进网络的训练成为可能
tyler_download·2023-12-03 00:22

python 进程通信

1.概述这篇文章介绍并行运算中的subprocess模块，subprocess模块允许我们启动一个新进程，并连接到它们的输入/输出/错误管道，从而获取返回值。
lbaihao·2023-12-02 05:01

RNA-Seq raw2fpkm pipeline (snakemake)

snakemake简介：snakemake是一款基于python3的软件snakemake的主要功能是快速搭建分析流程官方网址snakemake优势：支持并行运算支持断点运算支持流程控制支持内存控制支持
李诚0921·2023-11-27 23:29

BP神经网络与小波神经网络（附matlab代码,不用工具箱！）

一、神经网络介绍神经网络是模拟人脑神经元传递信息的一种方式来进行数据特征的一个学习，其特点为：具有非线性映射能力；不需要精确的数学模型；擅长从输入输出数据中学习有用的知识；容易实现并行运算；由大量简单计算单元组成
曾_某·2023-11-27 18:22

iOS GCD&&多线程

GCD可用于多核的并行运算GCD会自动利用更多的CPU内核（比如双核、四核）GCD会自动管理线程的生命周期（创建线程、调度任务、销毁线程）程序员只需要告诉GCD想要执行什么任务，不需要编写任何线程管理代码
浮生随笔·2023-11-25 21:26

阿里P8用这份402页多线程与架构设计笔记，征服你 吊打你

前言随着计算机硬件的不断发展，CPU进入多核时代，并发运算因此也上升到了并行运算的高度，作为Java程序员，如何最大化地“压榨”CPU的资源，利用CPU超高的计算速度编写高效快速运行的程序，如何解决CPU
架构师温以凡·2023-11-20 23:26

第七章 函数式编程

对于纯函数，消除了竞跑条件的可能，方便了并行运算。函数式编程的思路是自上而下的——先提出一个大问题，用
尘濯·2023-11-20 02:47

异构融合计算技术白皮书（2023年）研读1

1灵活性：GPU>FPGA>DSA>ASIC（1）GPU：CUDA编程模型（英伟达），（OpenCL编程模型Xilinxintel）这点叫平台支持（2）FPGA：基于FPGA的并行运算（csdn一个文章
danxutj·2023-11-06 16:10

Python中的多线程和多进程应用模拟以及协程程序中使用多线程和多进程

关于Python的多线程和多进程适合在什么情况下使用现阶段版本下的Python由于全局解释器锁GIL的存在，Python无法实现真正的并行运算，GIL会限制同一时刻同一个进程中最多只能有一个线程在执行字节码
Moelimoe·2023-11-05 09:50

Python多进程(Multiprocessing)

python-basic/basic/侵删什么是Multiprocessing和threading的比较多进程Multiprocessing和多线程threading类似,他们都是在python中用来并行运算的
M4chael·2023-11-03 06:47

多线程

一、GrandCentralDispatch（GCD）GCD是苹果开发的一个多核编程的方法，采用了线程池模式，支持多核处理器优点：1、GCD可用于多核的并行运算；2、GCD会自动利用更多的CPU内核（比如双核
顺其自然2017·2023-10-28 06:22

三种大数据应用架构介绍

一、MapReduceMapReduce是大规模数据集的并行运算，是实现关联规则的挖掘算法，MapReduce设计上具有以下主要的技术特征。（1）MapReduce集
梯度科技·2023-10-22 17:14

SQL Server调优系列基础篇（索引运算总结）

目录（零）前言（一）简介1、等于谓词：2、比较谓词：3、范围谓词：4、逻辑谓词：（二）动态索引查找（三）索引联合（四）结语（零）前言上几篇文章我们介绍了如何查看查询计划、常用运算符的介绍、并行运算的方式
zyypjc·2023-10-20 18:11

Hadoop学习之MapReduce

MapReduce是一种并行编程模型，用于大规模数据集的并行运算，它将
斩丶空·2023-10-19 04:47

Hive引擎MR、Tez、Spark

MapReduce：是一种编程模型，用于大规模数据集（大于1TB）的并行运算。
西奥斯·2023-10-19 02:23

Go语言并发编程（一）

并行更关注的是程序的运行层面，并行一般是简单的大量重复，例如，GPU中对图像处理都会有大量的并行运算。在并发编程中，对共享资源的正确访问需要精确地控制，在目
Xu_pengtao·2023-10-17 10:13

【轩说Pytorch】用GPU训练模型

文章目录原理图把模型和数据放在cuda上多GPU做数据并行注意事项多卡并行运算时涉及到的模型保存问题朴素：单卡保存，单卡加载加载时：加载单卡数据，转多卡模型保存时：多卡训练模型，转单卡保存多卡保存，多卡加载
留下一些记忆·2023-10-17 10:45

布隆过滤器的优缺点及哈希切割问题

文章目录1.布隆过滤器优点2.布隆过滤器缺陷3.哈希切割1.布隆过滤器优点增加和查询元素的时间复杂度为:O(K)(K为哈希函数的个数，一般较小)，与数据量大小无关哈希函数相互之间没有关系，方便硬件并行运算布隆过滤器不需要存储元素本身
阿猿收手吧！·2023-10-13 04:28

iOS GCD详解

一.简介及有点GCD：苹果开发用于多核编程的解决方法，会自动利用更多的CPU内核，自动管理线程优点：1.GCD可用于多核的并行运算，且会自动利用更多的CPU内核2.GCD会自动管理线程的生命周期（线程创建
慌莫染·2023-10-09 22:08

CV-transformer

CV-transformerVITPVTswintransformerDETRdeformableDETRVITtransformersequence结构采用的是RNN网络，后面时刻的信息依赖于前一时刻，存在无法并行运算的问题
为算法工程师·2023-10-08 20:33

python并行运算库_6个用于并行处理的Python库

python并行运算库Python一直以来都以便利性和程序员友好性着称，但是它并不是周围最快的编程语言。它的某些速度限制是由于其默认实现cPython是单线程的。
cxu0262·2023-10-06 02:02

使用GCD

介绍什么是GCD全称是GrandCentralDispatch，可译为“牛逼的中枢调度器”,纯C语言，提供了非常多强大的函数GCD的优势GCD是苹果公司为多核的并行运算提出的解决方案GCD会自动利用更多的
下页天·2023-10-04 21:15

python xarray+dask 处理较大的空间数据

xarray中关于dask并行运算的介绍使用月均海表温度数据（sst）举个例子使用dask需要先安装好dask包importx
today.zhang·2023-09-30 19:50

R成精系列-R语言技能升级路径

自建循环）——rlistjson处理：Rjson+RJSONIO——jsonlite数据抓取：RCurl+XML——httr+xml2循环任务：for/while——apply——plyr::a_ply——并行运算
果果哥哥BBQ·2023-09-30 12:59

基础 5.6. 递归,分治

用递归更加容易实现递归分治分治就是把一个问题,分成2个以上子问题如并归排序用了分治思想,这个过程用递归实现分治和分布式可以把任务分到几个计算机来计算MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算
胖达_4b7e·2023-09-27 21:26

数仓体系效率全面提升！同程数科基于 Apache Doris 的数据仓库建设

2020年，同程数科基于ApacheDoris丰富的数据接入方式、优异的并行运算能力、极简运维等特性，引入ApacheDoris进行数仓架构2.0的搭建。
SelectDB技术团队·2023-09-24 10:10

RISC-V Reader 笔记（六）RV32V

向量操作：把数据取出来放入长长的向量寄存器中，流水线并行运算后从向量寄存器中分别取回到内存。并且，时钟周期内能进行的最大操作数和向量长度是分离的，不像SIMD程序员要考虑怎么分分几
灰海宽松·2023-09-17 01:33
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他