并行计算

Hive学习笔记（1）——Hive原理初探

文章目录前言一、hive的特点二、hive体系架构及基本原理三、Hive的存储四、总结前言相信大家通过学习MapReduce，已经认识到hadoop利用多台廉价机器集群进行并行计算的优势，了解了HDFS
Zhou.Y.M·2023-12-24 23:55

Transformer 模型设计的灵感

Transformer模型的设计确实是通过深刻理解序列处理和注意力机制的基础上，结合了并行计算的优势，取得了显著的性能提升。
科学禅道·2023-12-24 17:50

网络应用编程 实验3 矩阵并行计算练习实验

一、实验要求编写一个WPF应用程序，利用数据并行计算两个矩阵（M×N和N×P）的乘积，得到一个M×P的矩阵。
lsy永烨·2023-12-24 17:23

Hadoop学习笔记(3)——MapReduce入门

前提是这些小任务可以并行计算，彼此间几乎没有依赖关系“Redude”负责合，即对map阶段的结果进行全局汇总1.MapReduce设计构思MapRed
今天有没有写代码·2023-12-24 08:53

Spark

Spark借鉴了MapReduce思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的API提高了开发速度。
weixin_50458070·2023-12-24 05:36

ncnn源码阅读笔记（一）

cmake：有关链接openmp和valkan的cmake文件，这两个都是并行计算加速用的docs：文档，包括开发指南，构建指南等等example
半笔闪·2023-12-24 05:31

Python并行计算和分布式任务全面指南

更多Python学习内容：ipengtao.com大家好，我是彭涛，今天为大家分享Python并行计算和分布式任务全面指南。
Sitin涛哥·2023-12-23 16:51

流动的力量：解锁Java 8 Stream的高级特性

我们将聚焦于对象与集合的巧妙转换、并行计算的效能提升以及序列数组的巧妙生成。通过这一深入的探讨，我们将揭示StreamAPI的真正神奇之处。内容1.集合
热心码民阿振·2023-12-23 06:49

Unity3D 中正确调用CUDA程序详解

为了解决这个问题，我们可以利用CUDA来使用GPU进行并行计算，从而提高游戏的性能。
博毅创为游戏圈·2023-12-22 20:14

高性能计算性能评测

机器级机器级的性能评测主要包括CPU和存储器的某些基本性能指标、并行通讯开销以及机器的成本、价格和性/价比，有些是由厂商在销售时直接提供给用户的，是广大用户对并行计算机的第一印象，是引进和购买并行计算机时最主要的选择依据
HaoMengHIT·2023-12-22 03:01

Tensorflow 多 GPU 训练方法

1原理说明TensorFlow并行计算分为：模型并行，数据并行。模型并行是指根据不同模型设计不同的并行方式，模型不同计算节点放在不同GPU或者机器上进行计算。数据并行是比较通用简便的实
木水_·2023-12-21 14:26

CUDA编程示例：CPU预处理-＞GPU处理-＞CPU后处理

这种模式可以有效地利用GPU的并行计算能力，加速处理过程。本文将为您介绍一个具体的示例，展示了如何使用CUDA编程来实现这种形式的工作负载。
独行侠影·2023-12-21 00:09

spark_rdd算子介绍

1.9算子介绍1.9.1RDD概念RDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合
Guff_hys·2023-12-20 16:24

Python基于joblib的并行计算&进程&线程&multiprocessing多核并行计算

文章目录Python基于joblib的并行计算适用场景使用示例总结爬虫&joblib使用`joblib`的场景注意事项使用实例结论joblib介绍简单示例多参数并行并行时CPU是怎么分配的何时选用并行进程
安替-AnTi·2023-12-20 06:49

Spark简介

1.Spark基本概念Spark是一种基于内存计算的大数据并行计算框架，最早是由加州大学伯克利分校开发，现已经成为Apche顶级开源项目，其作为MapReduce的替代方案，兼容HDFS、Hive等分布式存储层
Mrsimple_4f84·2023-12-19 09:18

人工智能与底层架构：构建智能引擎的技术支柱

1.人工智能与底层硬件GPU加速：利用图形处理器进行并行计算，加速深度学习模型的训练和推理。ASIC芯片：定制化的应用特定集成电路，提高人工智能任务的执行效率。量子计算：探索量
鳗小鱼·2023-12-19 09:15

应用Transformer和CNN进行计算机视觉任务各自的优缺点

可并行性：Transformer模型中的自注意力层可以并行计算，使得在某种程度上更容易实
BugMaker2002·2023-12-19 08:11

并行计算技术与SIMD、SIMT

并行计算指令并行SIMDInterMMX64bitSSESSE2128bitAVXAVX2256bitAVX-512512bitARMNeon128bitSVE128-2048bitRISC-VV指令扩展
奔跑的大伟哥·2023-12-18 22:13

大数据技术11：Hadoop 原理与运行机制

一、Hadoop简介1.1、Hadoop定义Hadoop作为一个开源分布式系统基础框架，主要包含两大核心组件：HDFS分布式文件系统和MapReduce分布式并行计算框架，这两大核心组件是Hadoop进行大数据处理的基础和基石
Java架构何哥·2023-12-18 21:56

【JAVA】CyclicBarrier源码解析以及示例

文章目录前言CyclicBarrier源码解析以及示例主要成员变量核心方法应用场景任务分解与合并应用示例并行计算应用示例游戏开发应用示例输出结果数据加载应用示例并发工具的协同应用示例CyclicBarrier
fking86·2023-12-18 15:26

CPU密集型和IO密集型任务

多核处理器友好：能够充分利用多核处理器，通过并行计算提高性能。1.3示例场景复杂科学计算3D图形渲染加密算法运算1.4应对策略多线程和并行计算：将任务细
忠于衷于钟于终于·2023-12-18 04:43

GPU架构

作者：秋刀鱼半藏（原帖地址）图形处理单元（GPU）是专门设计用于处理图形和并行计算的硬件。
阿狸轰·2023-12-18 01:22

道可云元宇宙每日资讯｜上海市区块链关键技术攻关专项项目立项清单公布

年度区块链关键技术攻关专项项目立项清单公布据上海市科学技术委员会近日发布通知，上海市2023年度“科技创新行动计划”区块链关键技术攻关专项项目，经项目申报、形式审查、专家评审等程序，现对《面向区块链即服务的跨虚拟机协同并行计算研究
道可云·2023-12-17 04:18

浅谈MapReduce

用户通过map和reduce函数声明键值对的处理方式，而调度，并行计算和容灾等底层问题则是对用户透明的。1、示例1.1词频统计在这个案例中，目标是
garagong·2023-12-17 00:22

CUDA和CUDNN的安装教程

前言一，先了解什么是CUDA和CUDNN1，CUDA（ComputeUnifiedDeviceArchitecture）是由显卡厂商NVIDIA推出的运算平台，它是一种通用并行计算架构，使GPU能够解决复杂的计算问题
.cheng.·2023-12-16 20:31

PieCloudDB Database 自研全新向量化执行器，带来性能的数量级提升

为实现更高效的数据并行计算，一款优秀的执行器需要能够充分利用硬件资源，如CPU的并行计算能力和SIMD指令集。
OpenPie｜拓数派·2023-12-16 12:40

Storm+Kafka+Redis+zookeeper docker集群实战问题与解决

目录引言问题与解决引言下面的错误主要是在完成大数据展屏时遇到的一些报错，从最开始的storm构建rowkey，hbase实现统计到storm直接统计redis存结果，第一种方式是参考的一本storm实战书籍，但是老师说这种方法无法发挥storm的并行计算的优势
小小小秃头·2023-12-16 05:18

MAMBA介绍：一种新的可能超过Transformer的AI架构

但是这种顺序方式让RNN无法实现并行计算，也就是说，它的速度十分
weixin_4528312·2023-12-15 22:54

spark常见面试题

面试题1.spark的RDD是什么，有哪些特性RDD（ResilientDistributedDataset）叫做分布式数据集，是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可以并行计算的集合
YY_pdd·2023-12-15 19:24

Spark

它代表的是一个不可变的、可分区的、里面的元素可以并行计算的集合。
跟浩哥学大数据·2023-12-15 19:23

spark学习之旅（2）之之RDD常用方法

RDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。
浩哥的技术博客·2023-12-15 19:51

高性能与并行计算领域一些期刊与会议及资料阅读列表

IEEEtransactionsonparallelanddistributedsystems(TPDS)主页：https://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=71归档文件：https://dblp.uni-trier.de/db/journals/tpds/JournalofParallelandDistributedComput
holyprince·2023-12-15 11:09

Python multiprocessing包的基本使用

Python的multiprocessing包是Python标准库中提供的一个多进程库，它允许程序员利用Python中的进程进行并行计算。
sa10027·2023-12-15 04:21

Flink核心概念

这样一来，一个算子任务就被拆分成了多个并行的“子任务”（subtasks），再将它们分发到不同节点，就真正实现了并行计算。
Stephen6Yang·2023-12-15 03:06

ubuntu22.04 安装cuda

CUDA（ComputeUnifiedDeviceArchitecture）是由NVIDIA开发的一种并行计算平台和编程模型。它允许开发者利用NVIDIA的GPU（图形处理单元）进行高效的计算处理。
MonkeyKing_sunyuhua·2023-12-14 19:52

深度学习——第3章 Python程序设计语言（3.8 深度学习框架PyTorch）

3.8深度学习框架PyTorch目录1.PyTorch简介2.PyTorch的安装3.PyTorch相关资源4.张量5.自动求导6.并行计算简介7.AI硬件加速设备PyTorch简介PyTorch是由MetaAI
曲入冥·2023-12-14 16:51

batch_size太大和太小的优缺点分别是什么？

批处理大小过大：优点：训练速度较快：大批次可以充分利用硬件加速器（如GPU）的并行计算能力，加速训练过程。确保收敛性：大批次可以更好地平均梯度，减少梯度更新的噪声，可能有助于收敛到较好的局部最小值。
BugMaker2002·2023-12-06 23:36

浪潮信息KeyarchOS的飞跃之路

传统操作系统在大规模数据处理、高性能计算和人工智能应用方面面临着一些瓶颈问题，包括存储和访问效率、数据传输和通信效率、并行计算性能等等问题。
YoLo♪·2023-12-06 22:34

CUDA简介, 配置和运行第一个CUDA程序（Windows和Linux）

CUDA简介CUDA（ComputeUnifiedDeviceArchitecture）是由NVIDIA开发的一种通用并行计算架构。
Mineba·2023-12-05 16:26

C++多线程编程（第四章 案例1:base16编码，C++11和C++17 多核并行计算样例）

目录4.1手动实现多核base16编码4.1.1实现base16编码4.1.1.1编码16进制4.1.1.2反解码16进制4.1.2无多线程代码4.1.3C++11多线程代码4.1.4C++17多线程并发4.1.5所有测试代码汇总4.1手动实现多核base16编码4.1.1实现base16编码二进制转换为字符串一个字节8位，拆分为两个4位字节（最大值16）拆分后的字节映射到0123456789ab
鸿儒517·2023-12-05 13:34

超参数设定及训练技巧

一、网络超参数的设定1.输入数据像素大小的设定：为便于GPU并行计算，一般将图像大小设置为到2的次幂。2.卷积层参数的设定：（1）卷积核大小一般使用1*1，3*3或5*5。
星辰同学wwq·2023-12-05 08:16

【MPI、OpenMP】并行快速排序(C语言)

本文记录了使用MPI与OpenMP两种并行计算方法实现快速排序算法，题目是专业实验课上老师给的，主要分享一下自己的做法，希望大家不吝赐教（使用的语言是C语言，有例子+图阐述原理，代码注释很全）。
谛凌·2023-12-05 07:27

电磁建模的分布式并行计算技术

我们的技术将分布式并行计算技术纳入神经网络建模。它使用消息传递接口（MPI）并行生成数据和训练神经网络模型。一个例子表明，我们的技术
不爱吃香菇的干饭少年·2023-12-05 06:46

电磁优化的并行空间映射方法

本文提出的多点代理模型训练方法本质上适合于并行计算，并通过并行计算实现。这包括并行的多个精细模型评估和使用并行算法的多点代理训练。与标准模型相比，该方法
不爱吃香菇的干饭少年·2023-12-05 06:16

pytorch使用GPU炼丹笔记

shell脚本中设定：1.2python代码中设定：2.使用函数set_device使用多GPUDP方法DDP方法需要先初始化数据集的处理模型初始化单节点多GPU分布式训练实验结果原理：通过依靠GPU的并行计算能力
赤坂·龙之介·2023-12-04 16:45

oneApi实现并⾏排序算法

零、OneApi简介oneAPI是由英特尔推出的一个开放、统一的编程模型和工具集合，旨在简化跨不同硬件架构的并行计算。
think-weige·2023-12-04 12:51

Linux系统配置深度学习环境之cudnn安装

这些算法和函数充分利用了NVIDIAGPU的并行计算能力，提供了显著的性能加速。cuDNN不仅可以用于传统的深度学习框架（如Tenso
番茄小能手·2023-12-04 08:51

Ubuntu系统配置深度学习环境之nvidia显卡驱动和cuda安装

CUDA是NVIDIA推出的一种并行计算平台和编程模型。它充分利用NVIDIA显卡的并行处理能力，使开发人员能够通过编写并行计算任务来加速各种计算工作。CUDA提供
番茄小能手·2023-12-04 08:20

深度学习记录--初识向量化

回归损失函数时，在代码实现时，讨论了for循环：过多的for循环会拖慢计算的速度(尤其当数据量很大时)因此，为了加快计算，向量化是一种手段运用python的numpy库，我们可以使用库函数，这些函数一般可以并行计算
蹲家宅宅·2023-12-03 20:09

GPU比CPU更适合并行计算

1.前言并行计算，是相对于串行计算来说的。它是一种一次可执行多个指令的算法，目的是提高计算速度，及通过扩大问题求解规模，解决大型而复杂的计算问题。
小铭好菜·2023-12-03 16:03
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他