并行编程

什么是MapReduce，MapReduce的工作流程和原理是什么

它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，
人工智能爱好者·2020-06-30 16:29

30年工作经验的程序员老师机，教你如何提高python效率

但是，可以通过内置的模块multiprocessing实现下面几种并行模式：1、多进程并行编程：对
爱学技术的小仙女酱·2020-06-30 12:59

Python 多进程并行编程实践: multiprocessing 模块

前言并行计算是使用并行计算机来减少单个计算问题所需要的时间，我们可以通过利用编程语言显式的说明计算中的不同部分如何再不同的处理器上同时执行来设计我们的并行程序，最终达到大幅度提升程序效率的目的。众所周知，Python中的GIL限制了Python多线程并行对多核CPU的利用，但是我们仍然可以通过各种其他的方式来让Python真正利用多核资源,例如通过C/C++扩展来实现多线程/多进程,以及直接利用P
派派森森·2020-06-30 11:48

Hadoop学习笔记（7）－简述MapReduce计算框架原理

图1：MapReduce抽象模型1.2Hadoop的MapReduce的并行编程模型如下图2所示，Hadoop的MapReduce先将数据划分为多
XianMing的博客·2020-06-30 04:36

Ubuntu18.04下安装深度学习框架Pytorch（GPU加速）

CUDA(ComputeUnifiedDeviceArchitecture)，是英伟达公司推出的一种基于新的并行编程模型和指令集架构的通
wuzhiwuweisun·2020-06-29 21:20

浅谈并行编程语言 Unified Parallel C

并行编程介绍并行编程是通过同步执行计算机指令的方式来取得比串行编程更快速度的一种编程方法。并行编程是相对于传统的串行编程而提出的概念。
win2525·2020-06-29 18:07

10个Hadoop面试题，希望能够帮到你

答：hadoop是一个由Apache基金会所发布的用于大规模集群上的分布式系统并行编程基础框架。目前已经是大数据领域最流行的开发架构。
IT丶冠希·2020-06-29 17:40

Hadoop （四） （MapReduce 的原理+实现)

它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系
难得 yx·2020-06-29 16:40

MapReduce 并行编程

一、实验目的及要求1、掌握MapReduce并行编程方法2、掌握自定义数据类型3、掌握自定义分区类和自定义排序类的使用4、掌握最值求解并行化方法二、实验原理与内容假设有一个服务器每天都记录同一个网站的访问量数据
姜丝加姜丝·2020-06-29 11:57

HIVE教程

它包含两个模块，一个是MapReduce,另外一个是Hadoop分布式文件系统(HDFS).MapReduce:它是一种并行编程模型在大型集群普遍硬件可用于处理大型结构化，半结构化和非结构化数据。
吃机智豆长大的少女乙·2020-06-29 02:03

[hadoop] hadoop之Mapreduce并行编程模型

MapReduce入门什么是mapreduce首先让我们来重温一下hadoop的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN：hadoop的资源调度系统Common：以上三大组件的底层支撑组件，主要提供基础工具包和RPC框架等Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架Mapreduce核心功能是将用户编写
啊嘞嘞嘞嘞·2020-06-29 00:10

大数据学习路线及全套视频教程

大数据=编程技巧+数据结构和算法+分析能力+数据库技能+数学+机器学习+NLP+OS+密码学+并行编程。虽然这个等式看起来很长，需要学习的东西很多，但付出和汇报是成正比的，至少和薪资是成正比的。
万世浮华2018·2020-06-28 19:02

第二篇：CUDA 并行编程简介

前言并行就是让计算中相同或不同阶段的各个处理同时进行。目前有很多种实现并行的手段，如多核处理器，分布式系统等，而本专题的文章将主要介绍使用GPU实现并行的方法。参考本专题文章前请务必搭建好CUDA开发平台，搭建方法可以参考上一篇文章。GPU并行的优缺点优点：1.显存具有更大的内存带宽2.GPU具有更大量的执行单元3.价格低廉缺点：1.对于不能高度并行化的工作，能带来帮助不大。2.对于绝大多数显卡型
Joe?·2020-06-28 16:48

流API--使用并行流

借组多核处理器并行执行代码可以显著提高性能，但是并行编程可能十分复杂且容易出错，流API提供的好处之一是能够轻松可靠的并行执行一些操作。请求并行处理流，首先要获得一个并行流。
weixin_33881050·2020-06-28 07:37

Linux多核并行编程关键技术

多核并行编程的背景在摩尔定律失效之前，提升处理器性能通过主频提升、硬件超线程等技术就能满足应用需要。随着主频提升慢慢接近撞上光速这道墙，摩尔定律开始逐渐失效，多核集成为处理器性能提升的主流手段。
weixin_30911451·2020-06-28 02:20

C# 并行编程 之 并发集合 (.Net Framework 4.0)

此文为个人学习《C#并行编程高级教程》的笔记，总结并调试了一些文章中的代码示例。在以后开发过程中可以加以运用。对于并行任务，与其相关紧密的就是对一些共享资源，数据结构的并行访问。
zy__·2020-06-27 13:25

《C#并发编程经典实例》学习笔记-关于并发编程的几个误解

误解一：并发就是多线程实际上多线程只是并发编程的一种形式，在C#中还有很多更实用、更方便的并发编程技术，包括异步编程、并行编程、TPL数据流、响应式编程等。
repeatedly·2020-06-27 09:15

Hadoop大数据平台架构与实践

它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。
Simple_Yang92·2020-06-27 08:22

MapReduce的分而治之，你真的懂吗？

MapReduce借鉴了函数式语言中的思想，用Map和Reduce两个函数提供了高层的并行编程抽象模型。Map:对一组数据元素进行某种重复式的处理；Reduce:对Map的中间结果进行某种进一步的
ali8088·2020-06-27 00:21

python Gevent – 高性能的Python并发框架

话说gevent也没个logo啥的，于是就摆了这张图==|||，首先这是一种叫做greenlet的鸟，而在python里，按照官方解释greenlet是轻量级的并行编程，而gevent呢，就是利用greenlet
tianmo2010·2020-06-26 19:22

Hadoop小结

Hadoop是一个实现了MapReduce计算模型的开源分布式并行编程框架，借助于Hadoop,程序员可以轻松地编写分布式并行程序，将其运行于计算机集群上，完成海量数据的计算。
slx965·2020-06-26 13:23

大数据技术原理与应用第7讲：MapReduce

MapReduce分布式并行编程MapReduce单元测验1单选下列说法错误的是A.Hadoop框架是用Java实现的，MapReduce应用程序则一定要用Java来写B.Map函数将输入的元素转换成形式的键值对
周杰伦今天喝奶茶了吗·2020-06-26 12:20

hello，intel TBB

IntelThreadingBuildingBlocks（IntelTBB）是一个使用ISOC++代码实现的多平台、可扩展并行编程库。但目前为止这方面的中文资料却很少。
_saga·2020-06-26 06:39

Scala语言基础：函数式编程

在过去很多年，面向对象编程一直是主流，但是，随着大数据时代的到来，函数式编程开始迅速崛起，因为，函数式编程可以较好满足分布式并行编程的需求。函数字面量函数字面量可以体现函数式编程的核
大数据之眸·2020-06-25 12:30

自旋锁和互斥锁的区别

自旋锁和互斥锁的区别POSIXthreads(简称Pthreads)是在多核平台上进行并行编程的一套API。
Alen.Wang·2020-06-25 02:55

MapReduce详解

MapReduce模型简介：•MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce•编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式系统上
q739404976·2020-06-24 21:40

读书笔记：《C#并行编程高级教程》-第二章：命令式数据并行

《C#并行编程高级教程》-第二章：命令式数据并行System.Threading.Tasks.Parallel类三个基本的方法：Parallel.For，Parallel.ForEach，Parallel.InvokeParallel.Invoke
passion_hua·2020-06-24 19:31

开始学习GPU并行编程（一）

看到网上说安装软件时会遇到很多问题，于是非常小心，在官网查找版本对应关系。最开始想要安装cuda9.0+vs2017（因为博主做电磁散射建模，用的一个软件支持cuda9.0及以上）所以选择了这个版本。但是遇到了一个问题，网上一直没有解决方案。。。比如这个问题。。。我不知道是怎么解决的。。。。debug的时候报出这个错误，我没有管直接生成……这个错误就自己消失了安装步骤和网上一致，先安装vs，再安装
nicole_1220·2020-06-24 17:31

多线程程序设计的8个规则

并行编程更像是一门艺术，而不是一门科学。这里将会给出八条设计多线程程序的简单规则，你可以把他们一一放进你的多线程程序设计百宝箱中。通过参考这些规则，你能写出高质量、高效率的多线程程序。我努力试着
Alvin-Qu·2020-06-24 15:43

MapReduce心得

mapreduce心得：1、mapreduce最基础的这是一种并行编程框架，最基本的构成：Map函数和Reduce函数。
machitaoX·2020-06-24 13:35

Spin lock 与mutex 的区别--2011.01.06

POSIXthreads(简称Pthreads)是在多核平台上进行并行编程的一套常用的API。
kyoko·2020-06-24 02:49

MATLAB并行编程

Originalurl:http://blog.sina.com.cn/s/blog_6b597bfb01018wa5.html1并行问题的由来——从抛硬币说起举个简单的例子：抛100次硬币统计正面向上的次数。我们可以拿一个硬币重复地抛100次。但有人嫌麻烦，就想能不能再叫一个人带另外一个硬币过来，两个人同时抛，这样每个人就能只抛50次了，节约了时间，并行的思想初现。问题来了，必须保证这2个硬币完
junmuzi·2020-06-23 23:35

MapReduce并行编程模型

一、课前准备1.3节点hadoop集群2.安装IDEA3.安装maven并配置环境变量二、课堂主题1.围绕MapReduce分布式计算讲解三、课堂目标1.理解MapReduce编程模型2.独立完成一个MapReduce程序并运行成功3.了解MapReduce工程流程4.掌握并描述出shuffle全过程（面试）5.理解并解决数据倾斜四、知识要点1.MapReduce编程模型MapReduce是采用一
起始的地方·2020-06-23 23:00

浅谈编程语言的类型系统

无论是面向过程的编程语言、面向对象的编程语言、函数式编程语言、并行编程语言或者其他任何千奇百怪的编程
iteye_18480·2020-06-23 19:49

基于多核的并行编程

概述摩尔定律当价格不变时，集成电路上课容纳的晶体管数目，约每隔18个月便会增加一倍。第一章并行与并发并行（Concurrency）：twoormoreprogressareinprogressatthesametime.当系统有一个以上CPU时，则线程的操作有可能非并发，当一个CPU执行一个线程时，另一个CPU可以执行另一个线程，两个线程互不抢占CPU资源，可以同时进行，这种烦那个是我们称之为并行
晗时·2020-06-23 17:24

MapReduce

MapReduce是一种并行编程模型，将计算阶段分为两个阶段：Map阶段和Reduce阶段。首先把输入数据源分块，交给多个Map任
名字被猪吃掉了·2020-06-23 14:22

Delphi XE10 RTL - PPL - TTask

DelphiXE10RTL-PPL-TTask并行编程库（PPL--ParallelProgrammingLibrary），让您的应用程序可以在跨平台应用中有效的使用多个CPU并行运行任务的能力。
滔Roy·2020-06-23 14:00

Java 从单核到多核的多线程（并发）

JAVA并发java的并行编程比较复杂，我也理解不深。但是最近由于要并行训练分类器，琢磨了一点，有错误请指正。只是大体介绍一下而已。
guicaizhou·2020-06-23 11:34

GPU通用计算编程

OpenCL(OpenComputingLanguage，开放运算语言)是第一个面向异构系统通用目的并行编程的开放式、免费标准，也是一个统一的编程环境，便于软件开发人员为高性能计算服务器、桌面计算系统、
fengtian12345·2020-06-23 07:22

Python 多进程并行编程实践: multiprocessing 模块

转载：http://python.jobbole.com/87645/前言并行计算是使用并行计算机来减少单个计算问题所需要的时间，我们可以通过利用编程语言显式的说明计算中的不同部分如何再不同的处理器上同时执行来设计我们的并行程序，最终达到大幅度提升程序效率的目的。众所周知，Python中的GIL限制了Python多线程并行对多核CPU的利用，但是我们仍然可以通过各种其他的方式来让Python真正利
feng98ren·2020-06-23 07:51

云计算的Web数据挖掘分析

数据存储技术、数据管理技术、虚拟化技术以及并行编程模式构成了云计算的关键技术。
技术小咖龙·2020-06-23 05:26

并行编程 - 数据并行 System.Threading.Tasks.Parallel 类（.NET）

原文转载于:https://www.cnblogs.com/springsnow/p/9405016.html目录一、并行概念1、并行编程2、数据并行二、Parallel.Invoke（）：并行调用多个任务
农村的我·2020-06-22 19:45

基于MapReduce的并行k-means聚类

在这篇文章中，我们提出一种基于MapReduce的并行k-means聚类算法，这是一种简单又强大的并行编程技术。实验结果表明所提出的算法可以大规模而且高效地在廉价的硬
水裕月·2020-06-22 16:10

【JAVA】向 Callable / Runnable 内部传递参数，在 SpringBoot 中使用

文章目录1.oraclearticles中的例子2.在SpringBoot中调用1.oraclearticles中的例子oracle文章：分解和合并：Java也擅长轻松的并行编程！
JoKKKKKKKKKKKKK·2020-06-22 12:55

Matlab并行编程方法

本文讲一下matlab中的并行方法与技巧，这里我们不涉及GPU加速，主要考虑for循环并行和数据并行。分为以下几个板块：怎么并行？parforvs.SPMD注意事项及经验总结如何并行？Requestanumberofworkers;Issuethenormalcommandtoruntheprogram.Theclientprogramwillcallontheworkersasneeded;Re
苝柠帞寒·2020-06-22 10:15

MPI并行编程学习——Send&Recv、消息发送接收函数

消息发送函数：原型为intMPI_Send(void*buf,intcount,MPI_Datatypedatatype,intgoal,inttag,MPI_Commcomm)参数意义：buf为消息的地址，count是内容的数量，datatype为消息内容的数据类型，goal为目标进程编号，tag为消息的标志，comm为通信域。此函数将buf里的count个类型为datatype的数据发送到进程
大树之下·2020-06-22 09:38

python并行编程 - 分布式篇

目录1介绍篇线程篇进程篇异步篇GPU篇分布式篇简述分布式计算的基本理念是将工作划分为一个一个小任务，分发给多台设备处理，再汇总结果。在分布式计算中，网络中的机器必须要保持可用（延迟误差、意外宕机等等），需要一个持续监控架构分布式多进程2multiprocessing的子模块managers还支持把多进程分布在多台机器上，managers模块已经封装好了网络通信的细节实现方法：我们可以使用manag
影灵衣·2020-06-22 09:55

python并行编程 - 线程篇

目录1介绍篇线程篇进程篇异步篇GPU篇分布式篇基本使用python线程使用的两个模块为：_thread(不推荐再使用)、threading（查看threading的源码可以发现，threading实际是对_thread进一步的封装，官方将其称为Low-levelthreadingAPI，下面简单尝试使用_thread）调用start_new_thread()函数生成新线程函数声明：_thread.
影灵衣·2020-06-22 09:24

python并行编程 - 异步篇

目录1介绍篇线程篇进程篇异步篇2GPU篇分布式篇介绍除了线性、并行执行模式外，还有异步模式，它与事件编程一样，十分重要在并发的异步模式中，不同的任务在时间线上是相互交错的，而且一切都是在单一控制流（单线程）下进行的1.asyncio(过时)基本使用1.1使用asyncio实现事件循环管理什么是事件循环？在计算系统中，能够产生事件的实体被称为事件源（eventsource），而负责协商管理事件的实体
影灵衣·2020-06-22 09:24

python并行编程 - 介绍篇

目录1介绍篇线程篇进程篇异步篇GPU篇分布式篇设计并行编程任务分解：将程序分解为任务，在不同处理器上执行以实现并行化。
影灵衣·2020-06-22 09:24
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他