PARALLELISM

【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用007-Slot和Parallelism的深入分析002

三、并行度（parallelism）和任务链（TaskChains）1.并行度1.flink架构是分布式的，也就决定了程序（Progrram）和数据流（Dataflows）也是分别式的。
云星数据-大数据团队·2017-11-18 17:11

【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用006-Slot和Parallelism的深入分析001

一、flink架构1.flink是一个主从结构的分布式程序，它由client和cluster两部分组成。 2.cluster由主节点JobManager（JM）和从节点TaskManager组成(TM)。 a.JM负责协调分布式执行：调度Task、协调检查点、协调失效恢复等工作。 JM至少要有一个，也可有多个。多个JM可基于zookeeper做HA,一个active，其余standby。 b.T
云星数据-大数据团队·2017-11-18 17:11

辅助材料声明

Json-Streaming支持：implicitvaljsonStreamingSupport=EntityStreamingSupport.json().withParallelMarshalling(parallelism
程序员要加班·2017-11-06 12:56

Spark RDD 分区数详解

基础知识spark.default.parallelism：（默认的并发数）=2当配置文件spark-default.conf中没有显示的配置，则按照如下规则取值：1、本地模式（不会启动executor
小江_xiaojiang·2017-10-10 14:23

Nmap扫描漏洞

1http拒绝服务nmap–max-parallelism800–scripthttp-slowlorisscanme.nmap.org2IIS短文件泄露nmap-p8080–scripthttp-iis-short-name-brute61.142.64.1763ftp
hackerie·2017-09-15 11:51

[转]Spark与Pandas中DataFrame对比（详细）

PandasSpark工作方式单机singlemachinetool，没有并行机制parallelism不支持Hadoop，处理大量数据有瓶颈分布式并行计算框架，内建并行机制parallelism，所有的数据和操作自动并行分布在各个集群结点上
翔飞天宇·2017-08-29 15:52

并发与并行的区别

原文链接：https://www.bughui.com/2017/08/23/difference-between-concurrency-and-parallelism/很多年前，上操作系统课的时候，
Bug辉·2017-08-24 11:00

Java垃圾回收并发和并行

英文单词并发：Concurrency并行：Parallelism并发一个并发程序是具备处理多个任务的能力。
liushuang6018·2017-08-04 15:22

spark 提交参数设置

8Gnum-executors乘以executor-memory，就代表了你的Spark作业申请到的总内存量,这个量是不能超过队列的最大内存量的3.executor-cores2~44.spark.default.parallelism
diannao720·2017-06-16 11:19

spark-大表join优化方案

，并去重，减少datashuffle的规模调整并行度和shuffle参数spark-submit参数#提高shuffle阶段的任务并行度，降低单个任务的内存占用--confspark.default.parallelism
小蜗牛也有梦想·2017-06-09 14:03

Nmap渗透测试-伺机而动

max-hostgroupnmap--min-hostgroup30192.168.1.1/24nmap--max-hostgroup10192.168.1.1/245.3调整探测报文的并行度--min-parallelism
大方子·2017-06-05 11:51

漫谈并发编程：Future模型（Java、Clojure、Scala多语言角度分析）

http://dantezhao.com/2017/04/23/concurrency-and-parallelism-future/0x00前言其实Future模型离我们并不远，如果你接触过Spark
Albert陈凯·2017-05-23 09:15

学习go语言引发的一系列问题。

例如：《并发不是并行》http://ifeve.com/concurrency_is_not_parallelism/《单元测试要做多细》http://coolshell.cn/articles/8209
逍遥神六爷·2017-05-10 14:25

java并发的基本概念和级别

关于java并发的一些概念:并发的概念:并发(Concurrency)和并行(Parallelism)并发偏重于多个任务交替执行，而多个任务之间有可能还是串行的。而并行是真正意义上的“同时执行”。
taoshujian·2017-04-01 10:28

spark数据倾斜解决方案（三） 提高shuffle操作reduce并行度

数据倾斜解决方案提高shuffle操作reduce并行度当我们设置spark.default.parallelism，100我们假设Map端有100个task，然后reduce端有100个task然后此时发生数据倾斜了
gerry.tan·2017-03-25 17:01

Python 的异步 IO：Asyncio 简介

Asyncio并不能带来真正的并行（parallelism）。当然，因为GIL（全局解释器锁）的存在，Python的多线程也不
adam1q84·2017-03-24 00:00

并发计算 VS 并行计算

什么是并行并行(parallelism)
FiBird·2017-01-21 00:00

并发与并行（concurrency and parallelism）的思考理解

附上一个基本概念：并发(Concurrent)与并行(Parallel)的区别。两本书里的解释：1.《疯狂java讲义》：并发：在同一时刻只能有一条指令执行，但多个进程指令被快速轮换执行，使得在宏观上具有多个进程同时执行的效果。并行：在同一时刻，有多条指令在多个处理器上同时执行。2.《深入理解计算机系统》是一个通用的概念，指一个同时具有多个活动的系统；用并发使一个系统运行得更快。并行可以在计算机系
V_code·2017-01-11 18:55

Spark与Pandas中DataFrame的对比

PandasSpark工作方式单机singlemachinetool，没有并行机制parallelism不支持Hadoop，处理大量数据有瓶颈分布式并行计算框架，内建并行机制parallelism，所有的数据和操作自动并行分布在各个集群结点上
Verycoldddd·2016-12-06 19:51

Java高并发程序设计笔记1之重要概念

几个重要的概念同步（synchronous）和异步（asynchronous）同步异步相对系统调用来讲的，异步就是单起另一个线程来运行任务，不影响调用的方法继续执行并发（Concurrency）和并行（Parallelism
坤少_jkson·2016-11-08 11:24

关于mysql备份说明

222smysqlpump-uzjy-p-h192.168.123.70--single-transaction--default-character-set=utf8--compress-output=LZ4--default-parallelism
锐洋智能·2016-09-25 09:00

转：spark通过合理设置spark.default.parallelism参数提高执行效率

转：spark通过合理设置spark.default.parallelism参数提高执行效率spark中有partition的概念（和slice是同一个概念，在spark1.2中官网已经做出了说明），一般每个
Feeling·2016-09-08 13:00

Lambda表达式之并行和并发

首先并行和并发是两个不同的概念：并行英文叫Parallelism，理想情况下，每个线程拥有自己独立的cpu核心，像平行线一样的各自执行自己的任务，多用于CPU密集型的任务；并发英文叫Concurrency
xuanzhui·2016-08-16 17:00

Lambda表达式之并行和并发

首先并行和并发是两个不同的概念：并行英文叫Parallelism，理想情况下，每个线程拥有自己独立的cpu核心，像平行线一样的各自执行自己的任务，多用于CPU密集型的任务；并发英文叫Concurrency
xuanzhui·2016-08-16 17:00

SQL Server 2014新特性：分区索引重建

::={  SORT_IN_TEMPDB={ON|OFF} |MAXDOP=max_degree_of_parallelism |DATA_COMPRESSION={NONE|ROW|PAGE|COLUMNSTORE
Fanr_Zh·2016-08-11 09:00

Spark与Pandas中DataFrame的详细对比

PandasSpark工作方式单机singlemachinetool，没有并行机制parallelism不支持Hadoop，处理大量数据有瓶颈分布式并行计算框架，内建并行机制parallelism，所有的数据和操作自动并行分布在各个集群结点上
bitcarmanlee·2016-07-23 08:45

spark通过合理设置spark.default.parallelism参数提高执行效率

在我的测试过程中，如果没有设置spark.default.parallelism参数，spark计算出来的partition非常巨大，与我的cores非常不搭。
奔跑-起点·2016-07-21 17:09

java并发：简单面试问题集锦

并行、并发并行性（parallelism）指两个或两个以上的事件在同一时刻发生，在多道程序环境下，并行性使多个程序同一时刻可在不同CPU上同时执行。
fudaxia1rrt10h·2016-04-13 22:00

Storm记录09- Storm Topology的并发度

UnderstandingtheparallelismofaStormtopologyhttps://github.com/nathanmarz/storm/wiki/Understanding-the-parallelism-of-a-Storm-topology
gl_windhome·2016-04-08 10:54

Storm Topology的并发度

UnderstandingtheparallelismofaStormtopologyhttps://github.com/nathanmarz/storm/wiki/Understanding-the-parallelism-of-a-Storm-topology
xiaqian0917·2016-04-05 13:00

storm拓扑的并行度(parallelism)概念

1storm并行的基本概念一个运行中的拓扑是由什么构成的：工作进程（workerprocesses），执行器（executors）和任务（tasks）在一个Storm集群中，Storm主要通过以下三个部件来运行拓扑：工作进程（workerprocesses）（进程数）执行器（executors）（线程数）任务（tasks）（实例组件数）storm集群中的一个机器可以运行一个或者多个worker,对
泡海椒·2016-04-03 18:00

一行 Python 实现并行化 -- 日常多线程操作的新思路

Parallelisminoneline 这篇在HackerNews和reddit上都评论过百的文章，顺手译出，enjoy:-)http://www.zhangzhibo.net/2014/02/01/parallelism-in-one-line
MarkCo·2016-03-31 23:00

Spark性能优化的10大问题及其解决方案

Spark性能优化的10大问题及其解决方案问题1：reducetask数目不合适解决方式：需根据实际情况调节默认配置，调整方式是修改参数spark.default.parallelism。
笔尖的痕·2016-03-14 15:42

理解 Storm 拓扑的并行度(parallelism)概念

组成：一个运行中的拓扑是由什么构成的：工作进程（workerprocesses），执行器（executors）和任务（tasks）！在一个Storm集群中，Storm主要通过以下三个部件来运行拓扑：工作进程（workerprocesses）执行器（executors）任务（tasks).`下面是他们之间相互关系的简单图示。在Worker中运行的是拓扑的一个子集。一个worker进程是从属于某一个特
唐僧吃肉·2016-03-08 17:00

java高并发程序设计

并发（concurrency）和并行（parallelism）链接
u011001084·2016-02-27 13:00

java高并发程序设计

并发（concurrency）和并行（parallelism）链接
u011001084·2016-02-27 11:00

java高并发程序设计

并发（concurrency）和并行（parallelism）链接
u011001084·2016-02-27 11:00

storm拓扑的并行度(parallelism)概念

1storm并行的基本概念一个运行中的拓扑是由什么构成的：工作进程（workerprocesses），执行器（executors）和任务（tasks）在一个Storm集群中，Storm主要通过以下三个部件来运行拓扑：工作进程（workerprocesses）（进程数）执行器（executors）（线程数）任务（tasks）（实例组件数）storm集群中的一个机器可以运行一个或者多个worker,对
张欢19933·2016-02-02 18:00

GO并发

PPThttp://www.vaikan.com/docs/Concurrency-is-not-Parallelism/#slide-28http://my.oschina.net/nyankosama
gao1383979·2016-01-18 14:17

How-to: Tune Your Apache Spark Jobs (Part 2)

Intheconclusiontothisseries,learnhowresourcetuning,parallelism,anddatarepresentationaffectSparkjobperformance.Inthispost
Si2·2016-01-17 15:00

Perl 6 简单的并行

Perl6简单的并行以下内容摘取于：PerlIntroduction第14节http://perl6intro.com/#_parallelism_concurrency_and_asynchrony数据的并行计算什么是数据的并行呢
gaorongchao1990626·2016-01-06 23:00

storm简述最为清楚的文章

http://storm.apache.org/documentation/Understanding-the-parallelism-of-a-Storm-topology.htmlConfigconf
lingzhiwangcn·2015-12-25 10:00

Spark性能优化的10大问题及其解决方案

Spark性能优化的10大问题及其解决方案问题1：reducetask数目不合适解决方式：需根据实际情况调节默认配置，调整方式是修改参数spark.default.parallelism。
江中炼·2015-12-15 19:00

OpenMP的学习初步

.算法结构设计空间 设计出的算法具有：效率，简单，可移植，可测量   C.支持结构 a) 程序结构 SPMD – Same Program Multiple Data loop parallelism
·2015-11-13 14:49

spark通过合理设置spark.default.parallelism参数提高执行效率

在我的测试过程中，如果没有设置spark.default.parallelism参数，spark计算出来的partition非常巨大，与我的cores非常不搭。
·2015-11-13 11:08

Task Cancellation: Parallel Programming

Last two articles are on Data Parallelism
·2015-11-13 08:48

8.1.C++ AMP简介

全程是: Accelerator Massive Parallelism 下面是一个Vector C++ AMP的代码,通过这段代码来解释C++ AMP的语法: #include
·2015-11-11 18:30

Storm处理流程, 基本参数配置

配置选项名称 配置选项作用 topology.max.task.parallelism 每个Topology运行时最大的executor数目 topology.workers
·2015-11-11 13:58

笔记：并发与并行

并行parallelism：多个活动同时执行。 并行的3个层次： 1、线程级并行 单处理器系统线程只能通过交替执行模拟并行，并发。 此外还有超线程，是允许一个cpu执行多个控制流的技术。
·2015-11-11 10:35

简单对比Spark和Storm

基于数据并行，https://en.wikipedia.org/wiki/Data_parallelism。
·2015-11-11 07:43
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他