speculative

Method, apparatus, and system for speculative abort control mechanisms

An apparatus and method is described herein for providing robust speculative code section abort control
·2015-11-13 01:12

Method, apparatus, and system for speculative abort control mechanisms

An apparatus and method is described herein for providing robust speculative code section abort control
·2015-11-13 01:11

Hadoop参数优化

dfs.block.size   决定HDFS文件block数量的多少(文件个数),它会间接的影响Job Tracker的调度和内存的占用(更影响内存的使用), mapred.map.tasks.speculative.execution
·2015-11-12 14:58

代码坏的味道13：夸夸其谈未来性（Speculative Generality）

　　如果你的某个抽象类其实没有太大作用，请运用 Collapse Hierarch （折叠继承体系）。不必要的委托可运用 Inline Class （将类内联化）除掉。如果函数的某些参数未被用上，可对它实施 Remove Parameter （移除参数）。如果函数名称带有多余的抽象意味，应该对它实施Rename Method （函数改名）      
·2015-11-11 04:41

代码坏的味道13：夸夸其谈未来性（Speculative Generality）

　　如果你的某个抽象类其实没有太大作用，请运用 Collapse Hierarch （折叠继承体系）。不必要的委托可运用 Inline Class （将类内联化）除掉。如果函数的某些参数未被用上，可对它实施 Remove Parameter （移除参数）。如果函数名称带有多余的抽象意味，应该对它实施Rename Method （函数改名）      
·2015-11-10 22:54

mapReduce体系结构和各种算法 笔记六

任务执行优化推测式执行: jobtracker会将执行慢的任务kill掉,启动一个新的相同备份任务在mapred-site.xml中设置map和reduce任务的开启和关闭Mapred.map.tasks.speculative.executionMapred.reduce.tasks.speculative.exe
retacn_yue·2015-10-16 13:00

hadoop 配置项的调优

dfs.block.size决定HDFS文件block数量的多少(文件个数),它会间接的影响JobTracker的调度和内存的占用(更影响内存的使用),两个推测式执行mapred.map.tasks.speculative.execution
stark_summer·2015-09-23 18:00

推测的删除锁(Speculative Lock Elision)：实现高并发多线程执行

背景SLE全称SpeculativeLockElision，我称之为推测的删除锁。这是一篇关于SLE的论文翻译，但是因为本人英语功底很差，所以翻译的不通顺而且会有很多错误的地方。之所以把它发出来，是因为个人感觉SLE设计的很巧妙，而且没有搜索很多到关于SLE的文章，这里的目的只是为了让大家了解SLE。有兴趣的同学最好看论文原文。下面是正式的论文翻译（原作者RaviRajwar和JamesR.Goo
羽飞·2015-05-24 20:30

推测的删除锁(Speculative Lock Elision)：实现高并发多线程执行

背景SLE全称SpeculativeLockElision，我称之为推测的删除锁。这是一篇关于SLE的论文翻译，但是因为本人英语功底很差，所以翻译的不通顺而且会有很多错误的地方。之所以把它发出来，是因为个人感觉SLE设计的很巧妙，而且没有搜索很多到关于SLE的文章，这里的目的只是为了让大家了解SLE。有兴趣的同学最好看论文原文。下面是正式的论文翻译（原作者RaviRajwar和JamesR.Goo
hnwyllmm·2015-05-24 20:00

hive参数详解

与reduce任务可以产生的文件的和默认值:100000 hive.exec.dynamic.partition说明：是否为自动分区默认值：falsehive.mapred.reduce.tasks.speculative.execution
超人学院66·2015-02-12 16:54

Hadoop中的Speculative Task调度策略

一：背景SpeculativeTask，又叫推测式任务，是指在分布式集群环境下，因为程序bug，负载不均衡或者资源分布不均，造成同一个job多个task运行速度不不一致，有的task运行速度明显要慢于其他task(比如：一个job的某个task进度只有10%，而其他所有task已经运行完毕)，则这些task拖慢了了作业的整体执行进度，为了避免这种情况发生，Hadoop会为该task启动Specul
lzm1340458776·2015-01-31 13:00

Hadoop 坑爹的Speculative 机制

更多内容，请访问bbhhhh.github.io最近一直在搞HadoopHbase。我们有一个需求是从HDFS上读取输入文件，解析后输出到Hbase。由于输入文件非常大，TB级别，为了提高写库性能，我们尝试通过map程序在所有datanode上并发读取并输出到Hbase。程序很快完成，并顺利完成入库任务。我们写了一个统计程序用于检查导入的记录是否与输入文件中的记录数一致。开始为了测试，输入文件并不
bhh·2014-12-18 16:00

Hadoop Speculative Execution - Hadoop推测执行

1.推测执行    所谓的推测执行，就是当所有task都开始运行之后，JobTracker会统计所有任务的平均进度，如果某个task所在的机器配置比较低或者CPUload很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时JobTracker会启动一个新的任务（duplicatetask），原有任务和新任务(一个task会有多个attempt同时执行)哪个先执行完就把另外一个kill掉，这
wangjianno2·2014-08-23 09:00

Speculative Execution in Hadoop

来自：http://blog.csdn.net/macyang/article/details/7880671   所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的task node机器配置比较低或者CPU load很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时Job Tracker会启动一个新的任
·2014-07-07 16:00

hive参数的意义

任务可以产生的文件的和 •默认值:100000 hive.exec.dynamic.partition •说明：是否为自动分区 •默认值：false hive.mapred.reduce.tasks.speculative.execution
乡里伢崽·2014-07-01 16:00

how to update config parameter of hadoop mapred-site.xml without restarting the cluster

Question:Iwouldliketoadd/updatethefollowingparameter mapred.map.tasks.speculative.execution false inmapred-site.xmlinhadoop.HowcanIdothiswithoutrestartingthecluster
Mrknowledge·2014-06-17 16:00

新特性：英特尔® 线程构建模块 4.2

新的同步基元 speculative_spin_mutex  提供了对推测锁定的支持。这使得在第4代英特尔®酷睿™处理器上使用英特尔(R)事务性同步扩展(Intel®TSX)硬件特性
mtskkllus·2014-03-11 18:00

Hadoop Speculative Task

在分布式计算环境中，一个job会被拆解为多个task，由于各种软硬件异常，某些task运行速度较慢，拖慢了整个job完成时间对于这些运行速度较慢的task，Hadoop不会尝试诊断或者修复，而是分析出哪些task运行较慢，针对这些运行较慢的task，启动一些backup的task，我们称之为speculativetask，speculativetask会与原有task一起运行，哪个task首先执行
yfkiss·2013-08-31 12:00

（转载）Hive学习笔记--Hive 参数

reduce任务可以产生的文件的和•默认值:100000 hive.exec.dynamic.partition•说明：是否为自动分区•默认值：falsehive.mapred.reduce.tasks.speculative.execution
开源中国心理科主任·2013-08-09 15:00

hive参数——深入浅出学Hive

reduce任务可以产生的文件的和•默认值:100000hive.exec.dynamic.partition•说明：是否为自动分区•默认值：falsehive.mapred.reduce.tasks.speculative.execution
快乐程序员·2013-08-02 21:49

hive推测执行(speculative execution)

前几天在解决同事一个HiveBug的时候，需要关闭task推测执行(speculativeexecution)，在网上查了资料后有人提到需要set hive.mapred.map.tasks.speculative.execution
lalaguozhe·2013-06-11 22:00

hive推测执行(speculative execution)

前几天在解决同事一个HiveBug的时候，需要关闭task推测执行(speculativeexecution)，在网上查了资料后有人提到需要sethive.mapred.map.tasks.speculative.execution
lalaguozhe·2013-06-11 22:00

PIG优化配置

写道 SET pig.splitCombination true; # 优化小文件处理 SET mapred.map.tasks.speculative.execution true; SET
heipark·2013-04-02 09:00

24 Interview Questions & Answers for Hadoop MapReduce developers (forward)

阅读更多转自http://www.fromdev.com/2010/12/interview-questions-hadoop-mapreduce.html#what-is-speculative-execution-hadoop
lliu26·2013-03-26 16:00

24 Interview Questions & Answers for Hadoop MapReduce developers (forward)

转自http://www.fromdev.com/2010/12/interview-questions-hadoop-mapreduce.html#what-is-speculative-execution-hadoop
lliu26·2013-03-26 16:00

24 Interview Questions & Answers for Hadoop MapReduce developers (forward)

阅读更多转自http://www.fromdev.com/2010/12/interview-questions-hadoop-mapreduce.html#what-is-speculative-execution-hadoop
lliu26·2013-03-26 16:00

mapreduce作业调优tips

由mapred.map.task.speculative.execution[defaulttrue]和mapred.reduce.task.speculative.execution[defaulttrue
posa88·2013-01-30 18:00

Hadoop中Speculative Task调度策略

1.背景SpeculativeTask，又叫推测式任务，是指在分布式集群环境下，因为程序bug，负载不均衡或者资源分布不均，造成同一个job的多个task运行速度不一致，有的task运行速度明显慢于其他task（比如：一个job的某个task进度只有10%，而其他所有task已经运行完毕），则这些task拖慢了作业的整体执行进度，为了避免这种情况发生，Hadoop会为该task启动speculat
macyang·2012-11-07 22:00

Hadoop中的Speculative Task

   SpeculativeTask称为推测式任务，是Map/Reduce框架中的重要优化算法，是为了解决某些运行速度较慢的task，影响整个job的执行进度的问题。在分布式集群环境下，因为程序bug、负载不均衡、资源分布不均、slavenode处理能力不同，会出现同一个job的多个task运行速度不一致，有的task运行速度明显慢于其他task的情况，这些task的出现会影响整个job的整体运行
maxwellmao·2012-09-25 14:49

Hadoop中的Speculative Task

   SpeculativeTask称为推测式任务，是Map/Reduce框架中的重要优化算法，是为了解决某些运行速度较慢的task，影响整个job的执行进度的问题。在分布式集群环境下，因为程序bug、负载不均衡、资源分布不均、slavenode处理能力不同，会出现同一个job的多个task运行速度不一致，有的task运行速度明显慢于其他task的情况，这些task的出现会影响整个job的整体运行
·2012-09-25 14:49

Hadoop中的Speculative Task

SpeculativeTask称为推测式任务，是Map/Reduce框架中的重要优化算法，是为了解决某些运行速度较慢的task，影响整个job的执行进度的问题。在分布式集群环境下，因为程序bug、负载不均衡、资源分布不均、slavenode处理能力不同，会出现同一个job的多个task运行速度不一致，有的task运行速度明显慢于其他task的情况，这些task的出现会影响整个job的整体运行速度。
maxwellmao·2012-09-25 14:49

Speculative Execution in Hadoop

所谓的推测执行，就是当所有task都开始运行之后，JobTracker会统计所有任务的平均进度，如果某个task所在的tasknode机器配置比较低或者CPUload很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时JobTracker会启动一个新的任务（duplicatetask），原有任务和新任务(一个task会有多个attempt同时执行)哪个先执行完就把另外一个kill掉，这也是
macyang·2012-08-18 14:00

HBase MapReduce与Speculative Task

SpeculativeTask（推测式任务）是mapreduce框架中一个比较重要的优化策略。当某个server某个时间段处于忙碌状态而无法快速完成某个task（当然也可能是server本身性能低下），从而拖延了整个job的完成进度，此时若启用SpeculativeTask策略，jobtacker会为执行慢的task启动speculativetask，多个相同的任务同时运行，哪个task先运行完，
rzhzhz·2012-06-19 16:00

Hadoop中Speculative Task调度策略

1.背景SpeculativeTask，又叫推测式任务，是指在分布式集群环境下，因为程序bug，负载不均衡或者资源分布不均，造成同一个job的多个task运行速度不一致，有的task运行速度明显慢于其他task（比如：一个job的某个task进度只有10%，而其他所有task已经运行完毕），则这些task拖慢了作业的整体执行进度，为了避免这种情况发生，Hadoop会为该task启动speculat
rzhzhz·2012-05-04 21:00

Hadoop中Speculative Task调度策略

作者:Dong|可以转载,但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/mapreduce/hadoop-speculative-task/1
Dong·2012-03-22 09:00

HBase跑 map/reduce 须关闭Speculative Execution

 什么是SpeculativeExecution 所谓的推测执行，就是当所有task都开始运行之后，JobTracker会统计所有任务的平均进度，如果某个task所在的tasknode机器配置比较低或者CPUload很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时JobTracker会启动一个新的任务（duplicatetask），原有任务和新任务哪个先执行完就把另外一个kill掉，这
dogegg250·2012-02-19 08:18

推测多线程相关概念补遗

   live-ins :those register and memory values that are consumed by the speculative thread a
liubin2010·2011-10-09 16:00

HBase跑 map/reduce 须关闭Speculative Execution

什么是Speculative Execution 所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的task node机器配置比较低或者
杨俊华·2011-10-07 23:00

YAGNI

It is the battle cry of agile project development to help prevent speculative development.
andyhu1007·2008-08-27 23:00

代码的坏味道（13）-Speculative Generality（夸夸其谈未来性）

代码的坏味道（13）-SpeculativeGenerality（夸夸其谈未来性）当有人说[噢，我想我们总有一天需要做这事]并因而企图以各式各样得挂钩（hooks）和特殊情况来处理一些非必要的事情，这种坏味道就出现了。那么做的结果往往造成系统更难理解和维护。如果所有装置都会被用到，那就值得那么做；如果用不到，就不值得。用不上得装置只会挡你得路，所以，把它搬开吧。如果你的某个abstractclas
ivaneeo's blog·2005-08-19 15:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他