speculative

2024年1月16日Arxiv热门NLP大模型论文：Multi-Candidate Speculative Decoding

大幅提速NLP任务，无需牺牲准确性！南京大学提出新算法，大幅提升AI文本生成效率飞跃引言：探索大型语言模型的高效文本生成在自然语言处理（NLP）的领域中，大型语言模型（LLMs）已经证明了它们在各种任务上的卓越能力，从语言理解到文本生成，再到跨多种NLP任务和开放领域的泛化能力。然而，这些模型在自回归地生成文本时往往耗时较长。为了加快它们的速度，研究者们提出了一种名为“推测性解码”（specula
夕小瑶·2024-01-17 10:03

使用推测解码 (Speculative Decoding) 使 Whisper 实现 2 倍的推理加速

OpenAI推出的Whisper是一个通用语音转录模型，在各种基准和音频条件下都取得了非常棒的结果。最新的large-v3模型登顶了OpenASR排行榜，被评为最佳的开源英语语音转录模型。该模型在CommonVoice15数据集的58种语言中也展现出了强大的多语言性能，在42种语言上的单词错误率(WER)低于30％。尽管转录准确度非常优秀，但推理速度非常缓慢。即使利用flashattention、
Hugging Face·2024-01-12 07:59

Hive--参数优化、Map、Reduce Task个数优化

1.1hive.fetch.task.conversion1.2hive.exec.mode.local.auto1.3hive.mapred.mode1.4hive.mapred.reduce.tasks.speculative.execution1.5hive.optimize.cp1.6hive.optimi
XK&RM·2023-11-12 16:22

Spark 推测执行(speculative)

一speculative简介在spark作业运行中，一个spark作业会构成一个DAG调度图，一个DAG又切分成多个stage，一个stage由多个Tesk组成，一个stage里面的不同task的执行时间可能不一样
数据的艺术2·2023-10-07 16:53

什么？这个策略可以加速大模型推理2-2.5倍以上？

团队的文章《AcceleratingLargeLanguageModelDecodingwithSpeculativeSampling》代码https://github.com/shreyansh26/Speculative-Sampling
Alex抱着爆米花·2023-09-12 12:13

Accelerating LLM Inference with Staged Speculative Decoding

本文是LLM系列文章，针对《AcceleratingLLMInferencewithStagedSpeculativeDecoding》的翻译。分段推测译码加速LLM推理摘要1引言2背景3方法4结果5结论摘要大型语言模型（LLM）的最新进展说明了它们的多样性。我们提出了一种新的算法，分阶段推测解码，以加速小批量设备场景中的LLM推理。我们通过改进先前在推测解码中的工作来解决小批量推理的低算术强度问
UnknownBody·2023-09-05 09:48

第五章内存系统（Cortex-M7 Processor）

目录第五章内存系统5.1关于内存系统5.2（Speculative）推测性访问5.2.1系统设计注意事项5.3故障处理5.3.1故障5.3.2使用模型5.4内存类型和内存系统行为5.5AXIM接口5.5.1AXI
ManGo CHEN·2023-07-18 06:49

[Arxiv 2023] SpecInfer:Accelerating LLM Serving with Speculative Inference + Token Tree Verification

ContentsIntroductionMethodSpeculativeInferenceCollectiveBoost-TuningLearning-basedSpeculativeSchedulerTokenTreeVerifierTreeAttentionVerificationOptimizationsEvaluationReferencesIntroductionLLMs的高内存和算力
连理o·2023-06-20 09:43

hive-参数调优

sethive.vectorized.execution.enabled=false;setmapreduce.map.speculative=false;setmapreduce.reduce.speculative
行走荷尔蒙·2023-04-17 06:07

Unity中Rigidbody的Continuous Speculative模式

本节为Rigidbody的附加章节，主要是说明刚体连续的碰撞的第四种模式——ContinuousSpeculative模式，书上已经很多资料都没有过多描述这一个模式的，所以我特意总结了一番！ContinuousSpeculative:使用推测式连续碰撞检测，这是唯一的CDD模式，CDD模式能够确保快速的移动的物体与物体进行碰撞，而不是穿过这样物体，Unity提供了两种CCD方法。1.基于扫频的CC
境遇之泽·2023-03-11 12:31

Cost-Effective Speculative Scheduling in High Performance Processors

Cost-EffectiveSpeculativeSchedulinginHighPerformanceProcessors摘要背景：为了最大化性能，乱序执行处理器中，有些情况下会在操作数尚未可用的情况下发射该指令，例如load指令通常会被推测认为在L1cache中命中，并且之后的相关指令（消费者指令）也认为L1cache会命中，这种情况下就被认为是推测调度随着流水线深度的增加和Issue和Exe
shuiliusheng·2022-12-09 17:56

Hive数据倾斜之参数设置

dfs.block.size决定HDFS文件block数量的多少(文件个数),它会间接的影响JobTracker的调度和内存的占用(更影响内存的使用),mapred.map.tasks.speculative.execution
anglia熊·2021-06-22 21:16

hive写入Elasticsearch实战与性能

elasticsearch-hadoop-6.6.1.jar;--注意jar包版本，不同elastic集群指定相应的版本jar包--关闭Hive推测执行SEThive.mapred.reduce.tasks.speculative.execution
忆山·2020-08-20 17:22

hive与elasticsearch的数据交互

curl-XPOST"http://000.000.000.000:9200/test_tag"第二步、创建hive外部表：--关闭Hive推测执行,执行INSERTSEThive.mapred.reduce.tasks.speculative.execution
听见下雨的声音hb·2020-08-20 14:03

AMD 编程手册 7.4-7.5

注意如果其他的memory如果支持Speculative读，那么可能会bypass那些没有冲突的UC操作。CDC
南方铁匠·2020-08-17 05:52

Day1-精读训练班-A14503

Day11.阅读时长35minutes2.第一遍关键字：evidence—>scientificprocess—>observation—>speculative—>证伪—>不断推翻—>站在巨人的肩膀上
Verra小葵·2020-07-31 09:40

【Day3】科学简史精读之读书笔记

verb.tostatewithassurance,confidence,orforce.断言3.reinforce:verb.strengthen加强4.peer:noun/verb.同龄人，同类5.speculative
林小笨sea·2020-07-15 18:25

MAPREDUCE结果导入elastic

hadoop连接es配置Configurationconf=newConfiguration();//禁止speculative机制，该机制会启动多个相同task，使数据重复索引conf.setBoolean
蒙奇奇的故事·2020-07-15 06:52

hive参数——深入浅出学Hive

reduce任务可以产生的文件的和•默认值:100000hive.exec.dynamic.partition•说明：是否为自动分区•默认值：falsehive.mapred.reduce.tasks.speculative.execution
快乐程序员·2020-07-14 11:51

【译】更快地构建 DOM: 使用预解析, async, defer 以及 preload

Mactavish博主本人链接：http://www.zcfy.cc/article/4224原文：https://hacks.mozilla.org/2017/09/building-the-dom-faster-speculative-parsing-async-defer-and-preload
chiyitu7904·2020-07-13 03:04

新特性 英特尔® 线程构建模块 4.2

新的同步基元speculative_spin_mutex提供了对推测锁定的支持。这使得在第4代英特尔®酷睿™处理器上使用英特尔(R)事务性同步扩展(Intel®TSX)
英特尔-x86安卓开发·2020-07-02 12:34

论文笔记 -- ISSCC-2020: GANPU (Multi-DNN Processor for GANs with Speculative Dual-Sparsity Exploitation)

ISSCC-2020-GANPU论文解读@论文笔记GANPU:A135TFLOPS/WMulti-DNNTrainingProcessorforGANswithSpeculativeDual-SparsityExploitation文章目录ISSCC-2020-GANPU论文解读一、背景和动机1.背景2.动机a.本地VS云端b.计算和存储瓶颈c.输入与输出稀疏性的不对称二、架构1.GANPU硬件架
love小酒窝·2020-07-01 02:43

V8中基于推测的优化--An Introduction to Speculative Optimization in V8

本文介绍，V8中的优化编译器TurboFan，是如何将JavaScript代码变成高度优化的机器码。包括，V8是如何通过收集运行期间的分析信息来进行推测优化，本人翻译自BenediktMeurer的文章，并获得原作者许可。总览  在我们深入了解TurboFan的工作细节之前。我们先通过下面这幅图从一个较高的层面简单了解下V8在各个阶段的工作过程。（图片来自JavaScriptStart-upPer
szengtal·2020-06-26 17:32

Hadoop中Speculative Task调度策略

1.背景SpeculativeTask，又叫推测式任务，是指在分布式集群环境下，因为程序bug，负载不均衡或者资源分布不均，造成同一个job的多个task运行速度不一致，有的task运行速度明显慢于其他task（比如：一个job的某个task进度只有10%，而其他所有task已经运行完毕），则这些task拖慢了作业的整体执行进度，为了避免这种情况发生，Hadoop会为该task启动speculat
rzhzhz·2020-06-26 06:10

Speculative Execution in Hadoop

所谓的推测执行，就是当所有task都开始运行之后，JobTracker会统计所有任务的平均进度，如果某个task所在的tasknode机器配置比较低或者CPUload很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时JobTracker会启动一个新的任务（duplicatetask），原有任务和新任务(一个task会有多个attempt同时执行)哪个先执行完就把另外一个kill掉，这也是
macyang·2020-06-24 13:13

Hadoop2.6.0运行mapreduce之推断（speculative）执行（上）

前言当一个应用向YARN集群提交作业后，此作业的多个任务由于负载不均衡、资源分布不均等原因都会导致各个任务运行完成的时间不一致，甚至会出现一个任务明显慢于同一作业的其它任务的情况。如果对这种情况不加优化，最慢的任务最终会拖慢整个作业的整体执行进度。好在mapreduce框架提供了任务推断执行机制，当有必要时就启动一个备份任务。最终会采用备份任务和原任务中率先执行完的结果作为最终结果。由于具体分析推
泰山不老生·2020-06-22 17:20

[记录点滴] 小心 Hadoop Speculative 调度策略

[记录点滴]小心HadoopSpeculative调度策略文章目录[记录点滴]小心HadoopSpeculative调度策略0x00摘要0x01缘由0x02代码示例0x03排查过程0x04Speculativeexecution4.1掉队者4.2推测执行4.3问题所在0x05问题解决0x06map编写注意点[0x07]源码分析0xFF参考0x00摘要本文从一个bug入手，为大家展示HadoopSp
罗西的思考·2020-06-21 13:43

[记录点滴] 小心 Hadoop Speculative 调度策略

[记录点滴]小心HadoopSpeculative调度策略目录[记录点滴]小心HadoopSpeculative调度策略[0x00]摘要[0x01]缘由[0x02]代码示例[0x03]排查过程[0x04]Speculativeexecution4.1掉队者4.2推测执行4.3问题所在[0x05]问题解决[0x06]map编写注意点[0x07]源码分析[0x0FF]参考[0x00]摘要本文从一个bu
罗西的思考·2020-06-19 20:00

简单易懂读《重构》 - Speculative Generality (高估未来的可能性)

含义:高估未来的扩展性，添加过多不必要的类，方法或继承体系坏处:不利于程序维护，可读性差目标:依现实来重新评估，去除多余的代码部分。实现方法:使用CollapseHierarchy(折叠继承体系)和InlineClass(将类合并)。如果函数中某些参数没有用到，考虑使用RemoveParameter(移除参数)如果函数名称过于抽象，可以使用RenameMethod(重命名函数)本文涉及的重构方法C
HermaeuxMora·2018-11-30 20:05

Spectre Meltdown attack 攻击原理之 speculative execution

最近比较火的X86bug，spectremeltdown以及及其变种，攻击的前提是cpu具有speculativeexecution的能力，也就是推测执行的能力。当然现代架构的cpu都具备推测执行的能力了。推测执行的时机有多种，比如在执行分支跳转（jmp）、函数调用（call）时，但是核心就是预取数据。当cpu多次执行一段代码时，就会推测执行，比如说一段代码需要循环执行10次，但是cpu当执行完第
夏天不热 冬天不冷·2018-08-18 22:05

hive配置文件中的参数描述

reduce任务可以产生的文件的和•默认值:100000hive.exec.dynamic.partition•说明：是否为自动分区•默认值：falsehive.mapred.reduce.tasks.speculative.execution
宁静妍·2018-08-10 18:11

及时更新Exchange服务器补丁防止因为服务器硬件CPU漏洞导致风险

具体可以参考：（https://support.microsoft.com/en-us/help/4074871/exchange-server-guidance-to-protect-against-speculative-execution-side
jialt·2018-01-25 15:23

【Hive】Hive参数

reduce任务可以产生的文件的和•默认值:100000hive.exec.dynamic.partition•说明：是否为自动分区•默认值：falsehive.mapred.reduce.tasks.speculative.execution
csdn_hnhk·2017-07-04 17:05

Nutch2 + Solr 6: solrdedup causes ClassCastException

local/bin/nutchsolrdedup-Dmapred.reduce.tasks=2-Dmapred.child.java.opts=-Xmx1000m-Dmapred.reduce.tasks.speculative.execution
silly_sinba·2017-06-23 00:00

Hive入门到剖析（二）

map与reduce任务可以产生的文件的和默认值:100000hive.exec.dynamic.partition说明：是否为自动分区默认值：falsehive.mapred.reduce.tasks.speculative.execution
wangwei4078·2016-09-02 14:48

Hadoop2.6.0运行mapreduce之推断（speculative）执行（下）

前言在《Hadoop2.6.0运行mapreduce之推断（speculative）执行（上）》一文中对推断执行技术的背景进行了介绍，并且在Hadoop集群上做了一些测试以验证mapreduce框架的推断执行
beliefer·2016-05-19 10:00

Hadoop2.6.0运行mapreduce之推断（speculative）执行（一）

前言当一个应用向YARN集群提交作业后，此作业的多个任务由于负载不均衡、资源分布不均等原因都会导致各个任务运行完成的时间不一致，甚至会出现一个任务明显慢于同一作业的其它任务的情况。如果对这种情况不加优化，最慢的任务最终会拖慢整个作业的整体执行进度。好在mapreduce框架提供了任务推断执行机制，当有必要时就启动一个备份任务。最终会采用备份任务和原任务中率先执行完的结果作为最终结果。由于具体分析推
beliefer·2016-05-12 14:00

Processor Speculative & pipeline

Instruction-level_parallelismhttps://en.wikipedia.org/wiki/Instruction_pipelininghttps://en.wikipedia.org/wiki/Speculative_executionhttps
明星程序员之魔者侠情·2016-05-09 23:00

代码的坏味道

变量的坏现象    Data Clumps（数据泥团）    Primitive Obsession(基本类型偏执)    Speculative Generality （夸夸其谈未来性）    Temporary
wqetfg·2016-04-06 12:00

Speculative Execution in Hadoop

所谓的推测执行，就是当所有task都开始运行之后，JobTracker会统计所有任务的平均进度，如果某个task所在的tasknode机器配置比较低或者CPUload很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时JobTracker会启动一个新的任务（duplicatetask），原有任务和新任务(一个task会有多个attempt同时执行)哪个先执行完就把另外一个kill掉，这也是
zhaomengsen·2016-03-15 15:00

hive开启和关闭推测执行

   hive开启推测执行: mapred.map.tasks.speculative.execution=truemapred.reduce.tasks.speculative.execution=truehive.mapred.reduce.tasks.speculative.execution
chengjianxiaoxue·2016-02-26 07:28

hadoop任务提速选项

mapred.map.tasks.speculative.execution=truemapred.reduce.tasks.speculative.execution=true这两个是推测执行的配置项
仗剑走天涯-数海度余生·2016-02-07 11:09

MapReduce 调优

dfs.block.sizemapred.map.tasks.speculative.execution=truemapred.reduce.tasks.speculative.ex
u010299467·2015-12-25 12:00

Hadoop Speculative Task

在分布式计算环境中，一个job会被拆解为多个task，由于各种软硬件异常，某些task运行速度较慢，拖慢了整个job完成时间对于这些运行速度较慢的task，Hadoop不会尝试诊断或者修复，而是分析出哪些task运行较慢，针对这些运行较慢的task，启动一些backup的task，我们称之为speculativetask，speculativetask会与原有task一起运行，哪个task首先执行
尧山少侠·2015-12-23 13:00

hive 常用参数

reduce任务可以产生的文件的和•默认值:100000 hive.exec.dynamic.partition•说明：是否为自动分区•默认值：falsehive.mapred.reduce.tasks.speculative.execution
huangjin0507·2015-11-19 13:00

Method and apparatus for speculative execution of uncontended lock instructions

A method and apparatus for executing lock instructions speculatively in an out-of-order processor are disclosed. In one embodiment, a prediction is made whether a given lock instruction will actually
·2015-11-13 10:33

Speculative store buffer

A speculative store buffer is speculatively updated in response to speculative store memory
·2015-11-13 07:10

Method and system for early speculative store-load bypass

In an embodiment, the present invention describes a method and apparatus for detecting RAW condition earlier in an instruction pipeline. The store instructions are stored in a special s
·2015-11-13 07:08

Method, apparatus, and system for speculative abort control mechanisms

An apparatus and method is described herein for providing robust speculative code section abort control
·2015-11-13 01:13

Method, apparatus, and system for speculative abort control mechanisms

An apparatus and method is described herein for providing robust speculative code section abort control
·2015-11-13 01:12
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他