使用推测解码 (Speculative Decoding) 使 Whisper 实现 2 倍的推理加速
OpenAI推出的Whisper是一个通用语音转录模型,在各种基准和音频条件下都取得了非常棒的结果。最新的large-v3模型登顶了OpenASR排行榜,被评为最佳的开源英语语音转录模型。该模型在CommonVoice15数据集的58种语言中也展现出了强大的多语言性能,在42种语言上的单词错误率(WER)低于30%。尽管转录准确度非常优秀,但推理速度非常缓慢。即使利用flashattention、