数据平滑

数据平滑_第1张图片
对于二元语法来说,一种最简单的平滑技术就是假设每个二元语法出现的次数比实际出现的次数多一次,不妨将该处理方法称为加1法。
数据平滑是语言模型中的核心问题,多年来很多学者在这方面做了大量的研究工作。下面简要介绍一些主要的数据平滑方法。

加法平滑方法

数据平滑_第2张图片
在这里插入图片描述

古德-图灵(Good-Turing)估计法

数据平滑_第3张图片

Katz平滑方法

Jelinek-Mercer平滑方法

数据平滑_第4张图片

Witten-Bell平滑方法

绝对减值法

数据平滑_第5张图片
数据平滑_第6张图片

Kneser-Ney平滑方法

Church-Gale平滑方法

你可能感兴趣的:(机器学习)