机器学习领域中的一些概念

前段时间在学习机器学习的时候，经常会看到一些数学符号和数学概念，在此记下。

1. 可行解和最优解

规划问题中的概念。满足约束条件的称为线性规划问题的可行解。所有可行解的集合称为可行域。而不仅满足约束条件而且满足目标优化函数的解称为最优解。最优解并一定唯一，由所有最优解所构成的集合称为该线性规划问题的最优解域。

2. inf和sub

在数学中，某个集合的子集的下确界(infimum, Infima)是小于或等于这个子集的所有其他元素的不一定在这个子集内的最大元素。所以还常用术语最大下界（简写为glb 或 GLB）。而sub的定义与inf的定义是相对的。在数学分析中，实数的集合S的上确界或最小上界记为 sup(S)，并被定义为大于或等于 S 中所有成员的最小实数。

3. Affine Function

Affine Function翻译过来叫做放射函数，通过放射函数搜索，得到的解释支离破碎且不清晰易懂。通过Google搜索Affine Function得到的一篇文档解释得非常清晰到位，并且说明了Linear Function和Affine Function的区别。原文链接为：http://www3.nccu.edu.tw/~joe/IO2010S/lecturenotes3_somemath.pdf。我把原文的内容放在了下一篇博文中。

4. Monomial

Monomial翻译过来叫做单项式，与多项式polynomial为相对的概念，意指A polynomial with just one term。The degree of a monomial is the sum of the exponents of all its variables。多项式是那个度数最大的单项式的度数。

5. Non-linear transformation And linear transformation

Let V1,V2 be two vector spaces over the field F. A transformation T:V1→V2 is linear if for everyx,y∈V1 and every α∈F it is true that

(*) T(x+αy)=T(x)+αT(y)

T is not a linear transformation if there are some x,y,α        such that (*) is not true.

In addition to the definition of linear map that Tomer remind you, here are two examples.

For instance, f(x,y)=x2y is not a linear map f:R2⟶R because

f(2x,2y)=4x22y≠2x2y=2f(x,y) .

More generally, the linear maps f:Rm⟶Rn are necessarily of the form

f(x1,…,xm)=(a11x1+⋯+am1xm,…,a1nx1+⋯+amnxm)

with aij constant coefficients.

So, two more examples:

1. f(x,y)=x+2y is a linear map.
2. f(x,y,z)=3x+1 is a non-linear map

6. Positive definite

意思即正定。多用在表示正定矩阵的场景下。

7. Non-trivial

这个英文单词在很多机器学习以及数学有关的论文中出现过，在Wikipedia中的一段论述我觉得很精巧地解释清楚了这个概念：nontrivial is commonly used by engineers and mathematicians to indicate a statement or theorem that is not obvious or easy to prove。http://www.answers.com/topic/nontrivial对于这个词的解释是Nontrivial is a favorite word among programmers and computer people for describing any task that is not quick and easy to accomplish. It may mean "extremely" difficult and time consuming。

而Non-trivial在数学上还有一层意思，意思是涉及到0的意思。请看解释：A  solution or example that is not  trivial. Often, solutions or examples involving the number  zero are considered trivial. Nonzero solutions or examples are considered nontrivial.

For example, the equation x + 5y = 0 has the trivial solution (0, 0). Nontrivial solutions include (5, –1) and (–2, 0.4).

8. Hyperplane

Hyperplane这个单词经常出现在机器学习中，尤其当要对线性可分数据进行分类的时候，要真正定义其含义其实是有点复杂的。在这里，我们只对超平面做简要不深入地了解和定义。定义来自中文维基百科：

在数学中，超平面是  维欧氏空间中余维度等于一的线性子空间。这是平面中的直线、空间中的平面之推广。

设  为域（为初等起见，可考虑 ）。n 维空间  中的超平面是由方程

定义的子集，其中  是不全为零的常数。

9. 独立同分布假设