Machine Learning week1

Machine Learning definition:

Machine learning is a type of artificial intelligence (AI) that provides computers with the ability to learn without being explicitly programmed. (Ref)

Supervised:有供给的且分好类的数据进行预算，Regression是其中一种（前提：已知分类！）

Unsupervised：由供给的数据和machine learning的算法进行数据分类（前提：未知分类！）

Regression：Output 是连续的

Classification: output需要被分类且是离散分布

IDE： Octave 比用Java等常用语操作平台更简单，有内置算法

Model And Cost Function

-cost function(squared error function)

-Gradient Descent(to minimise,to calculate simultaneously[用最原始值])

optima指的是3D图里的最优位置，可以选择阿尔法为恒定（fixed），optima是来自global optimum里, GRADIENT DESCENT不能保证得到最小的优解，阿尔法的值对gradient descent的覆盖范围没有影响。

“Convex Function”(Linear regression)只有一个local optima；“Batch” gradient descent.

-Linear Algebra

Matrix => row * column Dimension 又row与column的坐标找特别的数（大写），

相加的两个matrix 的dimension要一样

相乘的matrix和vector结果为一vector, linear regression可以construct，for loop可以转换成这个

相乘的两个matrix可以换成两个matrix*vector计算，结果的列数与第二个matrix为准，结果的行数与第一个matrix为准[not commutative]，两个matrix的dimension不能一样。

A＊B＊C ＝> A＊（B＊C）＝（A＊B）＊C

Identity Matrix => I[mn] * A[nn] = A[mm] * I[mn] = A[mn] 

Inverse => A*(1/A) = (1/A)*A = I (No inverse = singular = degenerate)

Transpose => 第N个row变成第N个column, B[ij] = A[ji]

Vector => n*1 Dimension, index指从哪个数开始累积（小写）