Machine Learning week1


Machine Learning definition:

Machine learning is a type of artificial intelligence (AI) that provides computers with the ability to learn without being explicitly programmed. (Ref)

Supervised:有供给的且分好类的数据进行预算,Regression是其中一种(前提:已知分类!)

Unsupervised:由供给的数据和machine learning的算法进行数据分类(前提:未知分类!)

Regression:Output 是连续的

Classification: output需要被分类且是离散分布

IDE: Octave 比用Java等常用语操作平台更简单,有内置算法


Model And Cost Function

-cost function(squared error function)

-Gradient Descent(to minimise,to calculate simultaneously[用最原始值])

optima指的是3D图里的最优位置,可以选择阿尔法为恒定(fixed),optima是来自global optimum里, GRADIENT DESCENT不能保证得到最小的优解,阿尔法的值对gradient descent的覆盖范围没有影响。

“Convex Function”(Linear regression)只有一个local optima;“Batch” gradient descent.


-Linear Algebra

Matrix => row * column Dimension 又row与column的坐标找特别的数(大写),

相加的两个matrix 的dimension要一样

相乘的matrix和vector结果为一vector, linear regression可以construct,for loop可以转换成这个

相乘的两个matrix可以换成两个matrix*vector计算,结果的列数与第二个matrix为准,结果的行数与第一个matrix为准[not commutative],两个matrix的dimension不能一样。

A*B*C => A*(B*C)=(A*B)*C

Identity Matrix => I[mn] * A[nn] = A[mm] * I[mn] = A[mn] 

Inverse => A*(1/A) = (1/A)*A = I (No inverse = singular = degenerate)

Transpose => 第N个row变成第N个column, B[ij] = A[ji]


Vector => n*1 Dimension, index指从哪个数开始累积(小写)



你可能感兴趣的:(Algorithm)