自我监督学习日志

学习日志

10.12

一天学不了一分钟，不知道为什么也就是了
今天一定要学一个小时！

机器学习就是机器帮我们找一个函数
语音辨识，语音，声音讯号 转化为文字
帮我们找一个人类写不出来的复杂函数
类神经网络
输入
一张图片用一个矩阵来表示
输入是一个序列
各式各样的输出
输出是一个数值的任务，叫regression
输出是一个类别，机器选择其中的类别，叫分类classification
机器写一段文字，制图，动漫人脸的生成
怎么用类神经网络制造函数，来制造各式各样的输入输出

https://www.kaggle.com/
机器学习两大类任务
regression
classification
不仅如此，还有 structured learning
机器产生一个有结构的物件，机器创造一件事情

model就是带有未知参数的function
loss是函数，输出为model中的未知参数
输出，假设未知参数为某个值的时候，结果是好还是不好
比对函数预估的结果和真实值的差距，取绝对值
label就是正确的数值
训练资料，已知的准确的数据
每一天的误差都可以得出，最后L代表loss，L越小，代表参数越好

计算估测值和真实值之间差距的方法
MAE
error surface ，2D差值の等高线图

1. Function with Unknown Parameters
2. Define Loss from Training Data
3. Optimization

gradient decent 这个方法
微分值（斜率 ^ _ ^ ）
先看正负，决定未知参数往大了取还是往小了取，才能使得loss更小
再看绝对值大小，决定位置参数改变的跨度
跨度的决定因素
1、斜率，斜率大跨度大，
2、learning rate 自己设定，更大，参数的update量大，学习得更快
机器学习中由自己设定的东西，hyperparameter

loss的function由自己设定，可以是负值

未知参数更新结束，有两种状况，一、自己决定的更新次数上限，二、调整参数刚好得到loss为0

gradient decent 这个方法，会出现local minimal ，我们最好的是global minimal
local minimal是假问题，不是训练network时真正的难题，真正的难题是什么呢？？

发现，YouTube观看人数每七天是一个循环
对模型的修改通常来自于你对这个问题的理解，也就是domain knowledge

feature * weight +bias ===> linear models