2020-02-14

1.线性回归的基本要素

优化函数步骤：(1)初始化模型参数，一般来说使用随机初始化；(2)我们在数据上迭代多次，通过在负梯度方向移动参数来更新每个参数。

2.线性回归模型从零开始的实现

3.softmax回归是一个单层神经网络

4.O=(XWh+bh)Wo+bo=XWhWo+bhWo+bo.     输出层权重参数为WhWoWhWo，偏差参数为bhWo+bo

5.文本预处理通常包括四个步骤：

读入文本；分词；建立字典，将每个词映射到一个唯一的索引（index）；将文本从词的序列转换为索引的序列，方便输入模型

6.分词存在的缺点：(1)标点符号通常可以提供语义信息，但是我们的方法直接将其丢弃了

                                (2)类似“shouldn't", "doesn't"这样的词会被错误地处理

                                (3)类似"Mr.", "Dr."这样的词会被错误地处理

7.一段含有4个词的文本序列的概率    P(w1,w2,w3,w4)=P(w1)P(w2∣w1)P(w3∣w1,w2)P(w4∣w1,w2,w3).