字节跳动面经 合集

字节跳动AI LAB面经(CV)
字节 算法实习生面经
字节/腾讯算法岗暑期实习面经分享
字节跳动抖音算法实习生面经
20200328字节跳动计算机视觉算法实习生-AI lab
字节跳动算法工程师岗一二三面经

logit函数和sigmoid函数是什么关系？

logit函数和sigmoid函数互为反函数, logisitic 函数就是sigmoid函数。
其中，$logit(p)=ln\frac{p}{1-p}$, $simoid(x)=\frac{1}{1+e^{-x}}$.
在逻辑回归中，假设数据符合伯努利分布，
$$P(Y=1\mid x)=\frac{exp(\omega \cdot x)}{1+exp(\omega \cdot x)}$$
$$P(Y=0\mid x)=\frac{1}{1+exp(\omega \cdot x)}$$

因此可推导出，$logit(p)=\omega \cdot x$.
似然函数为
$$\prod _{i=1}^N{p}^{y_i}\cdot (1-p{)}^{1-y_i}$$
对数似然函数为：
$$L(\omega )=\sum _{i=1}^N{y}_i\cdot log(p)+(1-y_i)\cdot log(1-p)$$
求极大似然估计，$L(\omega )$的极大值，即求$-L(\omega )$的极小值，$-L(\omega )$也就是交叉熵损失函数。
在多分类任务中，假设数据符合多项式分布，使用softmax函数进行回归，，根据极大似然函数可以推导出多酚类任务中的交叉熵函数。

交叉熵损失函数

二分类：
$$L=-(y\cdot log(p)+(1-y)\cdot log(1-p))$$
多分类：
$$L=-\sum _i{y}_{i}log(p_i)$$
其中，$y_i$ 指示变量（0/1），如果该类别与样本的真实类别相同取值为1，否则取值为0.$p_i$表示样本属于i的预测概率。

交叉熵用来描述两个分布的距离， 神经网络训练的目的就是使g(x)逼近p(x)。

交叉熵损失函数

极大似然估计法 和 最小二乘法

极大似然估计与最小二乘法

Adam优化器