机器学习资源

exponential family

最近因为工作原因重温了目标检测算法，参考了Focal loss。里边涉及了cross entropy损失函数。这里重温了一下二分类的logistic回归以及多类的softmax loss，但是对于softmax的背景知识一直不是太了解。借着这次机会，好好地挖一下softmax，在本博文中会陆续更新挖到的相关知识点。

PRML中关于softmax的阐述

logistic sigmoid function

首先，书中(2.4)从exp family的角度出发，提出了两种exp family的分布：

• exponential family distribution
  这里不翻译了，直接上原文，顺便发现了一个latex的公式编辑器

  The exponential family of distributions over x, given parameters η, is defined to be the set of distributions of the form
  $$p\left(x|\eta \right)=h\left(x\right)g\left(\eta \right)e^{{\eta }^{T}u\left(x\right)}(2.194)$$

  这里$\eta$叫做该分布的自然参数(natural parameter)，$u(x)$是关于x的函数，$g(\eta )$是归一化系数(normalized coefficient)，对于连续变量x，满足下式
  $$g\left(\eta \right)\int h\left(x\right)e^{{\eta }^{T}u\left(x\right)}dx=1(2.195)$$
  对于离散变量x，满足下式
  $$g\left(\eta \right)\sum h\left(x\right)e^{{\eta }^{T}u\left(x\right)}=1$$
  首先，考虑伯努利分布(Bernoulli distribution)
  $$p\left(x|\mu \right)=Bern\left(x|\mu \right)={\mu }^x{\left(1-\mu \right)}^{1-x}(2.196)$$
  简单的进行公示推导（这里不进行详细的公示推导），可以得到
  KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ p\left ( x|\mu…
  将式2.197整理成2.194的格式，可以得到
  $$\eta =l{n}^{\left(\frac{\mu }{1-\mu }\right)}$$
  以及
  $$\sigma \left(\eta \right)=\frac{1}{1+e^{-\eta }}(2.199)$$
  式2.199就是logistic sigmoid函数。把伯努利概率分布函数改为标准的形式，如下
  $$p\left(x|\eta \right)=\sigma \left(-\eta \right)e^{\eta x}(2.200)$$
  这里，根据式2.199，我们很容易得到$1-\sigma \left(\eta \right)=\sigma \left(-\eta \right)$。相应地，类比式2.194，我们有
  KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ u\left ( x \ri…
  以上，是由伯努利分布得到了sigmoid函数，二者有什么联系尚不得知，如果有谁知道，请补充。。。
  ###softmax function###
  下面说一下softmax函数，在我看来，它就是logistic的一般形式。首先考虑下面的多项式概率分布函数
  $$p\left(x|\mu \right)=\prod _{k=1}^M{\mu }_k^{x^k}=e^{{\sum }_{k=}^M{x}_{k}l{n}^{{\mu }_k}}(2.204)$$
  类似于上边logistic函数，我们把式2.204改成2.194的一般形式，得到式2.205
  $$p\left(x|\eta \right)=e^{{\eta }^{T}x}(2.205)$$
  其中，${\eta }_k=l{n}^{{\mu }^k}$，且满足下面几个条件
  KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ u\left ( x \ri…
  值得注意的是，这里参数${\eta }_k$并不是相互独立的，因为${\mu }_k$满足下式
  $$\sum _{k=1}^M{\mu }_k=1(2.209)$$。
  同时，还有下式成立
  $$0⩽{\mu }_k⩽1,\sum _{k=1}^{M-1}⩽1(2.210)$$
  根据式2.209，式2.204可以改写为以下形式
  KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ e^{\sum_{k=1}^…
  令
  $$l{n}^{\left(\frac{{\mu }_k}{1-{\sum }_{j=1}^{M-1}{\mu }_j}\right)}={\eta }_k(2.212)$$
  我们可以得到${\mu }_k$关于${\eta }_k$的函数
  $${\mu }_k=\frac{e^{{\eta }_k}}{1+{\sum }_{j=1}^M{e}^{{\eta }_j}}(2.213)$$
  上式就是softmax函数，在PRML书中，也称其为normalized exponential。同样地，我们把多项式概率分布函数改写成式2.194的标准形式，有
  $$p\left(x|\eta \right)={\left(1+\sum _{k=1}^{M-1}{e}^{{\eta }_k}\right)}^{-1}{e}^{{\eta }^{T}x}(2.214)$$，其中
  KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ u\left ( x \ri…
  ##softmax loss求导##
  来自quora
  根据ufldl中关于softmax loss函数的定义，有下式成立
  KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ J\left ( \thet…
  对J求$\theta$的偏导，可以得到
  KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ \frac{\partial…
  上式中，显然有${\sum }_{j=1}^{k}1\{y^{\left(i\right)}=j\}=1$成立，所以有
  $$\frac{\partial J\left(\theta \right)}{\partial {\theta }_A}=-\frac{1}{m}\sum _{i=1}^m{x}^{\left(i\right)}\left[\sum _{j=1}^{k}1\{y^{\left(i\right)}=A\}-p\left(y^{\left(i\right)}=A|x^{\left(i\right)};{\theta }_A\right)\right]$$
  这就是ufldl里关于softmax loss的求导详细过程。

双线性插值

链接在这里https://blog.csdn.net/sinat_34474705/article/details/75125520
从公式中可以看出，双线性插值认为灰度值的变化和邻域的长度成正比，距离某个像素点越近，灰度值越接近某个像素点。

Bounding Box Regression

bounding box regression-caffe社区
Bounding Box Encoding and Decoding in Object Detection

其他资源列表

Interpretable Machine Learning: A Guide for Making Black Box Models Explainable

coco数据集

coco2014的json是一个很大的字典,主要包含以下几个单元，‘annotations’, ‘images’, ‘categories’。每个单元是一个list,list的每个单元又是一个字典，形式如下

# 'annotations'的单元
{'segmentation': [[312.29, 562.89, 402.25, 511.48 ...]], 'area': 54652, 'iscrowd': 0, 'image_id', 480023, 'bbox': [116.95, 305.86, 285.3, 266.03], 'category_id': 58, 'id': 86}
# 'images'的单元
{'license': 5, 'file_name': 'COCO_train2014_000000057870.jpg', 'coco_url': 'https://mscoco.org/images/57870', 'height': 480, 'width': 640, 'date_captured': '2013-11-14 16:28:23', ...}
# 'categories'的单元
{'supercategory': 'person', 'id': 1, 'name': 'person'}

coco官方的pythonapi里解析json是这么做的

def createIndex(self):
        # create index
        print('creating index...')
        anns, cats, imgs = {}, {}, {}
        imgToAnns,catToImgs = defaultdict(list),defaultdict(list)
        if 'annotations' in self.dataset:
            for ann in self.dataset['annotations']:
                imgToAnns[ann['image_id']].append(ann) # ann只是1个object的标注信息，一个image_id会有多个ann
                anns[ann['id']] = ann # id是某个object的id，只有1个ann

        if 'images' in self.dataset:
            for img in self.dataset['images']:
                imgs[img['id']] = img

        if 'categories' in self.dataset:
            for cat in self.dataset['categories']:
                cats[cat['id']] = cat

        if 'annotations' in self.dataset and 'categories' in self.dataset:
            for ann in self.dataset['annotations']:
                catToImgs[ann['category_id']].append(ann['image_id'])

        print('index created!')

        # create class members
        self.anns = anns
        self.imgToAnns = imgToAnns
        self.catToImgs = catToImgs
        self.imgs = imgs
        self.cats = cats