深度学习或者机器学习中baseline的指标

首先:baseline就是参照物的意思,然后目前就是有一下几种情况:

(1)看情况,如果复现的实验条件都和原论文一样,这种情况下其实没有必要去复现一遍,使用原论文里的指标就可以,这种情况对应的改低指标,就是学术造假。

(2)另一种情况是,用了baseline的模型,要么因为baseline论文没有给出某些设置的细节,要么因为特殊原因要改动一下实现方法。比如里面某个初始化,或者网络的某个细节做了变化,或者数据集不一样,数据集处理方式不一样。这种情况,低指标很有可能就是复现的结果,只是为了对比提出来的新方法,控制了变量的结果。

(3)你写论文的时候肯定是看过一些新模型了。你在和别人的模型做对比的时候,需要考虑一个数据问题。如果应用场景都一样,都是同样的公开的数据,你可以直接把他们的结果搬过来做基线准确度。另外,你也可以跑一下他们模型,验证一下他们的准确度是否真的有这么高。如果数据有变化的话,可以在新数据上尝试跑别人的模型,用新的预测准确度做基线

然后就是深度学习论文中如何调参数:

问题就在于你使用的是你自己的数据集。

公开的经典数据集的baseline很容易找到,这不用说。或者你的数据集之前有人用过并发表过论文,那就可以直接拿来做baseline。

baseline在论文中就是对比效果用的。比如你用了什么什么方法之后效果比baseline好了多少,说明你的方法有用。例如,你提出了一个新的模型。在这时候要权衡你的输入维度规模和模型参数量,baseline模型要选多个经典的,尽可能少修改核心结构。你可以选resnet,densenet,可以修改一下层数和block数。训练策略方面要一致。例如:你说你的模型比resnet好,结果baseline却把resnet的核心结构改的面目全非,别人都不认可你这个baseline叫resnet,那自然是不行的。

其实,如果你的数据集是私人的,之前没有人用他发表过论文,这baseline完全就是自己选,你就把解决你这个问题的最简单的,最朴素的,最容易理解的,没有其他什么trick的,谁都可以想到的方法来做baseline。例如,我这是一个图像分类的任务,我直接上resnet18训练。

数据集可能不同,但任务的类型很有可能是相同的,找一找点相同任务类型的别的方法。例如图像分类,pix2pix等。

你可能感兴趣的:(深度学习,人工智能)