实验设计和结果分析经验总结

听了一位实战派博士的关于实验设计和结果分析的分享，记录一下。属于方法论，具体还得自己去悟，去实践操作才能真正体会精髓。

一、分析现有方法的结果及缺点

1.1 为什么要分析现有方法？

• 可以找到最需要解决的问题，发现新方向
• 找到真正的问题，而不是空想的问题
• 用统计数据来佐证问题的严重性
• 创新性更强

1.2 如何分析？

人工分析、自动分析、Case study等等

• 关注最为严重和实际的问题（抓主要矛盾）
• 与先前的分析角度不同（举例：原先方法的角度是 NMT存在漏翻问题， 现：哪类单词容易漏翻）
• 抽象出共性的科学问题

二、如何改进

2.1 原因假设和猜测

几个原则：

• 对现有的方法有较为深刻的理解
• 合情合理
• 尽可能简单明了

2.2 模型设计

• 具体问题具体分析
• 从易到难（先用最简单的方法验证、再试复杂模型）
• 了解基本的解决手段或方法（如多任务学习、强化学习、迁移学习等）
• 对所提方法的创新性和有效性要有预判（即快速验证想法的有效性）

2.3 实验设计

• 主要实验： 公开测试集，公用的指标
• 辅助实验：模型中不同模块的影响、超参数的影响、主要修正的错误类型、不同数据集的效果