这篇文章是来自AAAI的best paper,目前已经开源在github,这里博主记录一下自己的学习过程。
项目使用pytorch开发,按照readme要求的环境即可,环境没有问题的话基本不需要改动即可完美调试,博主开始时pytorch版本太低,所以导致了很多问题,当然这个调试修改的过程也并非是毫无用处,它可以让我们对项目的理解更加深刻。此外这个项目也有tensorflow版本,大家可以看博主的这篇博文:
Informer学习记录之Informer-Tensorflow版本
思维导图
运行环境
Informer是一个处理时间序列预测的项目,因此不同于那些目标检测等涉及图片的深度学习实验,其对内存,显卡等环境的要求相对较低。
作者的环境
Python 3.6
matplotlib == 3.1.1
numpy == 1.19.4
pandas == 0.25.1
scikit_learn == 0.21.3
torch == 1.8.0
博主的环境
windows 10
NVIDIA GeForce GTX 960M
python 3.6 cuda10.0 cudnn7.4
pytorch==1.1.0
numpy ==1.16.0
pandas == 1.1.5
matplotlib == 3.3.4
scikit_learn == 0.24.2
运行结果

学习重点
学习如何处理数据集于模型如何搭建
我们在获得一个项目源码及论文文档后,可以先不着急取调试这个项目,而是应该仔细去阅读关于项目的介绍,看看他的具体研究方向是否与自己相符合,看看他的研究方法是否可以为我所借鉴,观察其目录结构,并尝试去理解。
在完成这个过程后我们开始源码的学习过程。我们一般需要带着问题去完成这个过程:
数据是什么?数据特征是哪些?标签是哪些?
数据是如何预处理的?数据是如何放入模型开始训练的?
模型是如何搭建的?数据训练完成后得到什么,如何使用?
关于Informer项目的运行原理可以看博主这篇博文:
时间序列预测之为何舍弃LSTM而选择Informer?(Informer模型解读)
整个项目与先前的Tensorflow版本大致相同,但这个pytorch版本的自定义函数较多,因此还是有些许差距的,下面开始我们的学习过程:
文件目录结构

参数含义
parser.add_argument('--model', type=str, default='informer',help='model of experiment, options: [informer, informerstack, informerlight(TBD)]')
parser.add_argument(‘–data’, type=str, default=‘WTH’, help=‘data’)
parser.add_argument(‘–root_path’, type=str, default=‘./data/’, help=‘root path of the data file’)
parser.add_argument(‘–data_path’, type=str, default=‘WTH.csv’, help=‘data file’)
parser.add_argument(‘–features’, type=str, default=‘M’, help=‘forecasting task, options:[M, S, MS]; M:multivariate predict multivariate, S:univariate predict univariate, MS:multivariate predict univariate’)
parser.add_argument(‘–target’, type=str, default=‘OT’, help=‘target feature in S or MS task’)
parser.add_argument(‘–freq’, type=str, default=‘h’, help=‘freq for time features encoding, options:[s:secondly, t:minutely, h:hourly, d:daily, b:business days, w:weekly, m:monthly], you can also use more detailed freq like 15min or 3h’)
parser.add_argument(‘–checkpoints’, type=str, default=‘./checkpoints/’, help=‘location of model checkpoints’)
parser.add_argument(‘–seq_len’, type=int, default=96, help=‘input sequence length of Informer encoder’)
parser.add_argument(‘–label_len’, type=int, default=48, help=‘start token length of Informer decoder’)
parser.add_argument(‘–pred_len’, type=int, default=24, help=‘prediction sequence length’)
parser.add_argument(‘–enc_in’, type=int, default=7, help=‘encoder input size’)
parser.add_argument(‘–dec_in’, type=int, default=7, help=‘decoder input size’)
parser.add_argument(‘–c_out’, type=int, default=7, help=‘output size’)
parser.add_argument(‘–d_model’, type=int, default=512, help=‘dimension of model’)
parser.add_argument(‘–n_heads’, type=int, default=8, help=‘num of heads’)
parser.add_argument(‘–e_layers’, type=int, default=2, help=‘num of encoder layers’)
parser.add_argument(‘–d_layers’, type=int, default=1, help=‘num of decoder layers’)
parser.add_argument(‘–s_layers’, type=str, default=‘3,2,1’, help=‘num of stack encoder layers’)
parser.add_argument(‘–d_ff’, type=int, default=2048, help=‘dimension of fcn’)
parser.add_argument(‘–factor’, type=int, default=5, help=‘probsparse attn factor’)
parser.add_argument(‘–padding’, type=int, default=0, help=‘padding type’)
parser.add_argument(‘–distil’, action=‘store_false’, help=‘whether to use distilling in encoder, using this argument means not using distilling’, default=True)
parser.add_argument(‘–dropout’, type=float, default=0.05, help=‘dropout’)
parser.add_argument(‘–attn’, type=str, default=‘prob’, help=‘attention used in encoder, options:[prob, full]’)
parser.add_argument(‘–embed’, type=str, default=‘timeF’, help=‘time features encoding, options:[timeF, fixed, learned]’)
parser.add_argument(‘–activation’, type=str, default=‘gelu’,help=‘activation’)
parser.add_argument(‘–output_attention’, action=‘store_true’, help=‘whether to output attention in ecoder’)
parser.add_argument(‘–do_predict’, action=‘store_true’, help=‘whether to predict unseen future data’)
parser.add_argument(‘–mix’, action=‘store_false’, help=‘use mix attention in generative decoder’, default=True)
parser.add_argument(‘–cols’, type=str, nargs=‘+’, help=‘certain cols from the data files as the input features’)
parser.add_argument(‘–num_workers’, type=int, default=0, help=‘data loader num workers’)
parser.add_argument(‘–itr’, type=int, default=2, help=‘experiments times’)
parser.add_argument(‘–train_epochs’, type=int, default=6, help=‘train epochs’)
parser.add_argument(‘–batch_size’, type=int, default=32, help=‘batch size of train input data’)
parser.add_argument(‘–patience’, type=int, default=3, help=‘early stopping patience’)
parser.add_argument(‘–learning_rate’, type=float, default=0.0001, help=‘optimizer learning rate’)
parser.add_argument(‘–des’, type=str, default=‘test’,help=‘exp description’)
parser.add_argument(‘–loss’, type=str, default=‘mse’,help=‘loss function’)
parser.add_argument(‘–lradj’, type=str, default=‘type1’,help=‘adjust learning rate’)
parser.add_argument(‘–use_amp’, action=‘store_true’, help=‘use automatic mixed precision training’, default=False)
parser.add_argument(‘–inverse’, action=‘store_true’, help=‘inverse output data’, default=False)
parser.add_argument(‘–use_gpu’, type=bool, default=True, help=‘use gpu’)
parser.add_argument(‘–gpu’, type=int, default=0, help=‘gpu’)
parser.add_argument(‘–use_multi_gpu’, action=‘store_true’, help=‘use multiple gpus’, default=False)
parser.add_argument(‘–devices’, type=str, default=‘0,1,2,3’,help=‘device ids of multile gpus’)
args = parser.parse_args()
args.use_gpu = True if torch.cuda.is_available() and args.use_gpu else False
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99

文章知识点与官方知识档案匹配,可进一步学习相关知识
Python入门技能树首页概览 356388 人正在系统学习中