【argparse基本用法】及【jupyter中使用 args = parser.parse_args()并传参】

主要是对该项目dgl/examples/pytorch/metapath2vec at master · dmlc/dgl · GitHub中代码的理解。

对于metapath2vec.py文件内容：

import torch
import argparse
import torch.optim as optim
from torch.utils.data import DataLoader

from tqdm import tqdm

from reading_data import DataReader, Metapath2vecDataset
from model import SkipGramModel
from download import AminerDataset, CustomDataset


class Metapath2VecTrainer:
    def __init__(self, args):
        if args.aminer:
            dataset = AminerDataset(args.path)
        else:
            dataset = CustomDataset(args.path)
        self.data = DataReader(dataset, args.min_count, args.care_type)
        dataset = Metapath2vecDataset(self.data, args.window_size)
        self.dataloader = DataLoader(dataset, batch_size=args.batch_size,
                                     shuffle=True, num_workers=args.num_workers, collate_fn=dataset.collate)

        self.output_file_name = args.output_file
        self.emb_size = len(self.data.word2id)
        self.emb_dimension = args.dim
        self.batch_size = args.batch_size
        self.iterations = args.iterations
        self.initial_lr = args.initial_lr
        self.skip_gram_model = SkipGramModel(self.emb_size, self.emb_dimension)

        self.use_cuda = torch.cuda.is_available()
        self.device = torch.device("cuda" if self.use_cuda else "cpu")
        if self.use_cuda:
            self.skip_gram_model.cuda()

    def train(self):

        optimizer = optim.SparseAdam(list(self.skip_gram_model.parameters()), lr=self.initial_lr)
        scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, len(self.dataloader))

        for iteration in range(self.iterations):
            print("\n\n\nIteration: " + str(iteration + 1))
            running_loss = 0.0
            for i, sample_batched in enumerate(tqdm(self.dataloader)):

                if len(sample_batched[0]) > 1:
                    pos_u = sample_batched[0].to(self.device)
                    pos_v = sample_batched[1].to(self.device)
                    neg_v = sample_batched[2].to(self.device)

                    scheduler.step()
                    optimizer.zero_grad()
                    loss = self.skip_gram_model.forward(pos_u, pos_v, neg_v)
                    loss.backward()
                    optimizer.step()

                    running_loss = running_loss * 0.9 + loss.item() * 0.1
                    if i > 0 and i % 500 == 0:
                        print(" Loss: " + str(running_loss))

        self.skip_gram_model.save_embedding(self.data.id2word, self.output_file_name)


if __name__ == '__main__':
    parser = argparse.ArgumentParser(description="Metapath2vec")
    #parser.add_argument('--input_file', type=str, help="input_file")
    parser.add_argument('--aminer', action='store_true', help='Use AMiner dataset')
    parser.add_argument('--path', type=str, help="input_path")
    parser.add_argument('--output_file', type=str, help='output_file')
    parser.add_argument('--dim', default=128, type=int, help="embedding dimensions")
    parser.add_argument('--window_size', default=7, type=int, help="context window size")
    parser.add_argument('--iterations', default=5, type=int, help="iterations")
    parser.add_argument('--batch_size', default=50, type=int, help="batch size")
    parser.add_argument('--care_type', default=0, type=int, help="if 1, heterogeneous negative sampling, else normal negative sampling")
    parser.add_argument('--initial_lr', default=0.025, type=float, help="learning rate")
    parser.add_argument('--min_count', default=5, type=int, help="min count")
    parser.add_argument('--num_workers', default=16, type=int, help="number of workers")
    args = parser.parse_args()
    m2v = Metapath2VecTrainer(args)
    m2v.train()

1. 基本用法

main函数部分，主要用到 argparse --- 命令行选项、参数和子命令解析器 — Python 3.8.13 文档

使用 argparse 的第一步是创建一个 ArgumentParser 对象：

parser = argparse.ArgumentParser(description="Metapath2vec")

之后，给一个 ArgumentParser 添加程序参数信息是通过调用 add_argument() 方法完成的：

• prog - 程序的名称（默认值：sys.argv[0]）

• usage - 描述程序用途的字符串（默认值：从添加到解析器的参数生成）

• description - 在参数帮助文档之前显示的文本（默认值：无）

• epilog - 在参数帮助文档之后显示的文本（默认值：无）

• parents - 一个 ArgumentParser 对象的列表，它们的参数也应包含在内

• formatter_class - 用于自定义帮助文档输出格式的类

• prefix_chars - 可选参数的前缀字符集合（默认值： '-'）

• fromfile_prefix_chars - 当需要从文件中读取其他参数时，用于标识文件名的前缀字符集合（默认值： None）

• argument_default - 参数的全局默认值（默认值： None）

• conflict_handler - 解决冲突选项的策略（通常是不必要的）

• add_help - 为解析器添加一个 -h/--help 选项（默认值： True）

• allow_abbrev - 如果缩写是无歧义的，则允许缩写长选项 （默认值：True）

对于action参数：

• 默认情况下，action='store'，可以不用写出来，含义是保存输入的值。
• store_true表示如果配置，值为True，store_false表示如果配置，值为False。

参考文献：

• argparse --- 命令行选项、参数和子命令解析器 — Python 3.8.13 文档
• add_argument函数action参数总结 | Python笔记
• Python3.7 - Argparse模块讲解 - 简书

2. jupyter中使用 args = parser.parse_args()并传参

如果需要在jupyter内部传参，需要传进去一个list，格式为：

['参数1', '参数1取值', '参数2', '参数2取值', '参数3', '参数3取值']

例如：

args = parser.parse_args(['--aminer','--path',"/data1/personal",'--output_file',"/data1/personal/metapath2vec_output"])
print(args)

输出：

 这个确认是通过https://python.iitter.com/other/302175.html中的内容，把其中

import argparse
import configparser

if __name__ == "__main__":
    jupyter = True  # 如果不在jupyter notebook中，就改为False.
    
    parser = argparse.ArgumentParser(description='test')
    parser.add_argument('--batch_size', type=int, default=64)
    parser.add_argument('--num_layers', type=int, default=2)

    arg_list = None
    if jupyter:
        # load from config.ini，如果是用jupyter, 就转换配置为list再传入argparse
        config = configparser.ConfigParser()
        config.read('config.ini')
        # 其实是个字典: 
        # print(config['train']['batch_size'])
        arg_list = []
        for k, v in config['train'].items():
            arg_list.append("--"+k)
            arg_list.append(v)

最后的arg_list打印出来确认的。

参考文献：

• ​​​​​​argparse模块如何在jupyter notebook中用于传参？ - 知乎
• https://python.iitter.com/other/302175.html
• configparser --- 配置文件解析器 — Python 3.8.13 文档