从零实现GPT-2，瞎写笑傲江湖外传，金庸直呼内行

使用PyTorch实现GPT-2模型，采用笑傲江湖小说文本训练，究竟小师妹和盈盈情感修罗场结局如何，且听GPT-2娓娓道来...

从零实现GPT-2，瞎写笑傲江湖外传，金庸直呼内行

context = "任盈盈和令狐冲相拥而眠，"
x = torch.tensor([train_dataset.stoi[s] for s in context], dtype=torch.long)[None,...].to(trainer.device)
y = sample(model, x, 2000, temperature=1.0, sample=True, top_k=10)[0]
completion = ''.join([train_dataset.itos[int(i)] for i in y])
print(completion)

任盈盈和令狐冲相拥而眠，踏入了他的怀中，伸手入怀，握住了她手，说道：“盈盈，救出恒山门人之后，我和你立即拜堂成亲，也不必理会甚么父母之命，媒妁之言。我和你退出武林，封剑隐居，从此不问外事，专生儿子。”盈盈初时听他说得一本正经，脸上晕红，心下极喜，听到最后一句话