NLP小项目--emojify(一)

 起因

    前段时间完成了吴恩达的深度学习第五专题序列模型,里面一些作业都很有意思,包括这个Emojify,根据你输入的话语判断你话语的含义,并且用一个表情来表示,并且把表情放在语句后,这样就可以实现说话时自动添加最贴切的表情。


      具体参考我的Github,那是一个keras版本的实现,也是Coursera作业使用的框架,我稍稍改编了一下,

里面有些实现的效果以及模型的结构,这里就不多说了,代码也很简单,容易理解。

   本来这么简单感觉没必要写个博客,但是正好用pytorch复现一遍,此间遇到一些问题,所以我打算好好讲解一番。
我将会从制作自己的数据集开始,把这个问题扩展,分成两三篇博文,按流程介绍我的实现历程。

    这里我不由不说,要看你的框架掌握的怎么样,其实就是看你官方文档看的怎么样,更重要的是,你的官方源码看的怎么样,所以这几篇博文我会嵌入一些官方源码和官方文档的内容,详细讲解如何利用它们解决自己的问题,因为当你编程的时候你会发现,遇到问题百度是没什么用的,google也不是什么问题都有的。


    通过源码,你也会发现各种教程里都不太可能说到的东西。成功运行官方教程里给出的mnist程序,并不是你就会了这个框架,甚至连入门都说不上!一定要通读文档和源码!!

制作数据集

这第一篇博文我主要就想讲解一下如何在pytorch框架中制作自己的数据集,这里不得不说,源码大法好。这里的制作数据集不是收集数据并且做成对应格式,而是已经有数据了,怎么装载到dataset里,看完博文你就了解了。

emojify数据集构造

      首先介绍一下emojify的数据集是什么样子的,其实我建议你去上面我给出的我的github上看一下,上面的介绍很清楚。这里就简单说一下,这个数据集还是很简单的,每一个traindata就是一句话,string类型,标签就是0-4五个整形的值,代表五个表情(emoji)。testdata也一样,但是我把所有的testdata和traindata都合在一起了,稍微增大训练集,提升泛化效果,测试我们只需要手动输入一些我们想说的话就好了,这个项目中测试集并不是很重要。

       所以最后的训练数据就是188个样本,但是为了batchsize好选,我删了8个样本,变成180个样本,存在一个csv文件中。csv文件的读取相信不用我多说,pandas和csv模块都可以轻松读取。


直接加载数据

     其实我们可以读取数据,然后保存在列表里,然后用np.random.shuffle打乱一下,大不了再写一个get_batch函数获取批样本,就像下面一样:
   
 def get_batchs(X,Y,batchsize = 3,batchnum = 0):
        if (batchnum*batchsize+batchsize) >= X.shape[0]:
            bx = X[batchnum * batchsize:]
            by = Y[batchnum * batchsize:]
        else:
            bx = X[batchnum * batchsize:(batchnum * batchsize + batchsize)]
            by = Y[batchnum * batchsize:(batchnum * batchsize + batchsize)]
        return np.array(bx),np.array(by)

       就可以在每个step时候调用一下,就可以输入数据了,那么为什么还要制作数据集呢?
 因为简单的数据集自然没有必要的,这样处理足够了,但是复杂的比较庞大的数据集呢?一点就是这样写是把所有的数据都加载进来,因此需要大量的内存,第二是要实现更加复杂的操作比较麻烦,又要添加更多的代码,比如多线程读取数据等等。更重要的是,数据集都不会制作, 如何说掌握了pytorch。
 

自定义数据集 

 回忆一下,你是怎么用pytorch实现mnist分类的,具体一点,如何加载mnist数据集的。你是直接用了torchvision.datasets.MNIST,而且可以指定一些参数,比如是否从云端下载数据集,对数据采用怎么样的变换等等,然后调用 Data.DataLoader,可以让数据集可迭代,并且可以shffule,指定batchsize等等,然后训练时就可以直接调用了,测试集也一样处理,是不是很方便。那么我们也可以这样吗?
 
   答案是肯定的。如果是图片数据集,你想做一个分类的话,直接用datasets的ImageFolder函数就可以了,只需要注意文件和文件夹的格式就行了。那么这里的emojify数据集呢?这里就要上源码了,我们先看官方源码的mnist是如何编写的,这里完全是我自己摸索的,然后发现没什么大问题,所以拿出来说一下。源码在哪看呢?github搜索vision和pytorch,分别是两部分的源码。
 class MNIST(data.Dataset):
    urls = [
        'http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz',
        'http://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz',
        'http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz',
        'http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz',
    ]
    raw_folder = 'raw'
    processed_folder = 'processed'
    training_file = 'training.pt'
    test_file = 'test.pt'
    def __init__(self, root, train=True, transform=None, target_transform=None, download=False):
        self.root = os.path.expanduser(root)
        self.transform = transform
        self.target_transform = target_transform
        self.train = train  # training set or test set


        if download:
            self.download()
        if not self._check_exists():
            raise RuntimeError('Dataset not found.' +
                               ' You can use download=True to download it')
        if self.train:
            self.train_data, self.train_labels = torch.load(
                os.path.join(self.root, self.processed_folder, self.training_file))
        else:
            self.test_data, self.test_labels = torch.load(
                os.path.join(self.root, self.processed_folder, self.test_file))


    def __getitem__(self, index):
        img = Image.fromarray(img.numpy(), mode='L')


        if self.transform is not None:
            img = self.transform(img)


        if self.target_transform is not None:
            target = self.target_transform(target)


        return img, target


    def __len__(self):
        if self.train:
            return len(self.train_data)
        else:
            return len(self.test_data)


    def _check_exists(self):
        return os.path.exists(os.path.join(self.root, self.processed_folder, self.training_file)) and \
            os.path.exists(os.path.join(self.root, self.processed_folder, self.test_file))


    def download(self):
        pass
      上面是主要代码,download被我删了,这里也不需要,接下来我们直接进行修改,怎么改呢,首先看__init__方法,赋值部分 都不怎么需要改,虽然本例中几个都用不到,download不需要,所以上面可以直接改成pass,然后把下面的实现删去,
 train肯定是True,因为没有测试集,所以else的部分就pass,if self.train:的部分就读取我们的csv数据就好了,这里string的数据要换成index,我一开始没有,直接加载数据,然后出错,查看源码发现,因为数据会在源码里帮你转化成torch的Tensor,
 而torch里没有string的Tensor的,所以要变换成词汇表里的索引。_check_exists也不需要,删去,__len__里面train的值改成我们的样本数180,测试集没有,就是0喽。这样就剩__getitem__了,顾名思义,就是获取item的值,官方在这个函数下标注
 tuple: (image, target) where target is index of the target class,也就是获取index索引的数据,这也很简单。整理一下,改成如下:
 class emojiDataset(Data.Dataset):
    def __init__(self, root, train=True, transform=None, target_transform=None, download=False):
        self.root = root
        self.transform = transform
        self.target_transform = target_transform
        self.train = train
        if download:
            pass
        if self.train:
            traindata,trainlabels = read_csv(os.path.join(self.root,'mytrain.csv'))
            self.train_data = sentences_to_indices(traindata, word_to_index, 10)
            self.train_labels = trainlabels
            # self.train_labels = convert_to_one_hot(trainlabels, C=5)
        else:
            pass
    def __getitem__(self, index):
        if self.train:
            data, target = self.train_data[index], self.train_labels[index]
        else:
            pass
        if self.transform is not None:
            pass
        if self.target_transform is not None:
            pass
        return data, target
    def __len__(self):
        if self.train:
            return 180
        else:
            return 0

   可以看到,其实没怎么修改,然后iter一下,print(next(iter))测试,发现没有任何问题,就是这么简单。
注意到这个问题比较简单,所以很多函数都是pass,你当然可以自由编写,适应你的项目要求。
 
   实例化一下,用dataloader试一下,看看是不是也可以,结果自然是可以的。

 结论

  这样数据集的准备就ok了,剩下就是定义模型和训练了,将在下一篇介绍。

你可能感兴趣的:(自然语言处理)