[nlp] 数据并行 & 模型并行

数据并行

数据并行 DP

模型并行有2种:pipeline并行,张量并行

模型并行——pipeline并行

        把不同的layer 放到不同的 gpu

        model.parallelize()

模型并行——张量并行

        把同一个 layer 切分到不同的gpu 上

你可能感兴趣的:(nlp,自然语言处理,人工智能)