LLM-2021：GPT-J【GPT-3开源替代品】【EleutherAI 】

GitHub - kingoflolz/mesh-transformer-jax: Model parallel transformers in JAX and Haiku

GPT-J 是一个基于 GPT-3，由 60 亿个参数组成的自然语言处理 AI 模型。该模型在一个 800GB 的开源文本数据集上进行训练，并且能够与类似规模的 GPT-3 模型相媲美

2020 年，微软与 OpenAI 达成了协议，微软将拥有对 GPT-3 源代码的独家访问权，自此 OpenAI 就不像以往一样开放其 GPT-3 AI 模型，而 OpenAI 的 GPT-1 和 GPT-2 仍然是开源项目

为了打破 OpenAI 和微软对自然语言处理 AI 模型的垄断，EleutherAI 的一组研究人员已经对 GPT-J 进行开源。GPT-J 是一套基于 GPT-3 的 AI 模型，其中包含 60 亿条参数。该模