语言模型主流

词向量模型
bert4keras	字级	bert4keras 文档中心 bert4keras/examples at master · bojone/bert4keras · GitHub mirrors / bojone / bert4keras · GitCode GitHub - bojone/bert4keras: keras implement of transformers for humans bert4keras、transformers 加载预训练bert模型、句向量cls，字向量提取；tokenizer使用_loong_XL的博客-CSDN博客
bert-wwm	词级，目前向量表示最为准确的语言模型	GitHub - ymcui/Chinese-BERT-wwm: Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型） 面向中文的BERT预训练模型 - 知乎 wwmbert GitHub - ymcui/Chinese-BERT-wwm: Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型） GitHub - ShenDezhou/Chinese-PreTrained-BERT: We released BERT-wwm, a Chinese pre-training model based on Whole Word Masking technology, and models closely related to this technology. 我们发布了基于全词遮罩（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及与此技术密切相关的模型
Alpaca		GitHub - ymcui/Chinese-LLaMA-Alpaca: 中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs) mirrors / ymcui / chinese-llama-alpaca · GitCode 【LLM】Windows本地CPU部署民间版中文羊驼模型（Chinese-LLaMA-Alpaca）踩坑记录_提笔忘字的帝国的博客-CSDN博客 【五一创作】跑alpaca-lora语言模型的常见问题（心得）_如果皮卡会coding的博客-CSDN博客 Gpt进阶（二）:训练部署自己的ChatGPT模型(羊驼 Alpaca-LoRA） - 知乎
sentence_transformers		5分钟 NLP系列 — SentenceTransformers 库介绍_sentence_transformers_deephub的博客-CSDN博客
roBERTa		GitHub - brightmart/roberta_zh: RoBERTa中文预训练模型: RoBERTa for Chinese 使用PaddleNLP识别垃圾邮件（四）：用RoBERTa做中文邮件标题分类 - 飞桨AI Studio
bert4vec		GitHub - zejunwang1/bert4vec: 一个基于预训练的句向量生成工具 可以生成相似句子对：GitHub - ZhuiyiTechnology/pretrained-models: Open Language Pre-trained Model Zoo
hugging face		Models - Hugging Face hugging face 模型库的使用及加载 Bert 预训练模型_IT__learning的博客-CSDN博客
	huggingfacehub 模型使用	# 使用方式一：指定模型名字 ,这种方式不需要下载预训练模型，函数调用过程中如果发现没有这个模型就会自动下载 from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained(“nghuyong/ernie-1.0”) model = AutoModel.from_pretrained(“nghuyong/ernie-1.0”) # 使用方式二：指定路径,这种方式需要先下载好预训练模型的文件 from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained(“/home/models/huggingface/gpt2”) model = AutoModel.from_pretrained(“/home/models/huggingface/gpt2”)
transformers		pipeline有问答模板Bert 输出及例子_bert输出_桃汽宝的博客-CSDN博客https://blog.csdn.net/weixin_44317740/article/details/113248250?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-1-113248250-blog-121080763.235%5Ev36%5Epc_relevant_anti_vip&spm=1001.2101.3001.4242.2&utm_relevant_index=4