语料

ChatGPT的总体技术路线

采用自然语言处理+搜索引擎集成的架构，构建GPT3.5+大型语言模型（LLM）+强化学习微调训练模型（RLHF），通过连接大量的语料库，在效果强大、基于自注意力机制的GPT3.5架构的大型语言模型（LLM
AIGC方案·2023-12-04 07:55

tfidf和word2vec构建文本词向量并做文本聚类

一、相关方法原理1、tfidftfidf算法是一种用于文本挖掘、特征词提取等领域的因子加权技术，其原理是某一词语的重要性随着该词在文件中出现的频率增加，同时随着该词在语料库中出现的频率成反比下降，即可以根据字词的在文本中出现的次数和在整个语料中出现的文档频率
饕餮&化骨龙·2023-12-04 05:33

基于word2vec使用wiki中文语料库实现词向量训练模型--2019最新

目录一、数据获取二、将xml格式数据转为txt三、繁体转为简体方法1---自己使用opencc库手动了1个转换程序，pipinstallopencc进行安装方法2---网上有一个exe应用程序进行转换，详情见：https://bintray.com/package/files/byvoid/opencc/OpenCC四、分词五、Word2Vec模型训练六、Word2Vec模型检测一、数据获取使用的
锅巴QAQ·2023-12-04 05:31

面向自然语言处理任务的预训练模型综述

在自然语言处理（NLP）任务中，随着文本表征技术从词级上升到了文档级，利用大规模语料库进行无监督预训练的方式已被证明能够有效提高模型在下游任务中的性能。
龙腾亚太·2023-12-04 02:10

LLM；超越记忆《第 2 部分 》

在第1部分中，我介绍了LLM如何通过具有语言多样性的更大语料库进行泛化的复杂性。要详细了解LLM的工作原理，您可以在此处找到全面的博客：GPT背后
无水先生·2023-12-03 20:30

复旦中文文本分类语料库

链接:https://pan.baidu.com/s/1833mT2rhL6gBMlM0KnmyKg密码:zyxa转自：https://download.csdn.net/download/u013952285/10323087他在简介中有提到这个下载地址
haoweii·2023-12-03 09:41

2019河南语文真题简析

辛老师析2019年河南语文中考真题2019年河南省中考语文题型、分值、题量、难度系数等基本不变，文字阅读量基本不变；在不变中也有创新，如通过选用新语料，创设情境，考查考生的基础知识以及语言文字的实际运用能力
一身书生气·2023-12-02 13:28

吴恩达《ChatGPT Prompt Engineering for Developers》学习笔记

基于语料的限制，有时会返回不符合预期的结果（如上图所示）。指令微调LLM基于
stay_foolish12·2023-12-02 02:50

（学习笔记）通过OLAMI平台语音控制unity游戏

1.grammar：即语法，用OSL描述自然语言的形式，用来匹配语料，“[]”语法规则符号表示方括号中的内容是可选的；“|”表示“或是”的关系，左右两边的内容可以二选一，例如[你|您]表示“你”或是“您
林杪·2023-12-01 03:44

什么是GPT模型,GPT下载和国内镜像

什么是GPT模型，GPT模型是通过预训练的方式，采用无监督学习方式，大量语料输入，经过多次训练后得到模型。
denzel1234·2023-12-01 02:23

人民日报》公考申论面试热点素材选编16（2022年8月25日）

参考语料推动乡村振兴，必须加强农村基层党组织建设，通过基层党组织把广大农民群众凝聚起来，形成强大合力。产业振兴是乡村振兴的重中之重，也是畅通城乡要素循环、促进城乡融合发展的重要内容。
47fed7735c2d·2023-12-01 01:17

python TF-IDF，LDA ，DBSCAN算法观影用户的电影推荐聚类分析

项目源码：https://download.csdn.net/download/qq_38735017/874252571.1语料库的建立进行语料处理时我们会遇到的主要问题之一就是如何将大的数据集读入内存当中然后进行相应的处理
一枚爱吃大蒜的程序员·2023-12-01 01:08

关于雅思复习

对应的练习方法为听写王陆雅思语料库。先把基础弄扎实再通过网课学习各个题型的解题方法，再通过做题练习，发现
王不谏·2023-11-30 22:26

强调句学习语料高考英语备考2018-12-25

高考英语强调句学习强调句学习语料高考英语备考1.ItwaswhenwewerereturninghomethatIrealizedwhatagoodfeelingitwastohavehelpedsomeoneintrouble
Englishcore·2023-11-30 02:08

Nat. Mach. Intell. | 预测人工智能的未来：在指数级增长的知识网络中使用基于机器学习的链接预测

科学文献的语料库以越来越快的速度增长。特别是在人工智能（AI）和机器学习（ML）
DrugAI·2023-11-30 01:38

【数据预处理】TIMIT语料库WAV文件转换

1问题描述这两天复现代码。先构造数据集，纯净语音、不同噪声、不同SNR的混合语音。其中纯净语音由两部分组成，IEEEcorpus和TIMIT。一开始我用MATLAB中的audioread读取音频文件，合成后用audiowrite保存下来。没有任何问题。后来，师姐让我换成python处理，不管是wave还是scipy.io中的wavfile，在读取TIMIT的原始WAV时都会报错。stackover
weixin_30307267·2023-11-29 21:23

GPT还远远不是真正的智能

它只是根据已有的语料库生成文本，而没有真正的理解和认知能力。因此，虽然GPT在某些任务上表现出强大的性能，但它仍然无法达到人类智能的水平。GPT（GenerativePre-trainedT
人机与认知实验室·2023-11-29 17:51

GPT是什么？

它由OpenAI开发，使用了Transformer架构，并在大规模语料库上进行了预训练，以便能够更好地生成自然语言文本。GPT模型可以用于各种自然语言处理任务，如文本生成、文本分类、问答系统等。
王摇摆·2023-11-29 15:25

Lhotse 音频库管理音频数据集

3.为常用的语料库提供标准的数据准备方案。4.为与语音和音频相关的任
mingqian_chu·2023-11-29 07:44

【NLP】调研|医疗领域预训练语言模型设计方法

1继续预训练BioBERT通过BERT初始化权重，基于生物医学领域语料库进行继续预训练；BlueBERT通过BERT初始化权重，基于PubMed摘要和MIMIC-III
风度78·2023-11-28 10:36

PubMedBERT:生物医学自然语言处理领域的特定预训练模型

所以说在特定的领域或者需求中，大语言模型并不一定就是最优的解决方案，“小”模型也有一定的用武之地，所以今天我们来介绍PubMedBERT，它使用特定领域语料库从头开始预训练BERT，这是微软研究院2022
deephub·2023-11-28 10:01

pandas 将DataFrame 转为txt文本，用以预训练，去除引号问题

由于需要训练gloveembedding，需要自己创建语料库用以训练，我是用pandas读取处理的，需要保存为.txt文件给模型训练。
Wisley.Wang·2023-11-27 17:15

【腾讯云云上实验室】向量数据库+LangChain+LLM搭建智慧辅导系统实践

目录一、搭建智慧辅导系统——向量数据库实践指南1.1、创建向量数据库并新建集合1.2、使用TKE快速部署ChatGLM1.3、部署LangChain+PyPDF+VectorDB等组件1.4、配置知识库语料
中杯可乐多加冰·2023-11-27 11:40

UCAS - AI学院 - 自然语言处理专项课 - 第12讲 - 课程笔记

文本分类与聚类文本分类文本——领域信息分类传统机器学习方法文本表示向量空间模型——BoW模型词的权重词频TF布尔变量逆文档频率IDFTF-IDF特征选择文档频率：根据训练语料中的文档频率，对所有特征进行排序词频
支锦铭·2023-11-27 00:08

UCAS - AI学院 - 自然语言处理专项课 - 第5讲 - 课程笔记

元文法参数估计数据平滑方法语言模型自适应应用神经语言模型背景前馈神经网络语言模型循环神经网络语言模型自我注意力机制语言模型应用文本表示模型背景向量空间模型表示学习模型词语的表示学习短语的表示学习句子的表示学习文档的表示学习动态的表示学习语言模型传统语言模型n元文法统计方法于语料库语言学的应用发现语言使用的普遍规律通过机器
支锦铭·2023-11-27 00:38

UCAS - AI学院 - 自然语言处理专项课 - 第4讲 - 课程笔记

UCAS-AI学院-自然语言处理专项课-第4讲-课程笔记语料库与语言知识库语料库基本概念语料库技术的发展语料库类型典型语料库介绍问题与现状语言知识库WordNet知网HowNet概念层次网络知识图谱语料库与语言知识库语料库基本概念语言数据库
支锦铭·2023-11-27 00:07

【原创】理解ChatGPT之注意力机制和Transformer入门

ChatGPT之机器学习入门【原创】AIGC之ChatGPT高级使用技巧GPT是什么意思GPT的全称是GenerativePre-trainedTransformer（生成型预训练变换模型），它是基于大量语料数据上训练
黑夜路人·2023-11-26 09:14

维基百科文章爬虫和聚类【二】：KMeans

其次，语料库对象处理完整的文章集，允许方便地访问单个文件，并提供全局数据，例
无水先生·2023-11-25 15:35

Python实现全角与半角相互转换

全角与半角转换在处理汉语语料中会经常出现，这里分别说明汉字、数字、字母的unicode编码范围。以及全角与半角的转换方法。最后给出wiki上全角和半角的编码对照表。
huanghaocs·2023-11-25 10:15

2022最新版-李宏毅机器学习深度学习课程-P51 BERT的各种变体

但是CoVe需要大量的翻译对，这是不容易获得的，能不能通过一大段没有标注的语料进行预训练呢？因为有监督的标注是十分费时费力的，因此采用自监督的方法。即给定一个无标签的语料
QwQllly·2023-11-24 19:16

如何利用人工智能技术提高收益：以女网红AI恋爱为例

该机器人通过深度学习算法,学习了大量人与人之间的对话语料,能够自然地进行多轮对话。同时,机器人还会根据用户的信息,学习他们的兴趣爱好、话题喜好等,从而更个性化地与每个用户互动。其次,通过打标签等技术手
猫之角·2023-11-24 14:27

TF-IDF具体算法和原理

TF-IDF算法相关概念信息检索(IR)中最常用的一种文本关键信息表示法基本信息：如果某个词在一篇文档中出现的频率高，并且在语料库中其它词库中其他文档中很少出现，则认为这个词具有很好的类别区分能力。
lishuaics·2023-11-24 06:56

Gensim

官网基本概念语料Corpus向量Vector稀疏向量SparseVector模型Model安装安装环境Ubuntu18.04Anaconda3-5.3.1!pipinstallgensim!
喝醉酒的小白·2023-11-24 06:25

开源中文大语言模型整理列表

LLM通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海
yonghuming_123·2023-11-23 19:51

GPT自然语言处理模型

GPT的主要优点是它可以在大规模的语料库上进行预训练，从而学习到丰富的语言知识和模式。这使得它在各种自然语言处理任务中表现出色，尤其是在生成文本方面。GPT可
Nefelibata莫奈·2023-11-23 19:49

自然语言处理评价指标

训练好的模型，上线之前要对模型进行必要的评估，目的让模型对语料具备较好的泛化能力。具体有以下这些指标可以参考。1.错误率、精度、准确率、精确度、召回率、F1衡量。
天一生水water·2023-11-23 19:14

query correction

https://web.stanford.edu/class/cs276/pa/pa2.pdf语料：lmcorpus：99,904documentsquerycorpus：819,722编辑距离最多为1Levenshteinautomaton
水星no1·2023-11-23 15:48

使用 Lhotse 高效管理音频数据集

3.为常用的语料库提供标准的数据准备方案。4.为与语音和音频相关的任务提供PyTorch数据集类。5.通过音频剪辑的概念实现模型训练中
希尔贝壳AISHELL·2023-11-23 08:02

基于Bagging集成学习方法的情绪分类预测模型研究（文末送书）

如果文章对你有帮助的话，欢迎评论点赞收藏加关注+目录1.项目背景2.数据集介绍3.技术工具4.实验过程4.1导入数据4.2数据预处理4.3分词处理4.4词云可视化4.5构建语料库4.6词向量化4.7构建模型
艾派森·2023-11-23 01:58

python的random模块常用方法讲解--大全

目的长期做NLP研究，经常需将语料处理成特殊的格式，这个模块经常用到，每次都要去查。。。。。
UESTC_20172222·2023-11-22 10:53

雅思学习阶段性反思

首要解决必拿分题，S1的简单部分；其次攻破语料库95%大关；最后对S2/S3的预判要足够熟悉。拿分题的解决关键在于第八章的练习语料库的关键在于每周的
关耳君524·2023-11-22 06:57

Glove词向量

这种方法首先对语料进行统计分析，并获得含有全局统计信息的“词-上下文”共现矩阵，然后在利用奇异值分解的方法对该矩阵进行降维，进而得到词的低维表示。然而，传统的矩阵分解方法得到的词向
makelope·2023-11-20 23:09

《向量数据库指南》——TruLens + Milvus Cloud构建RAG深入了解性能

索引类型对较大语料库可能更重要。
LCHub低代码社区·2023-11-19 10:20

大模型之十二十-中英双语开源大语言模型选型

当前（2023年11月17日)开源的大语言模型如下：模型所属公司发布时间开放模型许可词表大小语料Huggingface下载量模型结构位置编码激活函数隐变量维度dimension自注意力头的个数nheads
shichaog·2023-11-19 03:06

HMM与LTP词性标注之LTP介绍

文章目录LTP牛刀小试上图缺点：参数太多，中文语料库匮乏注意力机制，相当于给每一个词赋予一个权重，权重越大的越重要。bert的缺点：神经元太多，较慢。
赵孝正·2023-11-18 23:28

开源 LLM （大语言模型）整理（一）

LLM通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。这些模
u013250861·2023-11-18 22:09

开源大语言模型完整列表

LLM通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。
ejinxian·2023-11-18 22:02

【资源共享】分享3个免费ChatGPT国内AI软件，请及时收藏！

很多小伙伴应该都听说过，其不仅在自然语言处理领域取得了巨大的成就，并且被广泛用于各种应用领域：精准的自然语言处理能力：ChatGPT模型使用了大规模的预训练语料库进行训练，具有极强的自然语言处理能力。
码农耕地人~go·2023-11-17 12:19

NLP-分词器：SentencePiece【参考Chinese-LLaMA-Alpaca在通用中文语料上训练的20K中文词表并与原版LLaMA模型的32K词表进行合并的代码】

背景随着ChatGPT迅速出圈，最近几个月开源的大模型也是遍地开花。目前，开源的大语言模型主要有三大类：ChatGLM衍生的大模型（wenda、ChatSQL等）、LLaMA衍生的大模型（Alpaca、Vicuna、BELLE、Phoenix、Chimera等）、Bloom衍生的大模型（Bloomz、BELLE、Phoenix等）。其中，ChatGLM-6B主要以中英双语进行训练，LLaMA主要以
u013250861·2023-11-16 17:00

日志：实现微信公众号自动问答机器人(待整理)

已有实践基础可以在Win10系统、anaconda3下跑起来自动问答程序，并且用自己的语料库问题分析和思路系统的数据流图如下：操作步骤服务器环境搭建桌面环境&原程连接putty日志1、第一次打开putty
草木灰的学习笔记·2023-11-16 15:11
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他