E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
语料库
机器学习-基于Word2vec搜狐新闻文本分类实验
Word2vec可以根据给定的
语料库
,通过优化后的训练模型快速有效地将一个词语表达成向量形式,为自然语言处理领域的应用研究提供了新的工具。
septnancye
·
2024-01-03 08:24
02学习笔记(随记)
机器学习
word2vec
分类
学习
自然语言处理
GPT降重技术原理与应用
用指令也是一个繁琐的工作,其实可以用训练好的工具:二、GPT降重技术的基本原理GPT降重技术基于自然语言处理(NLP)和深度学习技术,通过训练大量的
语料库
来学习文章的结构、语义和表达方式。
chatgpt001
·
2024-01-03 06:54
智能写作
gpt
大语言模型(LLM)框架及微调 (Fine Tuning)
这些模型通常使用深度学习方法,在巨大的文本
语料库
上进行训练,以学习语言的各种结构、规则和特征。LLM在自然语言处理(NLP)任务中表现出色,如机器翻译、文本生成、问题回答等。
m0_黎明
·
2024-01-03 01:06
语言模型
人工智能
自然语言处理
2022-02-21:NlP处理基本思路
1.获取预料预料是nlp研究的内容,通常使用文本集合作为
语料库
,预料的来源分为3种:(1)已有的预料----积累的文档。(2)下载现有的语料---搜狗语料,人民日报语料等。(3)使用爬虫抓取。
AllTimeStudy
·
2024-01-03 00:07
day4--GPT/GPT2.0
目录GPTGPT训练的两个阶段:GPT的架构图:自注意力机制:GPT-2GPT-2的架构图:GPTGPT训练的两个阶段:第一个阶段是Pre-training阶段,主要利用大型
语料库
完成非监督学习;第二阶段是
呆呆有库
·
2024-01-02 14:13
深度学习
transformer
神经网络
了解自然语言处理NLP-
语料库
和预处理
复杂结构:问答数据集,评论
语料库
。
Algorithm_Engineer_
·
2024-01-01 18:48
自然语言处理
人工智能
GPT-3: Language Models are Few-Shot Learners
GPT-3论文数据集CommonCrawl:文章通过高质量参考
语料库
对CommonCrawl数据集进行了过滤,并通过模糊去重对文档进行去重,且增加了高质量参考
语料库
以增加文本的多样性。
u013308709
·
2023-12-30 06:31
论文
gpt
语言模型
人工智能
GPT翻译水平探究:人工智能的语言艺术
一、GPT翻译水平的现状GPT模型通过大量的
语料库
学习,能够理解和生成多种语言的文本。在翻译方面,GPT模
Blind.894
·
2023-12-29 14:13
gpt
人工智能
搭建简单的GPT聊天机器人
目录第一步进行
语料库
读取、文本预处理,完成data_utls.py第二步进行Seq2Seq模型的构建,完成Seq2Seq.py第三步进行模型参数设置、加载词典和数据、数据准备、GPU设置、构建优化器和损失函数
挽风起苍岚
·
2023-12-29 14:38
gpt
动手做个DialoGPT:生成式多轮对话模型
文|苏剑林编|兔子酱前段时间刷Arixv的时候,发现清华大学开源了一个大规模的中文闲聊
语料库
LCCC,从开源的文件上来看,这可能是目前开源的数量最大、质量最好的闲聊
语料库
了,而且还包含了部分多轮对话聊天
夕小瑶
·
2023-12-29 14:20
nlp
自然语言处理
人工智能
知识图谱
推荐系统
关键词抽取模型
是一种统计方法,用以评估一字词对于一个文件集或一个
语料库
中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数呈正比地增加,但同时也会
士416
·
2023-12-29 14:18
机器学习
关键词
SpaCy 和 Flask API 构建 Python 命名实体自动提取器
因此,数据科学团队将能够在
语料库
中看到所有人员、公司、地点等名称的结构化表示,可作为进一步分析和调查的出发点。在自然语言工具包(NLTK)和SpaCy构建Python命名实体识
亚图跨际
·
2023-12-27 14:52
数据科学
python
flask
spacy
解决gensim训练时出现killed问题
因为从中文维基百科中取得的
语料库
大约有11G,在使用gensim进行训练时,经常出现killed的问题,最后想到把
语料库
文件进行切割,然后再训练。
一个爱折腾的小人物
·
2023-12-27 06:18
日常小知识
python
自然语言处理
机器学习
人工智能
深度学习
2024 年 8 个顶级开源 LLM(大语言模型)
它们之所以被称为“大”,是因为它们有数亿甚至数十亿个参数,这些参数是使用大量文本数据
语料库
预先训练的。LLM是流行且广泛使用的聊天机器人(如ChatGPT和GoogleBard)的基础模型。
yule.yang
·
2023-12-22 07:28
AI
开源
语言模型
人工智能
NLP入门- 分布语义学(Distributional Semantics)
从
语料库
中直接学习单词含义,这个领域也被称为分布语义学(DistributionalSemantics)分布假设:可以通过其周围的上下文单词来了解一个目标单词共现文档通常指示了主题(文档(document
noobiee
·
2023-12-22 05:55
#
NLP
自然语言处理
人工智能
libFuzzer-workshop学习
fuzzer会跟踪哪些代码区域已经测试过,然后在输入数据的
语料库
上进行变异,来使代码覆盖率最大化。代码覆盖率的信息由LLVM的SanitizerC
Nevv
·
2023-12-20 10:30
机器学习之特征提取 TF-IDF
一、概念“词频-逆向文件频率”(TF-IDF)是一种在文本挖掘中广泛使用的特征向量化方法,它可以体现一个文档中词语在
语料库
中的重要程度。词语由t表示,文档由d表示,
语料库
由D表示。
辣椒种子
·
2023-12-18 04:15
机器学习
机器学习
tf-idf
人工智能
SpringBoot进行自然语言处理,利用Hanlp进行文本情感分析
如果有什么需要改进的地方还请大佬指出⛺️作者简介:大家好,我是青衿☁️博客首页:CSDN主页放风讲故事每日一句:努力一点,优秀一点目录文章目录**目录**一、说明二、自然语言处理简介三、Hanlp文本分类与情感分析基本概念
语料库
用
放风讲故事
·
2023-12-18 03:45
spring
boot
自然语言处理
easyui
2018年度十大网络用语出炉
“2018年十大网络用语”是基于国家语言资源监测
语料库
(网络媒体部分),采用“以智能信息处理技术为主,以人工后期微调为辅”的方式提取获得的。
江湖人称王大大
·
2023-12-17 04:19
大语言模型:开启自然语言处理新纪元
1.简介大语言模型是基于深度学习和变压器(Transformer)架构的巨型神经网络,通过在庞大的文本
语料库
上进行预训练,使其具备深刻的语言理解和生成能力。2.基本原理Transformer架构:
鳗小鱼
·
2023-12-17 02:39
资源分享(resource)
语音识别
计算机视觉
人工智能
DALL·E
2
生成对抗网络
知识图谱
目标检测
小白学大模型LLMs:文本分词方法
什么是预分词(Pre-tokenization)预分词是在处理基于文本的
语料库
时需要执行的几项任务中的第一项,这些任务通常包括以下的某个子集:预分词分词任务基于单词的分词基于字符的分词子词分词在我们深入研究预分词之前
深度学习算法与自然语言处理
·
2023-12-17 02:38
NLP与大模型
人工智能
大数据
算法
自然语言处理
LLM
大语言模型
无监督机器翻译的一种有效方法
虽然传统上机器翻译依赖于大量的并行
语料库
,但最近的一个研究方向是仅用单
语料库
来训练神经机器翻译(NMT)和统计机器翻译(SMT)系统。该研究使用子单词
考林_0840
·
2023-12-16 15:14
CS224N笔记——词向量表示
onehot表示image.png主要问题所有的向量都是正交的,无法准确表达不同词之间的相似度,没有任何语义信息向量维度是
语料库
中所有单词的数量,维度太大。
random_walk
·
2023-12-16 03:04
深入剖析开源大模型+Langchain框架智能问答系统性能下降原因
但是,基于langchain+开源大模型在实践过程中也会遇到系列不尽人意的问题,本文将深入剖析langchain+开源大模型用于搭建基于公司
语料库
(iwiki、oncall、码客)上
数据与后端架构提升之路
·
2023-12-15 15:06
大模型
langchain
脆弱的完美主义
直到有一天,看到大不列颠
语料库
一个统计数据,“完美主义”这个词语常常和“脆弱”一起出现。我难过了质问自己,是否也如此而不自知,得到肯定的答复。于是,更难过了。
2郎神
·
2023-12-15 02:24
机器学习---TF-IDF算法
TF-IDF是一种用于信息检索与数据挖掘的常用加权技术,可以评估一个词在一个文件集或者一个
语料库
中对某个文件的重要程度。
30岁老阿姨
·
2023-12-14 22:10
机器学习
机器学习
tf-idf
人工智能
Geneformer:计算生物学的大模型革新
Geneformer基于约3000万个单细胞转录组的大规模
语料库
进行预训练,旨在网络生物学数据有限的情况下实现上下文特异性预测。
努力犯错
·
2023-12-14 13:11
人工智能
llama
chatgpt
深度学习
语言模型
AI同义句转换好用的句子同义替换软件
这些软件通常基于自然语言处理技术和大型
语料库
,能够根据用户输入的句子或词语,提供相关的同义词或近义词选择,从而实现更加准确和生动的表达。
chatgpt001
·
2023-12-05 18:49
智能写作
人工智能
基础课16——FAQ 问答引擎
FAQ通常以{1条标准问+1条标准答案+n条相似问}的结构将语料存储在FAQ
语料库
中(
AI 智能服务
·
2023-12-05 18:18
智能客服
人工智能
机器人
系统架构
大数据
ChatGPT的总体技术路线
采用自然语言处理+搜索引擎集成的架构,构建GPT3.5+大型语言模型(LLM)+强化学习微调训练模型(RLHF),通过连接大量的
语料库
,在效果强大、基于自注意力机制的GPT3.5架构的大型语言模型(LLM
AIGC方案
·
2023-12-04 07:55
chatgpt
深度学习
人工智能
tfidf和word2vec构建文本词向量并做文本聚类
一、相关方法原理1、tfidftfidf算法是一种用于文本挖掘、特征词提取等领域的因子加权技术,其原理是某一词语的重要性随着该词在文件中出现的频率增加,同时随着该词在
语料库
中出现的频率成反比下降,即可以根据字词的在文本中出现的次数和在整个语料中出现的文档频率
饕餮&化骨龙
·
2023-12-04 05:33
自然语言处理
自然语言处理
word2vec
tf-idf
聚类
基于word2vec使用wiki中文
语料库
实现词向量训练模型--2019最新
目录一、数据获取二、将xml格式数据转为txt三、繁体转为简体方法1---自己使用opencc库手动了1个转换程序,pipinstallopencc进行安装方法2---网上有一个exe应用程序进行转换,详情见:https://bintray.com/package/files/byvoid/opencc/OpenCC四、分词五、Word2Vec模型训练六、Word2Vec模型检测一、数据获取使用的
锅巴QAQ
·
2023-12-04 05:31
NLP自然语言处理
word2vec
gensim
wiki中文语料库
词向量模型
面向自然语言处理任务的预训练模型综述
在自然语言处理(NLP)任务中,随着文本表征技术从词级上升到了文档级,利用大规模
语料库
进行无监督预训练的方式已被证明能够有效提高模型在下游任务中的性能。
龙腾亚太
·
2023-12-04 02:10
自然语言处理
人工智能
LLM;超越记忆《第 2 部分 》
在第1部分中,我介绍了LLM如何通过具有语言多样性的更大
语料库
进行泛化的复杂性。要详细了解LLM的工作原理,您可以在此处找到全面的博客:GPT背后
无水先生
·
2023-12-03 20:30
NLP高级和ChatGPT
人工智能
人工智能
自然语言处理
复旦中文文本分类
语料库
链接:https://pan.baidu.com/s/1833mT2rhL6gBMlM0KnmyKg密码:zyxa转自:https://download.csdn.net/download/u013952285/10323087他在简介中有提到这个下载地址
haoweii
·
2023-12-03 09:41
python TF-IDF,LDA ,DBSCAN算法观影用户的电影推荐聚类分析
项目源码:https://download.csdn.net/download/qq_38735017/874252571.1
语料库
的建立进行语料处理时我们会遇到的主要问题之一就是如何将大的数据集读入内存当中然后进行相应的处理
一枚爱吃大蒜的程序员
·
2023-12-01 01:08
自然语言处理
python
tf-idf
算法
django
pygame
关于雅思复习
对应的练习方法为听写王陆雅思
语料库
。先把基础弄扎实再通过网课学习各个题型的解题方法,再通过做题练习,发现
王不谏
·
2023-11-30 22:26
Nat. Mach. Intell. | 预测人工智能的未来:在指数级增长的知识网络中使用基于机器学习的链接预测
科学文献的
语料库
以越来越快的速度增长。特别是在人工智能(AI)和机器学习(ML)
DrugAI
·
2023-11-30 01:38
DrugAI
人工智能
机器学习
python
【数据预处理】TIMIT
语料库
WAV文件转换
1问题描述这两天复现代码。先构造数据集,纯净语音、不同噪声、不同SNR的混合语音。其中纯净语音由两部分组成,IEEEcorpus和TIMIT。一开始我用MATLAB中的audioread读取音频文件,合成后用audiowrite保存下来。没有任何问题。后来,师姐让我换成python处理,不管是wave还是scipy.io中的wavfile,在读取TIMIT的原始WAV时都会报错。stackover
weixin_30307267
·
2023-11-29 21:23
数据库
GPT还远远不是真正的智能
它只是根据已有的
语料库
生成文本,而没有真正的理解和认知能力。因此,虽然GPT在某些任务上表现出强大的性能,但它仍然无法达到人类智能的水平。GPT(GenerativePre-trainedT
人机与认知实验室
·
2023-11-29 17:51
gpt
GPT是什么?
它由OpenAI开发,使用了Transformer架构,并在大规模
语料库
上进行了预训练,以便能够更好地生成自然语言文本。GPT模型可以用于各种自然语言处理任务,如文本生成、文本分类、问答系统等。
王摇摆
·
2023-11-29 15:25
ChatGPT
gpt
人工智能
深度学习
Lhotse 音频库管理音频数据集
3.为常用的
语料库
提供标准的数据准备方案。4.为与语音和音频相关的任
mingqian_chu
·
2023-11-29 07:44
#
音频部分
音视频
【NLP】调研|医疗领域预训练语言模型设计方法
1继续预训练BioBERT通过BERT初始化权重,基于生物医学领域
语料库
进行继续预训练;BlueBERT通过BERT初始化权重,基于PubMed摘要和MIMIC-III
风度78
·
2023-11-28 10:36
人工智能
机器学习
深度学习
python
知识图谱
PubMedBERT:生物医学自然语言处理领域的特定预训练模型
所以说在特定的领域或者需求中,大语言模型并不一定就是最优的解决方案,“小”模型也有一定的用武之地,所以今天我们来介绍PubMedBERT,它使用特定领域
语料库
从头开始预训练BERT,这是微软研究院2022
deephub
·
2023-11-28 10:01
自然语言处理
人工智能
深度学习
大语言模型
pandas 将DataFrame 转为txt文本,用以预训练,去除引号问题
由于需要训练gloveembedding,需要自己创建
语料库
用以训练,我是用pandas读取处理的,需要保存为.txt文件给模型训练。
Wisley.Wang
·
2023-11-27 17:15
study
python
UCAS - AI学院 - 自然语言处理专项课 - 第5讲 - 课程笔记
元文法参数估计数据平滑方法语言模型自适应应用神经语言模型背景前馈神经网络语言模型循环神经网络语言模型自我注意力机制语言模型应用文本表示模型背景向量空间模型表示学习模型词语的表示学习短语的表示学习句子的表示学习文档的表示学习动态的表示学习语言模型传统语言模型n元文法统计方法于
语料库
语言学的应用发现语言使用的普遍规律通过机器
支锦铭
·
2023-11-27 00:38
UCAS-课程笔记
人工智能
自然语言处理
UCAS - AI学院 - 自然语言处理专项课 - 第4讲 - 课程笔记
UCAS-AI学院-自然语言处理专项课-第4讲-课程笔记
语料库
与语言知识库
语料库
基本概念
语料库
技术的发展
语料库
类型典型
语料库
介绍问题与现状语言知识库WordNet知网HowNet概念层次网络知识图谱
语料库
与语言知识库
语料库
基本概念语言数据库
支锦铭
·
2023-11-27 00:07
UCAS-课程笔记
自然语言处理
人工智能
维基百科文章爬虫和聚类【二】:KMeans
其次,
语料库
对象处理完整的文章集,允许方便地访问单个文件,并提供全局数据,例
无水先生
·
2023-11-25 15:35
网上信息挖掘
人工智能
爬虫
聚类
kmeans
TF-IDF具体算法和原理
TF-IDF算法相关概念信息检索(IR)中最常用的一种文本关键信息表示法基本信息:如果某个词在一篇文档中出现的频率高,并且在
语料库
中其它词库中其他文档中很少出现,则认为这个词具有很好的类别区分能力。
lishuaics
·
2023-11-24 06:56
算法
大数据
python
java
机器学习
开源中文大语言模型整理列表
LLM通常基于神经网络模型,使用大规模的
语料库
进行训练,比如使用互联网上的海
yonghuming_123
·
2023-11-23 19:51
ChatGPT
大语言模型
开源
语言模型
人工智能
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他