语料

如何训练Embedding Model

BGE的技术亮点：高效预训练和大规模文本微调；在两个大规模语料集上采用了RetroMAE预训练算法，进一步增强了模型的语义表征能力；通过负采样和难负样例挖掘，增强了语义向量的判别力；借鉴InstructionTuning
银晗·2023-10-26 19:54

吴军数学之美第二版学习笔记1

第一章文字和语言vs数字和信息一、概念和主题1，通信的原理2，信息传播的模型信息源--->信道--->接收者3，信源编码4，最短编码5，解码的规则和语法6，聚类7，校验位8，双鱼对照文本9，语料库和机器翻译
汤普森·2023-10-26 10:11

[BELLE] Chathome:development and evaluation of a domain-specific llm for home renovation

通过在大规模语料库上进行预训练，L
Kun Li·2023-10-26 08:58

《人民日报》评论热点金句 | 申论规范化表达词 | 结构化面试热点 | 公考国考省考申论素材积累25（2022年9月2日）

参考语料家庭、家教、家风三者有机统一、紧密关联。家庭和睦，社会才能和谐；家教良好，未来才有希望；家风纯正，社风才会充满正能量。“将教天下，必定其家，必正其身。”
47fed7735c2d·2023-10-26 04:20

【Gensim概念】01/3 NLP玩转 word2vec

在人工智能和自然语言处理领域，Gensim是一个流行的工具，用于处理大量的文本和语料库。该模块使用高度优化的C例程、数据流和Pythonic接口来实现word2vec系列算法。word2ve
无水先生·2023-10-26 02:37

深入理解NLP

2.基础语料处理2.1分词原理分词是NLP的基础，它将连续的文本划分成一个个有意
代码写注释·2023-10-25 14:53

人虫语料收集18

总比我糟践了强啊，拿着，拿着！给，拿着。================================【古玩店】老板：【看扳指】卖吗？年轻的罗银水：只要价钱合适。老板：东西是挺稀罕，就是成色差了点，二百五吧。年轻的罗银水：您多点儿少点儿都成，就别这（zhei去声）数。老板：这（zhei去声）个数怎么了？年轻的罗银水：这（zhei去声）数怎么了？怎么听着我跟二百五似的？老板：切，这就不少了，我一个
禾戈君·2023-10-25 12:23

【自然语言处理】理解词向量、CBOW与Skip-Gram模型

因此，在自然语言处理中，通常需要对输入的语料进行
酒酿小圆子～·2023-10-25 07:45

python beautifulsoup 抓取网页正文内容

最近要跟着同学做一个小项目，需要自己找语料库，于是我用python的beautifulsoup和urllib来抓取一些网页内容来做训练语料。现在写下来备忘，虽然还有些不足。
lan_se_ye_ge·2023-10-25 00:04

《人民日报》评论热点金句 | 申论规范化表达词 | 结构化面试 | 公考国考省考素材积累24（2022年9月1日）

参考语料构建新发展格局是一个系统工程，既要“操其要于上”，加强战略谋划和顶层设计，也要“分其详于下”，把握工作着力点。
47fed7735c2d·2023-10-24 09:18

巧用4招高效提升雅思口语印象分

同时也要不断的充实自己的语料库，可以像口
女IM二·2023-10-24 07:49

1.写一个算法模型以及python算法工程化步骤

这可以是一个包含大量文本数据的语料库。数据预处理：对数据进行预处理以准备训练。这可能包括文本清洗、分词、去除停用词等操作。构建词汇表：根据预处理后的数据，构建一个词汇表。
森火123·2023-10-23 20:05

NLP：从头开始的文本矢量化方法

在整个语料库的统计NLP中，应用了不同的向量化技术，例如one-hot、计数或频率编码。在神经NLP中，词向量（也称为词嵌入）占主导地位。可以使用预先训练的向量以及复杂神经网络中学习的向量表示。
无水先生·2023-10-23 08:41

spark搜狗日志数据分析实战

为进行中文搜索引擎用户行为分析的研究者提供基准研究语料。数据下载地址为：http://www.sogou.com/labs/resource/q.php。
RiverCode·2023-10-23 05:25

基于文本内容的推荐系统开发记录

gensim等模块的调用）内存溢出问题的解决编写Pythonrest服务接口推荐模型逻辑模块逻辑类图基本思路是围绕一个json文件展开，将文本对应信息保存在json中，json定时根据更新过后的字典库、语料库进行更新
IMISer·2023-10-23 05:45

自然语言处理工具包 HanLP在 Spring Boot中的应用

而且HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点，因此十分好上手，本文就结合SpringBoot来将HanLP用起来！
CodeSheep程序羊·2023-10-23 01:05

Spring Boot中对自然语言处理工具包hanlp的调用详解

而且HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点，因此十分好上手，本文就结合SpringBoot来将HanLP用起来！
adnb34g·2023-10-23 01:02

HanLP集成到Springboot及使用自定义词典

Springboot及使用自定义词典文章目录前言简介集成Springboot扩展使用自定义词典路径易错问题简介开源工具包，提供词法分析、句法分析、文本分析和情感分析等功能，具有功能完善、性能高效、架构清晰、语料时新
芒果-橙·2023-10-23 01:31

【UCAS自然语言处理作业一】利用BeautifulSoup爬取中英文数据，计算熵，验证齐夫定律

文章目录前言中文数据爬取爬取界面爬取代码数据清洗数据分析实验结果英文数据爬取爬取界面动态爬取数据清洗数据分析实验结果结论前言本文分别针对中文，英文语料进行爬虫，并在两种语言上计算其对应的熵，验证齐夫定律
长命百岁️·2023-10-23 01:31

预训练相关知识

易训练2.2、非序列模型树/图模型，transformer等，参数较多，难训练；表达能力较强，但需要大量的训练语料3、预训练模型的引入原因3.1、标注数据有限3.2、无标签数据可以学习
frostjsy·2023-10-22 23:52

【论文笔记】Bag of Tricks for Efficient Text Classification

这篇文章写的是Facebook推出的FastText，能够快速在海量文本数据上进行分类任务和表示学习，可以用一个普通的多线程CPU在十分钟内训练百万级的语料，一分钟内将五十万文本分类到三十万个类别中。
theoreoeater·2023-10-22 14:34

NLP-文本数据预处理案例

数据的标签数量分布2.2句子长度分布2.3获取正负样本长度散点分布2.4获得不同词汇总数统计2.5获得数据上正负的样本的高频形容词词云：3、总结1、概述文本数据分析的作用:文本数据分析能够有效帮助我们理解数据语料
海星？海欣！·2023-10-22 12:16

自然语言处理---文本预处理概述

文本预处理概述文本语料在输送给模型前一般需要一系列的预处理工作，才能符合模型输入的要求，如：将文本转化成模型需要的张量，规范张量的尺寸等，而且科学的文本预处理环节还将有效指导模型超参数的选择，提升模型的评估指
lichunericli·2023-10-22 12:14

自然语言处理---Transformer构建语言模型

#语言模型的训练语料一般来自于文章，对应的源文本和目标文本形如:src1="Icando"tgt1="candoit"src2="candoit",tgt2="doit"语言模型能解决哪些问题：根据语言模型的定义
lichunericli·2023-10-22 12:48

Selenium获取百度百科旅游景点的InfoBox消息盒

获取维基百科的消息盒，同样可以通过Spider获取网站内容，最近学习了Selenium+Phantomjs后，准备利用它们获取百度百科的旅游景点消息盒（InfoBox），这也是毕业设计实体对齐和属性的对齐的语料库前期准备工作
进击的雷神·2023-10-22 10:42

NLP：从头开始的文本矢量化方法

在整个语料库的统计NLP中，应用了不同的向量化技术，例如one-hot、计数或频率编码。在神经NLP中，词向量（也称为词嵌入）占主导地位。可以使用预先训练的向量以及复杂神经网络中学习的向量表示。
无水先生·2023-10-22 07:37

中文WordNet的安装与使用

最近在中文语料上数据分析，想借用一些外部资源，就想到了WordNet，在这里记录一下，以备后用。
_春天_·2023-10-21 14:17

国培（五） —— 语文核心素养的落地

陈益林老师《以写促教教更优》王尚文教授《语感论视野中的写作教学》张良田教授《语文核心素养的认知与培育》蔡伟教授《两种作文教学模式的理论与实践》语言建构与运用1.语言积累与建构：积累语料和言语经验，形成语感
strongli2001·2023-10-21 14:18

聊天机器人语料在开发中的重要性

语料在聊天机器人的开发中起着至关重要的作用，使其能够有效理解和回应用户的查询。语料是聊天机器人的训练数据，通过分析和学习这个语料，聊天机器人可以提高对用户意图的准确理解，并生成恰当的回应。
LookLook同学·2023-10-21 06:13

基于pytorch的文本情感识别（LSTM,CNN）

使用的是谭松波酒店评价语料库，其中包含3000条负面评价，7000条正面评价。一、数据处理与Word2ve
Die Young?·2023-10-20 23:18

[论文笔记]GPT1

虽然无标签文本语料是丰富的，但是用于训练这些特定任务的有标签文本语料是匮乏的，使得区分性训练模型难以表现出足够的性能。作
愤怒的可乐·2023-10-20 21:15

为何BERT在 NLP 中的表现如此抢眼？

www.toutiao.com/a6701812430017659396/2019-06-1308:55:01Transformer体系结构模型，特别是BERT，已经被证明在许多NLP任务中是相当有效的，通过在大规模语料库上以非监督方式预先训练的模型进行微调
喜欢打酱油的老鸟·2023-10-20 14:35

2021斯坦福CS224N课程笔记~2

GloVe模型词向量评估wordsenses2.2.回顾：word2vec的主要思想2.2.1.主要步骤具体见1.3.2Word2Vec算法的具体思路(1)随起：从随机的词向量开始；(2)遍历：遍历整个语料库中的每个单词
mwcxz·2023-10-20 12:54

SnowNLP使用自定义语料进行模型训练

SnowNLP是一个功能强大的中文文本处理库，它囊括了中文分词、词性标注、情感分析、文本分类、关键字/摘要提取、TF/IDF、文本相似度等诸多功能，像隐马尔科夫模型、朴素贝叶斯、TextRank等算法均在这个库中有对应的应用。如果大家仔细观察过博主的博客，就会发现博主使用了摘要提取这一功能来增强博客的sEO，即通过自然语言处理(NLP)技术，提取每一篇文章中的摘要信息。因为SnowNLP本身使用的
qq_30895747·2023-10-20 12:12

写论文不用构建语料库！只需要福昕PDF阅读器高级搜索

写论文不用构建语料库！只需要福昕PDF阅读器高级搜索文章目录写论文不用构建语料库！
hehedadaq·2023-10-20 11:07

n-gram语言模型

我们会通过已有的语料或上下文，来统计预测这句话可以填某个词的概率。将概率最大的作为预测结果返回。再比如机器翻译中，‘IlikeTomsomuch.
布口袋_天晴了·2023-10-20 02:44

2018-12-01派森学习第13天

今天想建立一些数据库用于公众号智能回复的语料，所以想写一些这方面的。先找到了一个成语接龙的txt文件，需要把这个文件转化为固定的题库格式。
每日派森·2023-10-20 00:34

图谱实战 | Shopee 多语言商品知识图谱技术构建方法和应用

Shopee深耕多种不同的语言和市场，在这种国际化的服务平台上，需要处理多语言和混合语言的复杂语料。
开放知识图谱·2023-10-19 18:31

怎么让英文大语言模型支持中文？--构建中文tokenization--继续预训练--指令微调

保存为语料corpus1.3如何构建中文的词库？一般的，目前比较主流
zhurui_xiaozhuzaizai·2023-10-19 13:27

Github上下载txt文档乱码问题

这几天在学着做中文自然语言处理，跟着aespresso博主的教程，采用谭松波老师的酒店评论语料库，进行情感识别训练。但是这个过程中遇到一些文档转码的问题。
屁屁肉·2023-10-19 06:30

语料库与术语库

在线语料库（国内）语料库：http://yulk.org/BCC语料库：http://bcc.blcu.edu.cn/语料库在线：http://www.cncorpus.org/北京大学中国语言学研究中心
windfunkey·2023-10-19 02:31

NLP学习------HanLP使用实验

我跟据词向量的作者[6]所使用的分词工具来分词，会比不同工具（jieba）的效果要好，因为都是同一模式的分词，分出来的词应该都会存在于大型语料库中。
gladosAI·2023-10-18 12:03

python 单词纠错_用 Python 实现英文单词纠错功能

比如在Word中：单词拼写错误单词纠错算法首先，我们需要一个语料库，基本上所有的NLP任务都会有语料库。
Showtime 100·2023-10-18 09:37

Wor2vec application for Recommenders and Advertising

软件中每个月有超过700million首歌曲被听，其中每个用户为语料库中的单个单词，其歌单就如一个句子，通过该Context-Word信息，训练出每首歌单独的嵌入。
BoringFantasy·2023-10-18 08:23

NarrowBERT: Accelerating Masked Language Model Pretraining and Inference

NarrowBERT：加速掩蔽语言模型的预训练和推理摘要1引言2NarrowBERT3实验4讨论与结论局限性摘要大规模语言模型预训练是自然语言处理中一种非常成功的自监督学习形式，但随着时间的推移，模型和预训练语料库变得越来越大
UnknownBody·2023-10-18 02:12

AFL安全漏洞挖掘

安全之安全(security²)博客目录导读ATF(TF-A)/OPTEE之FUZZ安全漏洞挖掘汇总目录一、AFL简介二、AFL的安装三、代码示例及种子语料库四、AFL插桩编译五、AFL运行及测试六、AFL
安全二次方security²·2023-10-18 00:57

怎么测孩子的英语单词量？3个免费好方法

它的测试原理是，基于英国国家语料库（BNC）、英国词典，从450000个单词库里，选取难度不等的160个单词，让测试者勾选出自己认识，再根据复杂的算法得出单
小Oly英语启蒙·2023-10-17 13:18

文本匹配数据集（支持语义搜索训练），超丰富语料

数据集数据集名称领域数量任务类型Prompt质量数据提供者说明是否开源/研究使用是否商用脚本DoneURL是否同质cmrc2018百科14,363问答问答优YimingCui,TingLiu,WanxiangChe,LiXiao,ZhipengChen,WentaoMa,ShijinWang,GuopingHuhttps://github.com/ymcui/cmrc2018/blob/maste
汀、人工智能·2023-10-17 11:34

知识增广的预训练语言模型K-BERT：将知识图谱作为训练语料

©原创作者|杨健论文标题：K-BERT:EnablingLanguageRepresentationwithKnowledgeGraph收录会议：AAAI论文链接：https://ojs.aaai.org/index.php/AAAI/article/view/5681项目地址：https://github.com/autoliuweijie/K-BERT01背景论述笔者在前面的论文解读中提到过E
NLP论文解读·2023-10-16 13:20

Bert如何融入知识一-百度和清华ERINE

首先我获取无监督语料，随机mask掉一部分数据，去预测这部分信息。这个过程其实和W2C很类似，上下文相似的情况下，mask掉的单词的词向量很可能非常相近。
biuHeartBurn·2023-10-16 11:27
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他