语料库

LSA主题模型：基于奇异值分解的主题模型

LSA主题模型：基于奇异值分解的主题模型1.背景介绍主题模型是一种无监督的机器学习技术，用于发现大规模文本语料库中隐藏的语义结构。它能够自动识别文档集合中的主题，并根据这些主题对文档进行聚类和分类。
AI天才研究院·2025-07-08 09:23

说话人识别python_基于各种分类算法的说话人识别（年龄段识别）

基于各种分类算法的语音分类(年龄段识别)概述实习期间作为帮手打杂进行了一段时间的语音识别研究，内容是基于各种分类算法的语音的年龄段识别，总结一下大致框架，基本思想是：获取语料库TIMIT提取数据特征，进行处理
weixin_39673184·2025-07-07 15:42

ChatGPT、DeepSeek等大语言模型技术教程

这些模型通过深度学习和大规模语料库训练，能够帮助科研人员高效地筛选文献、生成论文内容、进行数据分析和优化机器学习模型。
·2025-07-03 23:54

智能办公与科研革命：ChatGPT+DeepSeek大模型在论文撰写、数据分析与AI建模中的实践指南

这些模型通过深度学习和大规模语料库训练，能够帮助科研人员高效地筛选文献、生成论文内容、进行数据分析和优化机器学习模型。
jwwkyjspt·2025-07-02 05:45

ChatGPT、DeepSeek等大语言模型助力高效办公、论文与项目撰写、数据分析、机器学习与深度学习建模等深度科研

这些模型通过深度学习和大规模语料库训练，能够帮助科研人员高效地筛选文献、生成论文内容、进行数据分析和优化机器学习模型。
Yolo566Q·2025-07-01 18:59

大语言模型助力高效办公、论文与项目撰写、数据分析、机器学习与深度学习建模等

这些模型通过深度学习和大规模语料库训练，能够帮助科研人员高效地筛选文献、生成论文内容、进行数据分析和优化机器学习模型。
xiao5kou4chang6kai4·2025-07-01 18:28

ChatGPT、DeepSeek等大语言模型助力高效办公、论文与项目撰写、数据分析、机器学习与深度学习建模

这些模型通过深度学习和大规模语料库训练，能够帮助科研人员高效地筛选文献、生成论文内容、进行数据分析和优化机器学习模型。
asyxchenchong888·2025-07-01 18:52

ChatGPT、DeepSeek等大语言模型助力高效办公、论文与项目撰写、数据分析、机器学习与深度学习建模等科研应用

这些模型通过深度学习和大规模语料库训练，能够帮助科研人员高效地筛选文献、生成论文内容、进行数据分析和优化机器学习模型。
科研的力量·2025-07-01 18:21

Orange3实战教程：文本挖掘---情感分析

输入语料库(Corpus)：一组文档的集合。输出语料库(Corpus)：包含每个文档情感信息的语料库。情感分析为语料库中的每个文档预测情感倾向。
err2008·2025-06-25 09:59

《A DECODER-ONLY FOUNDATION MODEL FOR TIME-SERIES FORECASTING》阅读总结

该模型使用真实世界和合成数据集构建的大型时间序列语料库进行预训练，并展示了在不同领域、预测范围和时间粒度的未见数据集上的准确零样本预测能力。1、引言时间序列在零售、金融、制造业、医疗
胡萝拔贝贝·2025-06-23 00:58

CHASE、CoSQL、SPARC概念介绍

CoSQL：一个用于构建跨域对话文本到sql系统的语料库。
爱吃土豆的马铃薯ㅤㅤㅤㅤㅤㅤㅤㅤㅤ·2025-06-21 06:58

【Elasticsearch】TF-IDF 和 BM25相似性算法

以下是对这两种算法的对比以及在Elasticsearch中的使用情况：TF-IDF-定义与原理：TF-IDF是一种经典的信息检索算法，用于评估一个词语对于一个文件集或语料库中某份文件的重要程度。
risc123456·2025-06-20 10:41

使用Weaviate和LangChain实现RAG (检索增强生成)

技术背景介绍RAG技术通过结合生成式AI和检索系统，能够在大规模语料库中找到相关信息来增强生成模型的回答精确度。Weaviate是一个灵活且可扩展的向量数据库，非常适合用于RAG系统中的知识
·2025-06-16 15:46

NLP学习路线图（四十五）：偏见与公平性

训练语料库若包含带有性别歧视、种族歧视或地域歧视的文本，模型便可能吸收并重现这些关联。代表性偏
摸鱼许可证·2025-06-15 16:42

RAPTOR：树结构的索引和检索系统的递归抽象处理

论文地址：https://arxiv.org/pdf/2401.18059.pdf摘要增强型检索语言模型能够更好地适应世界状态的变化，并整合长尾知识，然而现有大多数方法仅能从检索语料库中检索到较短的连续文本片段
lichunericli·2025-06-13 05:59

大模型笔记_模型微调

预训练模型通常在大规模通用语料库（如互联网文本、书籍等）上训练，具备通用的语言理解和生成能力，而微调则通过调整模型参数，使其在特定任务（如分类、问答、生成等）或领域（如医疗、金融
饕餮争锋·2025-06-13 02:12

【RAG召回】BM25算法示例

pipinstallrank-bm25接下来，我们定义一个通用的中文语料库和分词函数。这里我们使用简单的单字切分作为分词方法，以避免引入第三方库。
weixin_37763484·2025-06-09 00:36

《Python自然语言处理（第二版）-Steven Bird等》学习笔记：第02章 获得文本语料和词汇资源

第02章获得文本语料和词汇资源2.1获取文本语料库古腾堡语料库网络和聊天文本布朗语料库路透社语料库就职演说语料库标注文本语料库在其他语言的语料库文本语料库的结构载入你自己的语料库中文自然语言处理语料/数据集情感
miniAI学堂·2025-06-04 16:33

NLP（自然语言处理）技术的主要实现思路

文章目录NLP（自然语言处理）技术的主要实现思路语句拆分建模分析NLP（自然语言处理）技术的主要实现思路NLP（自然语言处理）技术的主要实现思路是，首先利用自然语言语料库和机器学习技术，将文本信息进行分词和词性标注
简简单单OnlineZuozuo·2025-06-04 01:40

5.28 孔老师 nlp讲座

最后，提到了预训练模型在大语言模型中的应用，以及如何在语料库中解决条件概率稀疏的问题。1语言模型与条件概率估计
柠石榴·2025-06-04 01:39

【ASR】基础端到端语音识别工具包：FunASR

FunASR提供在大规模工业语料库上训练的模型以及将它们部署到应用程序中的能力。
木亦汐丫·2025-05-31 15:20

为什么共现矩阵是高维稀疏的

共现矩阵（Co-occurrenceMatrix）的高维稀疏性是其固有特性，主要由以下原因导致：1.高维性的根本原因词汇表大小决定维度：共现矩阵的维度为(V\timesV)，其中(V)是词汇表的大小（即语料库中所有唯一单词的数量
幽··2025-05-28 08:46

gensim使用

参考教程核心概念Document(文档)Corpus(语料库）Vector（向量）Model（模型）Dictionary,doc2bow#处理流程：语料转成2维，->Dictionary变成字典->doc2bow
swai1688·2025-05-26 02:08

Python库： gensim

Gensim是一个用于主题建模、文档索引和大型语料库相似性检索的Python库。主要用于处理自然语言处理（NLP）和信息检索（IR）任务。
司南锤·2025-05-26 02:38

Python自然语言处理：gensim库的探索与应用

该库适用于文档相似性和主题建模任务，特别强调其在处理大规模语料库中的高效性和准确性。
丶本心灬·2025-05-26 01:34

python 英语分词_自然语言处理 | NLTK英文分词尝试

NLTK是一个高效的Python构建的平台，用来处理自然语言数据，它提供了易于使用的接口，通过这些接口可以访问超过50个语料库和词汇资源（如WordNet），还有一套用于分类、标记化、词干标记、解析和语义推理的文本处理库
weixin_39640687·2025-05-23 16:07

初始LLM

通过大量语料库训练，LLM在翻译、写作、对话等任务中展现出卓越的能力。常见的应用包括自动问答、生成文本、文本摘要等。由于其多模态特性，LLM还可用于图像和音频处理，为多领域带来创新可能。LLM与
凢en·2025-05-22 11:03

AI时代大数据已经不火了吗？

例如，中国DeepSeek-R1模型通过整合微信生态中积累的4.2亿篇私域语料库，显著提升了信息处理效率，其数据密度是传统爬虫数据的2
AI方案2025·2025-05-18 00:31

大语言模型与多模态模型比较

一、核心差异：输入数据类型与模态融合输入数据类型LLM：仅处理文本数据，例如文本分类、机器翻译、问答等任务，通过大规模语料库学习语言规律。
有梦想的攻城狮·2025-05-17 19:32

BitNet b1.58 2B4T Technical Report

主要内容模型介绍：介绍了BitNetb1.582B4T，这是首个20亿参数规模的开源原生1比特大语言模型，在4万亿词元的语料库上进行训练，通过多种基准测试评估其性能，模型权重在HuggingFace上发布
UnknownBody·2025-05-13 15:24

面向网络安全的开源 大模型-Foundation-Sec-8B

它基于Llama3.1-8B架构构建，并通过在一个精心策划和整理的网络安全专业语料库上进行持续预训练而得到增强。
云上笛暮·2025-05-09 07:05

智源：LLM中文高质量互联网语料库

标题：CCI3.0-HQ:alarge-scaleChinesedatasetofhighqualitydesignedforpre-traininglargelanguagemodels来源：arXiv,2410.18505摘要我们介绍CCI3.0-HQ，这是中国企业互联网3.0（CCI3.0）的高质量500GB子集，使用一种新型的两级混合过滤管道开发，可显著提高数据质量。为了评估其有效性，我们
大模型任我行·2025-05-06 19:24

电子病历高质量语料库构建方法与架构项目（智能数据目录篇）

电子病历高质量语料库的构建是医疗人工智能发展的基础性工作，而智能数据目录作为数据治理的核心组件，能够有效管理这些语料资源。
Allen_Lyb·2025-05-05 11:25

DeepSeek破界而来：重构大规模深度检索的算力与边界

然而，随着模型参数量突破万亿级门槛，传统的深度检索系统正面临前所未有的挑战：当模型需要处理包含数百亿甚至数万亿文档的语料库时，如何在保持高精度的同时实现毫秒级响应？
Want595·2025-05-05 08:01

深入解析：大模型应用开发中的分类及常见大模型介绍

这类大模型的主要特点是它们在大规模语料库上进行了训练，以学习自然语言的各种语法、语义和语境规则
AI大模型-王哥·2025-05-04 05:41

大语言模型原理基础与前沿 语言模型和分词

在深度学习框架中，语言模型通常通过神经网络实现，并使用大规模语料库进行预训练，以学习语言的统计规
杭州大厂Java程序媛·2025-05-03 14:03

大模型微调：技术迭代与实践指南

微调的量取决于预训练语料库和任务特定语料库之间的相似性。随着技术的发展，微调方法也在不断迭代更新，从而提高了模型的性能和参数效率。本文将探讨大模型微调的常见方法，并提供一个实践指南。PEFT
人工智能培训咨询叶梓·2025-04-28 15:07

电子病历高质量语料库构建方法与架构项目（智能质控体系建设篇）

电子病历高质量语料库是构建智能病历质控系统的基础，它不仅为AI模型提供训练数据，还为医疗
Allen_Lyb·2025-04-28 13:54

一文详解训练LLM流程

LLM训练包括预训练、微调等环节，其中预训练阶段通过处理大规模语料库数据，让模型学习语言的统计规律、语义信息和上下文关系，微调阶段则是在预训练的基础上，使用特定任务的数据对模型进行进一步的调整。
莫杨94·2025-04-26 01:55

电子病历高质量语料库构建方法与架构项目（计划篇）

然而，电子病历数据具有非结构化、噪声大、专业性强等特点，如何构建高质量电子病历语料库成为医疗自然语言处理领域的核心挑战。
Allen_Lyb·2025-04-25 11:48

ViT中的Postion Embedding(位置编码)详解：数据从一维到二维的变化

它的主流方法是在大型文本语料库上进行预训练，然后在较小的特定任务数据集上进行微调，得益于它的计算效率和可扩展性等优点，它可以训练前所未有的规模，并且随着模型和数据集的增长，仍然没有出现性能饱和的迹象。
程序员非鱼·2025-04-24 15:28

Python NLTK库【NLP核心库】全面解析

NaturalLanguageToolkit）库的全面深入讲解，涵盖核心功能、应用场景及代码示例：NLTK库基础一、NLTK简介NLTK是Python中用于自然语言处理（NLP）的核心库，提供了丰富的文本处理工具、算法和语料库
老胖闲聊·2025-04-23 20:54

浅谈大语言模型（LLM）的微调与部署

大语言模型如GPT、BERT等，通常是在大规模通用语料库上预训练的，具备广泛的语言理解能力。但要在特定任务（如医疗问答、法律文档分析）上表现更好，就需要微调。
云端源想·2025-04-19 11:24

论文略读：Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More?

这类系统通常需要独立的模块来进行信息检索、问答和数据库查询等任务大模型时代，尤其是上下文语言模型（LCLM）时代，上述问题可以“一体化”完成LCLM可以直接接收包含文本、图像、音频等多模态信息的整个语料库作为输入
UQI-LIUWJ·2025-04-19 04:45

虚实共生时代的情感革命：AI恋爱陪伴的兴起、困境与未来

通过深度学习算法解析3000万段真实对话的语料库，结合VR设备提供的多模态交互，当代虚拟对象已能实现瞳孔微表情的精确模拟与声线情感的颗粒化呈现。
晓晓不觉早·2025-04-15 12:08

TensorFlow深度学习实战（12）——词嵌入技术详解

构建词嵌入5.使用Gensim探索嵌入空间6.动态嵌入小结系列链接0.前言在本节中，我们首先介绍词嵌入的概念，然后介绍两种实现词嵌入的方式：Word2Vec和GloVe，学习如何使用Gensim库从零开始构建语料库的词嵌入
盼小辉丶·2025-04-15 11:33

从代码学习深度学习 - NLP之文本预处理 PyTorch版

文本预处理的核心代码解析2.1读取数据集：`read_time_machine`2.2分词处理：`tokenize`2.3词频统计：`count_corpus`2.4构建词表：`Vocab`类2.5加载语料库
飞雪白鹿€·2025-04-07 03:50

AI大型语言模型企业级应用开发架构实战：实时数据流处理与推理

1.背景介绍近年来，随着人工智能技术的迅速发展，特别是基于大规模语料库的预训练模型及其海量计算能力的释放，越来越多的公司、组织和个人开始关注并尝试将这些高性能模型部署到生产环境中，进行业务落地。
AI天才研究院·2025-04-03 06:08

TF-IDF算法及sklearn实现

TF-IDF是一种统计方法，用以评估一字词对与一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比的增加，但同时会
雪顶猫的鳄·2025-04-01 20:12

【揭秘】什么是AI写作？AI写作是助手还是威胁？

AI写作是指利用人工智能技术，特别是自然语言处理（NLP）和机器学习（ML）技术，结合深度学习算法，通过大规模语料库和预训练模型来模仿和生成人类语言文本内容的过程。
ychenhub·2025-03-30 06:55
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他