NLP学习记录

1-pipeline()函数-transformers-python库

Transformer模型用于解决各种NLP任务，Transformers库提供了创建和使用这些模型的功能。我们先来看一看pipeline()是如何解决NLP问题。
Flora-pi·2024-08-31 04:53

小琳AI课堂：单向模型 vs 双向模型 —— 揭秘大语言模型生成文本的奥秘

今天，我们要深入探讨自然语言处理（NLP）领域中的两种基础模型架构：单向模型和双向模型。这两种模型在处理和理解语言序列（如句子）的方式上有显著差异，它们的工作原理直接影响着大语言模型生成文本的方式。
小琳ai·2024-08-31 01:29

第T10周：数据增强

>-**本文为[365天深度学习训练营]中的学习记录博客**>-**原作者：[K同学啊]**第10周：数据增强难度：夯实基础⭐⭐语言：Python3、TensorFlow2要求：学会在代码中使用数据增强手段来提高
OreoCC·2024-08-31 00:55

Activity7框架使用学习记录

用于记录在项目中使用工作流框架PROC_DEF_ID:流程定义的idbpmn文件中对流程图定义的idTASK_DEF_KEY:任务定义的idbpmn文件中对每个任务定义的idPROC_INST_ID:流程实例id启动一个流程时对流程定义的idPROC_DEF_ID（流程定义的ID）：在BPMN（BusinessProcessModelandNotation）文件中，流程定义的ID是对整个流程图定义
爱为斯坦·2024-08-30 19:56

【Python机器学习】NLP词频背后的含义——隐性语义分析

隐性语义分析基于最古老和最常用的降维技术——奇异值分解（SVD）。SVD将一个矩阵分解成3个方阵，其中一个是对角矩阵。SVD的一个应用是求逆矩阵。一个矩阵可以分解成3个最简单的方阵，然后对这些方阵求转置后再把它们相乘，就得到了原始矩阵的逆矩阵。它为我们提供了一个对大型复杂矩阵求逆的捷径。SVD适用于桁架结构的应力和应变分析等机械工程问题，它对电气工程中的电路分析也很有用，它甚至在数据科学中被用于基
zhangbin_237·2024-08-30 14:22

动手学深度学习（pytorch）学习记录20-自定义层[学习记录]

在深度学习中，自定义层是指开发者根据特定需求编写的神经网络层，而不是使用深度学习框架（如PyTorch、TensorFlow等）提供的现成层。自定义层可以让模型更加灵活，以适应特定的任务或数据集。目录没有参数的自定义层带参数的层没有参数的自定义层下面的CenteredLayer类要从其输入中减去均值。要构建它，只需继承基础层类并实现前向传播功能。importtorchimporttorch.nn.
walfar·2024-08-30 13:13

动手学深度学习（pytorch）学习记录21-读写文件(模型与参数)[学习记录]

目录加载和保存张量加载和保存模型参数保存模型的好处众多，涵盖了从开发到部署的整个机器学习生命周期。节省资源：训练模型可能需要大量的时间和计算资源。保存模型可以避免重复训练，从而节省时间和计算资源。快速部署：一旦模型被训练并保存，它可以迅速部署到生产环境中，加速产品上市时间。版本控制：保存不同版本的模型有助于跟踪模型的迭代过程，便于比较和回滚到之前的版本。离线使用：保存的模型可以在没有网络连接的情况
walfar·2024-08-30 12:42

自然语言处理（NLP）与机器学习：深度探索两者的关系

自然语言处理（NLP）与机器学习：深度探索两者的关系1.自然语言处理(NLP)的概述NLP的主要任务包括：2.机器学习(ML)的概述机器学习的主要类型包括：3.NLP与机器学习的关系1.机器学习驱动NLP
听忆.·2024-08-30 10:51

《微班会创意设计与实施》学习记录

终于读到150页了，实践证明，学习的确很难熬，读了十几天才150页。最近的案例基本都是解决违纪事件。如果学生多次出现同样的违纪事件，多半是班级的反馈机制出了问题，包括学生对老师的及时反馈和老师对学生的及时反馈，班主任要及时补救。并且一定避免班级出现小团伙。一旦违反纪律的学生抱团了，无论男生团伙，女生团伙，都会气焰大涨，班主任就会一对多，很难对付。一旦抱团，班主任就要想办法分化。
雎雎_·2024-08-30 06:44

C语言学习记录（三）

我们紧接上篇的内容，上节我们提到了数据类型以及一些运算符，这节我决定给大家分享一下顺序结构，让大家更加深入理解、以及能达到自己运用运算符完成一些与顺序结构相关的简单的题目。一.顺序结构顺序结构是三大基础结构中最简单也是最容易的，其实现方式为从上至下依次进行，不需要进行任何判断，它是由一系列按特定顺序执行的操作组成，每个操作完成后才会执行下一个操作，这种执行过程就像按照任务列表逐项完成一样，依照线性
Tian Sifan·2024-08-30 06:30

学习记录第十二天

标识符的作用域：作用域：标识符可生效的范围局部作用域（LocalScope）:1.定义：局部变量是在函数内部或某个代码块（如if语句或循环语句）中声明的变量。它们的作用域仅限于声明它们的函数或代码块。2.生命周期：局部变量的生命周期是短暂的，它们在函数调用开始时被创建，在函数调用结束时被销毁。对于在代码块中声明的变量，其生命周期从变量声明开始到代码块结束时结束。全局作用域（GlobalScope）
喵了d喵·2024-08-30 06:58

学习记录第十九天

标准io的概念IOinputoutputI：键盘是标准输入设备====》默认输入就是指键盘O：显示器是标准输出设备==》默认输出就是指显示器Linux操作系统当中IO都是对文件的操作manmanman==>所有man的帮助manxxx==man1xxx===>查看当前xxx命令man2xxx===>查看xxx对应的系统调用函数man3xxx===》查看xxx对应的标准库函数fopenfopen是C
喵了d喵·2024-08-30 06:58

学习记录第二十五天

wait函数wait函数是一个系统调用，用于等待一个子进程结束并回收其资源。当父进程调用wait函数时，它会暂停执行，直到至少有一个子进程结束。wait函数的原型如下：#include#includepid_twait(int*status);1.status参数是一个指针，用于存放子进程的退出状态信息。如果不需要检查子进程的退出状态，这个参数可以设置为NULL。2.如果wait函数成功，它返回结
喵了d喵·2024-08-30 06:58

大模型训练和推理

文章目录一、NLP基础1.Tokenizer2.positionencoding3.注意力机制与transformer架构二、大模型训练1.SFT训练2.RLHF训练3.分布式并行训练技术（1）模型并行
李明朔·2024-08-30 01:27

微信小程序学习记录（2）视图层之wxml（数据绑定大括号，wx:for,wx:if）

1，数据绑定WXML中的动态数据均来自对应Page的data。用双大括号将变量包起来，可以作用于(参考：https://www.w3cschool.cn/weixinapp/weixinapp-data.html)内容{{message}}Page({data:{message:'HelloMINA!'}})组件属性（需要在双引号之内）Page({data:{id:0}})控制属性（需要早双引号之
Spider_man_·2024-08-29 21:56

自然语言处理系列四十二》新词发现与短语提取》新词发现》代码实战

自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列四十二新词发现》代码实战短语提取算法原理总结自然语言处理系列四十二新词发现》代码实战新词发现是NLP
陈敬雷-充电了么-CEO兼CTO·2024-08-29 20:24

计算机毕业设计之基于Python的旅游景点评论内容分析与研究

通过运用自然语言处理（NLP）技术，清洗并预处理了这些数据，以便于后续分析。随后，采用情感分析方法来识别和量化评论中的主观态度和情绪倾向，从而判断游客的整体满意度。
微信bishe58·2024-08-29 10:49

AI学习记录 - 对抗性神经网络

有用点赞哦学习机器学习到一定程度之后，一般会先看他的损失函数是什么，看他的训练集是什么，训练集是什么，代表我使用模型的时候，输入是什么类型的数据。对抗神经网络其实可以这样子理解，网上一直说生成器和判别器的概念，没有触及到本质。我有一种看法：假如当前场景是输入模糊图片，然后输出高质量图片。当判别器和生成器本来就是一个模型，在不把判别器生成器拆开的时候，我输入一张图片，这个模型输出的是0和1，那这个整
victor-AI最好的学习方式是画图·2024-08-29 09:40

【机器学习-随记】使用 Slack 和 Facebook Messenger 的消息机器人实现虚拟客服人员

使用Slack和FacebookMessenger的消息机器人实现虚拟客服人员1.平台选择与集成2.消息机器人开发3.自然语言处理(NLP)4.虚拟助手功能实现5.语音助手集成6.安全与用户隐私7.测试与部署边走
听忆.·2024-08-29 06:19

论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

论文：Retrieval-AugmentedGenerationforKnowledge-IntensiveNLPTaskscode:https://github.com/huggingface/transformerscode
Ian_Wonder·2024-08-28 18:27

初识LangChain的快速入门指南

初识LangChain的快速入门指南LangChain是一个强大的自然语言处理（NLP）工具链，旨在帮助开发者快速构建复杂的语言处理应用。
hai40587·2024-08-28 17:50

【好书分享第十期】大模型应用解决方案_基于ChatGPT和GPT-4等Transformer架构的自然语言处理（文末送书）

文章目录前言一、内容简介二、作者简介三、目录四、摘录粉丝福利前言在不到4年的时间里，Transformer模型以其强大的性能和创新的思想，迅速在NLP社区崭露头角，打破了过去30年的记录。
屿小夏·2024-08-28 14:56

【Python机器学习】NLP分词——利用分词器构建词汇表（三）——度量词袋之间的重合度

如果能够度量两个向量词袋之间的重合度，就可以很好地估计他们所用词的相似程度，而这也是它们语义上重合度的一个很好的估计。因此，下面用点积来估计一些新句子和原始的Jefferson句子之间的词袋向量重合度：importpandasaspdsentence="""ThomasJeffersonBeganbulidingMonticelliastheageof26.\n"""sentence=senten
zhangbin_237·2024-08-28 05:33

【Python机器学习】NLP概述——深度处理

自然语言处理流水线的各个阶段可以看作是层，就像是前馈神经网络中的层一样。深度学习就是通过在传统的两层机器学习模型架构（特征提取+建模）中添加额外的处理层来创建更复杂的模型和行为。上图中，前四层对应于聊天机器人流水线中的前两个阶段（特征提取和特征分析）。例如，词性标注（POS标注）是在聊天机器人流水线的分析阶段生成特征的一种方法。POS标签由默认的SpaCY流水线自动生成，该流水线包括上图中所有的前
zhangbin_237·2024-08-28 05:03

【Python机器学习】NLP分词——词干还原的挑战

要想使用自然语言处理的相关应用，第一件事就是需要一个强大的词汇表。我们要把文档或任何字符串拆分为离散的有意义的词条，这里说的词条仅限于词、标点符号和数值，但是这里使用的技术可以很容易推广到字符序列包含的任何其他有意义的单元，比如ASCII表情符号、Unicode表情符号和数学符号。从文档中检索词条需要一些字符串处理方法，这些方法不仅仅是str.split()，处理时需要把标点符号与词分开，还需要将
zhangbin_237·2024-08-28 05:03

Docker 部署 Nacos Spring Cloud

如有异常Docker部署NacosSpringCloud项目搭建可以参考上一篇SpringCloud+Nacos学习记录.dockerpullNacos镜像及启动容器dock
雨夜星空丶月·2024-08-27 23:52

NLP化学反应式

我只能承认，这样子理解NLP的人一定是个奇葩。对，我必须承认自己是个奇葩。因为以前的我总认为这世界很奇葩，所以我也只能变成个奇葩才能适应它……呃，Whatonearth我奇葩吗？
福哥0075826·2024-08-27 17:07

torch.max()学习记录

x=tourch.tensor([[1,2,3],[4,6,5],[9,11,4],[-2,6,20]])为4*3的一个张量1)请思考y的值y=torch.max(x,dim=0)分析：x是一个2D:4*3的张量，dim=0，表示按照行操作，得到的张量shape=3,对应的是[1,4,9,-2】，【2,6,11,6】，【3,5,4,20】三组内挑选最大值组分别是9、11、20成为【9,11,20】
wu_huashan·2024-08-27 13:50

常见的NLP处理框架介绍！

自然语言处理（NLP）处理框架是指一系列用于开发、实现和部署自然语言处理应用程序的工具、库和框架。
weixin_54503231·2024-08-27 09:21

NLP学习——信息抽取

信息抽取自动从半结构或无结构的文本中抽取出结构化信息的任务。常见的信息抽取任务有三类：实体抽取、关系抽取、事件抽取。1、实体抽取从一段文本中抽取出文本内容并识别为预定义的类别。实体抽取任务中的复杂问题：重复嵌套，原文中多个实体之间共享片段不连续，一个实体由多个不连续片段组成2、关系抽取从文本中抽取一对实体和预定义的关系类型。传统的关系抽取任务实现方案是先进行实体抽取，再输入头尾实体与原文进行关系分
P-ShineBeam·2024-08-27 01:36

Sylar C++高性能服务器学习记录02 【日志管理-代码分析篇】

早在19年5月就在某站上看到sylar的视频了，一直认为这是一个非常不错的视频。由于本人一直是自学编程，基础不扎实，也没有任何人的督促，没能坚持下去。每每想起倍感惋惜，遂提笔再续前缘。为了能更好的看懂sylar，本套笔记会分两步走，每个系统都会分为两篇博客。分别是【知识储备篇】和【代码分析篇】(ps:纯粹做笔记的形式给自己记录下，欢迎大家评论，不足之处请多多赐教)QQ交流群：957100923B站
古猜..·2024-08-26 22:12

Prompt-Tuning：大模型微调技术

随着深度学习技术的不断发展，大模型（如GPT、BERT等）在各种自然语言处理（NLP）任务中取得了显著的成功。然而，训练和部署大模型需要大量的计算资源和时间，这限制了其在一些资源有限场景中的应用。
百度_开发者中心·2024-08-26 19:14

喝了那么多鸡汤，你知道哪一碗有毒吗？

虽然曾经我也学过NLP里一句话：“一个人不能改变另一个人。”在此之后我也一直在做出改变，不再去强势的想要改变别人，可是最近我却被文章开始的这句话迷失自我。
b66c6f1f6d41·2024-08-26 11:28

从零开始大模型开发与微调：有趣的词嵌入

从零开始大模型开发与微调：有趣的词嵌入作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来自然语言处理（NLP）领域近年来取得了飞速发展
AGI通用人工智能之禅·2024-08-26 08:33

【Python机器学习】NLP概述——自然语言智商

就像人类的智能一样，如果不考虑多个智能维度，单凭一个智商分数是无法轻易衡量NLP流水线的能力的。衡量机器人系统能力的一种常见方法是：根据系统行为的复杂性和所需的人类监督成都这两个维度来衡量。
zhangbin_237·2024-08-26 01:20

【自然语言处理】0821学习记录

1.对于自然语言来讲，在自然语言处理的第一步，我们要面对的是各种各样以不同形式表现的文本数据，比如，有的是纯txt文档，有的是存储在Excel中的表格数据，还有的是无法直接打开的pkl文件等。2.整体框架如下：2.1txt文本的读写(1)write()(2)open()(3)参数mode(4)readline()readread()不同点2.2CSV以及Excel的文本读写2.3dataFrame
007的米奇妙妙屋·2024-08-26 00:19

《人工智能与自然语言处理：开启智能交流新时代》

其中，自然语言处理（NaturalLanguageProcessing，简称NLP）作为人工智能的一个重要分支，正逐渐改变着我们与计算机交互的方式。那么，人工智能究竟是如何进行自然语言处理的呢？
程序猿阿伟·2024-08-25 22:03

深度学习--复制机制

复制机制（CopyMechanism）是自然语言处理（NLP）中特别是在文本生成任务中（如机器翻译、摘要生成等）使用的一种技术。
Ambition_LAO·2024-08-25 21:28

python通过Gurobi求解线性规划

Gurobi使用基本步骤求解线性规划模型代码实现GurobiGurobi是一款强大的商业数学规划求解器，用于解决线性规划（LP）、整数规划（IP）、混合整数规划（MIP）、二次规划（QP）、非线性规划（NLP
vibag·2024-08-25 18:09

将遍历出的结果字符串装在列表

fromKeyword_extractionimportThe_original_titleKey_word=[]foriinThe_original_title:fromdtl_nlpimportmax_length_wordsll
月夜星空下·2024-08-25 17:54

阿里云力夺 FewCLUE 榜首！知识融入预训练+小样本学习的实战解析

中文语言理解权威评测基准CLUE自成立以来发布了多项NLP评测基准，包括分类榜单，阅读理解榜单和自然语言推断榜单等，在学术界、工业界产生了深远影响。其中，FewCLUE是CLUE最新推出的一
阿里云技术·2024-08-25 16:26

人工智能领域--RAG技术

RAG，即Retrieval-AugmentedGeneration（检索增强的生成），是一种结合了检索（Retrieval）和生成（Generation）机制的人工智能技术，常用于提升自然语言处理（NLP
胡萝卜不甜·2024-08-25 13:39

【ShuQiHere】“从 One-Hot 到 GPT：窥探词表示技术的演变”

【ShuQiHere】在自然语言处理（NLP）领域，如何让机器理解人类语言一直是一个核心问题。而词表示（WordRepresentation）正是解决这个问题的基础技术。
ShuQiHere·2024-08-25 08:06

用 Unsloth 微调 LLaMA 3 8B

用Unsloth微调LLaMA38B今年4月份，Meta公司发布了功能强大的大型语言模型（LLM）Llama-3，为从事各种NLP任务的开发人员提供了功能强大可以在普通机器上运行的开源LLM。
liugddx·2024-08-25 08:05

探索Ruby的自然语言处理宝库：文本魔法的艺术

标题：探索Ruby的自然语言处理宝库：文本魔法的艺术在人工智能的浪潮中，自然语言处理（NLP）成为了连接人类语言与机器理解的桥梁。
2401_85743969·2024-08-25 05:47

23 注意力机制—BERT

目录BERT预训练NLP里的迁移学习BERTBERT动机BERT预训练NLP里的迁移学习在计算机视觉中比较流行，将ImageNet或者更大的数据集上预训练好的模型应用到其他任务中，比如小数据的预测、图片分类或者是目标检测使用预训练好的模型
Unknown To Known·2024-08-25 01:57

【2025校招】4399 NLP算法工程师笔试题

目录1.第一题2.第二题3.第三题⏰时间：2024/08/19输入输出：ACM格式⏳时长：2h本试卷分为单选，自我评价题，编程题单选和自我评价这里不再介绍，4399的编程题一如既往地抽象，明明是NLP岗位的笔试题
Iareges·2024-08-25 01:25

【博学谷学习记录】超强总结，用心分享|测试工程师必备技能总结：测试用例设计

测试用例设计软件测试设计方法：等价类（五星）边界值（五星）判定表（五星）场景法（流程图）（五星）错误推测法（二星）1.等价类划分法（五星）——复习知识作用：从穷举测试中解放出来，找到具有共同特性的测试输入子集。概念：代表性的测试输入集分类：有效等价类（满足需求）无效等价类（不满足需求）设计测试用例的步骤：需求分析划分等价类设计测试用例典型应用场景：具有典型输入框的场景2.边界值（五星）作用：对等价
小乖乖0419·2024-08-24 14:21

黄金票据 --- kerberos学习记录

文章目录Kerberos协议是怎么工作的一、黄金票据利用条件利用步骤Kerberos协议是怎么工作的这里首先要搞懂几个概念：认证服务器（AuthenticationServer，AS）：负责首次身份验证和颁发TGT（TicketGrantingTicket）给用户。用户通过AS向Kerberos服务器发送身份验证请求，并在验证通过后获取TGT。授权票证颁发服务器（TicketGrantingSer
B1ackMa9ic·2024-08-24 13:14

自然语言处理NLP之中文分词和词性标注

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录一、Python第三方库jieba（中文分词、词性标注）特点二、jieba中文分词的安装关键词抽取基于TF-IDF算法TF-IDF原理介绍基于TextRank算法的关键词抽取textRank算法原理介绍总结一、Python第三方库jieba
陈敬雷-充电了么-CEO兼CTO·2024-08-24 10:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他