NLP损失函数

60分钟吃掉ChatGLM2-6b微调范例~

干货预警：这可能是你能够找到的最容易懂的，最完整的，适用于各种NLP任务的开源LLM的finetune教程~ChatGLM2-6b是清华开源的小尺寸LLM，只需要一块普通的显卡(32G较稳妥)即可推理和微调
算法美食屋·2024-02-20 14:59

自然语言处理（NLP） —— 心理语言学

1.认知科学和心理语言学的发展与任务认知科学和心理语言学是两个密切相关的领域，它们研究认知过程和语言使用是如何相互作用的。1.1认知科学和心理语言学的历史发展在历史上，这两个领域的发展经历了几个重要的阶段：1.1.119世纪晚期（内省法）Wundt和其他德国心理学家使用一种叫做内省法的研究方法。内省法是一种主观的方法，研究者通过自我观察和分析个人的思维过程来研究心理现象。这种方法高度依赖于个体的自
思诺学长·2024-02-20 14:24

2018-05-08 感恩日记

1）感谢小琼姐给我送礼物提出中肯建议，语言可以更活泼，心可以更敞开一些，感恩感谢；2）感谢小琼姐坦诚无私分享的NLP，自己以前也看过，但没有真正用起来，这是个契机深入理解这个工具再次用起来，感恩感谢；3
陈艳芳_育儿及修行成长·2024-02-20 13:29

Gemini技术报告解读：从Google多模态大模型看后续大模型应该具备哪些能力

来自：NLPPaperWeekly快来！NLP论文投稿、LLM交流、论文直播群前段时间Google推出Gemini多模态大模型，展示了不凡的对话能力和多模态能力，其表现究竟如何呢？
zenRRan·2024-02-20 13:00

HanLP实战教程：离线本地版分词与命名实体识别

HanLP是一个功能强大的自然语言处理库，提供了多种语言的分词、命名实体识别等功能。然而，网上关于HanLP的说明往往比较混乱，很多教程都是针对很多年前的API用法。
Tim_Van·2024-02-20 13:58

Prompt Engineering 提示工程教程详情

PromptEngineering（提示工程）是一种在自然语言处理（NLP）领域越来越受欢迎的技术。
沐知全栈开发·2024-02-20 11:33

Prompt Engineering 高级提示工程技巧

PromptEngineering（提示工程）是一种在自然语言处理（NLP）领域越来越受欢迎的技术。
沐知全栈开发·2024-02-20 11:33

Nlp第二节

下午危娜老师给许桂华做了一个个案，桂花在描述她童年遭遇的时候泣不成声，我当时也泪流满面，因为我的童年和桂花太像了，只不过我从来没有勇气站出来表达。我的父亲是一个性格暴躁的人，稍有不慎就对我拳打脚踢，我的童年一直生活在恐惧之中，时时担心被打、被骂。桂花说她从来不敢看母亲的眼睛，而我也是，我对父亲一直心怀恐惧，充满怨恨。可是我想说，过去已经过去了，我们早已长大。我们需要面对，需要对自己的人生负责，再说
六六_9e47·2024-02-20 11:50

pyhanlp最全安装和使用教程

文章目录pyhanlp介绍pyhanlp安装分词关键词提取文本摘要依存句法分析短语提取NER中国人名识别音译名识别简繁转换拼音转换pyhanlp可视化pyhanlp介绍HanLP是一个由中国开发者何晗(
Cachel wood·2024-02-20 10:02

OLMO：Accelerating the Science of Language Models

加速语言模型科学摘要1引言2OLMO框架3训练OLMO4结果5已发布的工作6许可7结论和未来工作摘要语言模型（LMs）已经在NLP研究和商业产品中无处不在。
UnknownBody·2024-02-20 08:41

从代码的层面掌握LLM的路线

从第二个项目来掌握对训练数据的使用方法及transformer的decoder的细节；从第三个项目来理解LLM的整个过程；1，Transformertutorial阶段的教程https://github.com/wmathor/nlp-tutorial
Eloudy·2024-02-20 08:41

AI手机是什么原理

自然语言处理（NLP）：AI手机使用NLP技术来理解和生成人类语言，使得用户可以通过语音命令与
小黄人软件·2024-02-20 08:04

利用PaddleNLP进行文本数据脱敏

因此尝试使用了paddlenlp中的taskflow进行处理。主要思路就是利用ner
weixin_37763484·2024-02-20 07:29

神经网络权重初始化

权重是可训练的参数，意味着它们会在训练过程中根据反向传播算法自动调整，以最小化网络的损失函数。每个神经元接收到的输入信号会与相应的权重相乘，然后所有这些乘积会被累加在一起，最后可能还会加
诸神缄默不语·2024-02-20 06:49

机器学习入门--门控循环单元(GRU)原理与实践

GRU模型随着深度学习领域的快速发展，循环神经网络（RNN）已成为自然语言处理（NLP）等领域中常用的模型之一。但是，在RNN中，如果时间步数较大，会导致梯度消失或爆炸的问题，这影响了模型的训练效果。
Dr.Cup·2024-02-20 05:43

2021-02-02 NLP心理实操作线上课 day2（3讲）

#人生脚本【学习内容】：第三讲：人生脚本1、怎样理解脚本？心智策略更倾向是一个动词，是一个行动；而脚本是探索，探索我们因何会有这样的策略。2、探索：（1）用一张纸写下一些词语，来形容小时候爸爸和妈妈是怎样对待我们的。（2）保留这些词语，分别改写：A.现在，我是这样对待我的爱人与孩子B.现在，我是这样对待我自己影响：通常父母对待我们自己的方式就是现在自己对待亲近的人和自己的人生脚本。（3）看看手里的
海洋7606·2024-02-20 04:01

深度学习之反向传播算法（backward()）

该方法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。
Tomorrowave·2024-02-20 01:27

自然语言处理 NLP

综述自然语言处理概述自然语言处理（NLP）是为了让计算机理解自然语言。
lifallen·2024-02-20 00:16

机器学习中为什么需要梯度下降

在机器学习中，梯度下降是一种常用的优化算法，用于寻找损失函数的最小值。我们可以用一个简单的爬山场景来类比梯度下降的过程。假设你被困在山上，需要找到一条通往山下的路。
华农DrLai·2024-02-19 23:16

清华AutoGPT：掀起AI新浪潮，与GPT4.0一较高下

引言：随着人工智能技术的飞速发展，自然语言处理（NLP）领域迎来了一个又一个突破。最近，清华大学研发的AutoGPT成为了业界的焦点。这款AI模型以其出色的性能，展现了中国在AI领域的强大实力。
GT开发算法工程师·2024-02-19 22:51

自然语言处理入门：使用Python和NLTK进行文本预处理

文章标题：自然语言处理入门：使用Python和NLTK进行文本预处理简介自然语言处理（NLP）是人工智能领域的一个重要分支，它致力于使计算机能够理解、分析和生成人类语言。
Evaporator Core·2024-02-19 19:29

NLP-词袋模型

词袋模型是自然语言处理中常用的一种文本表示方法，用于将文本转换为数值型向量，以便于计算机进行处理和分析。在词袋模型中，文本被看作是一个由词语组成的集合，而每个词语都是独立的，不考虑它们在文本中的顺序和语境关系。因此，词袋模型将文本表示为一个固定长度的向量，其中每个维度对应一个词语，该维度的值表示该词语在文本中出现的频次或者其他统计量。具体来说，词袋模型包括以下步骤：分词：将文本按照一定的规则或算法
草明·2024-02-19 19:58

NLP_自然语言处理项目(2)：seq2seq_attention_机器翻译（基于PyTorch）

1、seq2seq_attention_机器翻译seq2seq_attention是一种基于神经网络的机器翻译模型，它通过编码器和解码器两个部分实现翻译功能。编码器将源语言句子转换为一个固定长度的向量表示，解码器则将这个向量作为输入，生成目标语言句子的翻译结果。在seq2seq_attention中，编码器和解码器都是由循环神经网络（RNN）组成的。编码器将源语言句子中的每个单词依次输入RNN，每
@硬train一发·2024-02-19 18:56

精通PyTorch：如何选择合适的优化器和损失函数

精通PyTorch：如何选择合适的优化器和损失函数引言PyTorch优化器概览PyTorch损失函数解析高级优化技巧优化器和损失函数的实战应用1.卷积神经网络（CNN）的应用实例2.循环神经网络（RNN
walkskyer·2024-02-19 16:38

如何使用 MongoDB 构建采用 AI 技术的应用程序

这可以包括机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等。确定您需要收集和处理的数据类型以及这些数据如何支持AI模型。设计数据模型：根据AI模型的需求设计MongoDB的数据模型。
数字化信息化智能化解决方案·2024-02-19 16:03

深度学习的应用实例

自然语言处理（NLP）情感分析：深度学习模型如循环神经网络（RNN）和Transformer等已被广泛用于情感分析任务，例如识别文本中的情感倾向或情感类别。
数字化信息化智能化解决方案·2024-02-19 16:27

今日arXiv最热NLP大模型论文：上海AI Lab联合清华发布十项全能数学大模型InternLM-Math

数学推理能力是大语言模型（LLMs）抽象推理能力的一个重要体现。近年来，随着深度学习技术的不断进步，LLMs在数学推理任务上取得了显著的进展。从小学级别到高中级别的数学问题，通过链式推理（chain-of-thoughtreasoning）或程序式推理（program-of-thoughtreasoning），LLMs展现出了解决数学问题的潜力。这些模型的构建需要在数学语料上进行预训练，并在数学问
夕小瑶·2024-02-19 16:56

今日Arxiv最热大模型论文：大语言模型真的理解上下文了吗？新研究揭示惊人发现

探索大型语言模型的上下文理解能力在自然语言处理（NaturalLanguageProcessing,NLP）领域，理解上下文是把握人类语言的关键。
夕小瑶·2024-02-19 16:55

上海NLP执行师课程（第四天）学习收获

今天是学习的第四天了。每天都有很多收获，今天也不例外。上午应老师讲的信念形成的三个阶段，对我很有触动。0一7岁是印记期，这个阶段的孩子全然开放，对外来的信息全然接受。基于这一点家长和幼儿园的老师对孩子的教育就有太多的地方值得反思。8一13岁是模伤期，14一21岁是社交期。通过应老师的讲解，我知道了在这三个阶段教育孩子的方法和注意事项。更懂得了作为中学教师要怎样去理解孩子和对待孩子。下午，危娜老师带
那兰提花1·2024-02-19 16:39

神经网络算法 —— Embedding（嵌入）！！

文章目录前言1、Embedding的本质（1）机器学习中的Embedding（2）NLP中的Embedding2、Embedding的原理（1）ImageEmbedding（图像嵌入）（2）WordEmbedding
JOYCE_Leo16·2024-02-19 15:15

OLMo论文里的模型结构的小白解析

attentionheads为32训练的token量为2.46T训练策略超参数在我们的硬件上优化训练吞吐量，同时最小化损失峰值和缓慢发散的风险来选择超参数损失峰值：在机器学习中，"损失峰值"通常指的是训练过程中损失函数的值突然增加到非常高的水平
瓶子好亮·2024-02-19 14:08

NLP课程学习017

今天2021年4月27日【学习内容】42，舒缓情绪的技巧43，保险箱技术【我的收获】情绪是我们的本能，也是能量。1.舒缓情绪的技巧：觉察-舒缓-表达-转化-运用。舒缓情绪的方法：深呼吸（我们忘了呼吸就会失去智慧）；混合法（集中注意力）；生理平衡法（放松，抚平情绪）运用身体的能量，用身体接触，调和身体能量，让情绪平和下来，多做一些身体能量，多拥抱自己。【我可以这样用】在孩子哭闹时我们经常会产生情绪，
贝字旁的赚·2024-02-19 14:53

【自然语言处理】:实验4布置，预训练语言模型实现与应用

清华大学驭风计划因为篇幅原因实验答案分开上传，自然语言处理专栏持续更新中，期待的小伙伴敬请关注有任何疑问或者问题，也欢迎私信博主，大家可以相互讨论交流哟~~案例简介2018年，Google提出了预训练语言模型BERT，该模型在各种NLP
X.AI666·2024-02-19 13:38

NLP_GPT生成式自回归模型

文章目录介绍完整代码小结介绍自回归(Autoregressive)是自然语言处理模型的一种训练方法，其核心思想是基于已有的序列(词或字符)来预测下一个元素。在GPT中，这意味着模型会根据给定的上文来生成下一个词，如图所示。在GPT模型的训练和推理这两个相互独立的过程中，“自回归”的含义是不同的。训练过程中的“自回归”:在训练阶段，GPT通过大量文本数据进行学习。模型会接收一个词序列作为输入，然后预
you_are_my_sunshine*·2024-02-19 12:32

关于VIT（Vision Transformer）的架构记录

这种刻意简化的设置的一个优势是，可扩展的NLPTransformer架构及其高效的实现几乎可以即插即用。图：模型概述。
一条小小yu·2024-02-19 12:53

NLP_BERT与GPT争锋

文章目录介绍小结介绍在开始训练GPT之前，我们先比较一下BERT和GPT这两种基于Transformer的预训练模型结构，找出它们的异同。Transformer架构被提出后不久，一大批基于这个架构的预训练模型就如雨后春笋般地出现了。其中最重要、影响最深远的两个预训练模型当然就是GPT和BERT这两个模型。在ChatGPT震惊世界之前，在自然语言处理领域影响最大的预训练模型是BERT，很多科研工作都
you_are_my_sunshine*·2024-02-19 12:13

如何使用Python进行自然语言处理

自然语言处理（NLP）是人工智能领域中一个非常重要的技术，它涉及到计算机对人类语言的理解和处理。
程序员～小强·2024-02-15 10:57

Day276 父母是孩子最好的催眠师

【温柔能量妈】NLP三阶第一天学习，潜意识是宝藏，里面有无穷的潜能未激发。潜意识有什么，我们的世界有什么，潜意识不分辨正面负面语言，它是照单全收。
李春华_7db6·2024-02-15 10:35

NLP_ChatGPT的RLHF实战

文章目录介绍小结介绍ChatGPT之所以成为ChatGPT，基于人类反馈的强化学习是其中重要的一环。而ChatGPT的训练工程称得上是复杂而又神秘的，迄今为止，OpenAl也没有开源它的训练及调优的细节。从OpenAl已经公开的一部分信息推知，ChatGPT的训练主要由三个步骤组成，如下图所示。原文：译文：第1步，先使用大量数据(从Prompt数据库中抽样)通过监督学习在预训练的GPT-3.5基础
you_are_my_sunshine*·2024-02-15 09:41

NLP快速入门

NLP入门课程链接：https://www.bilibili.com/video/BV17K4y1W7yb/?
Knoka705·2024-02-15 09:10

NLP_GPT到ChatGPT

GPT在多种NLP任务上取得了显著进步。GPT-2：2019年，OpenAI推出了GPT的升级版，拥有更多参数[15亿
you_are_my_sunshine*·2024-02-15 09:39

【AI视野·今日NLP 自然语言处理论文速览 第七十八期】Wed, 17 Jan 2024

AI视野·今日CS.NLP自然语言处理论文速览Wed,17Jan2024(showingfirst100of163entries)Totally100papers上期速览✈更多精彩请移步主页DailyComputationandLanguagePapersDeductiveClosureTrainingofLanguageModelsforCoherence
hitrjj·2024-02-15 09:57

Prompt Tuning：深度解读一种新的微调范式

面向不同种类NLP任务，prompt如何选择和设计？面向超大规模模型，如何借助prompt进行参数有效性训练？面向GPT3，什么是In-ContextLearning？什么是Chain-Of-
lichunericli·2024-02-15 09:55

时间是画面

图片发自App上海NLP专业执行师第三天，时间即是画面，每分每秒呈现不同的画面，说一说今天印象最深的几幅。
感恩生命中有你·2024-02-15 09:57

word embedding是什么，word embedding之前需要做什么？

从自然语言的角度看，NLP可以大致分为自然语言处理和自然语言生成这两部分，就是理解文本和文本生成。
liaolaa·2024-02-15 08:43

java实现beamsearch_beam search原理以及在NLP中应用

BeamSearch简介一、概要传统的广度优先策略能够找到最优的路径，但是在搜索空间非常大的情况下，内存占用是指数级增长，很容易造成内存溢出，因此提出了beamsearch的算法。beamsearch尝试在广度优先基础上进行进行搜索空间的优化(类似于剪枝)达到减少内存消耗的目的。二、BeamSearch算法新的概念为了达到搜索的目的，beamsearch引入了启发函数的概念(h)来估计从当前节点到
知乎汽车·2024-02-15 08:13

【AI视野·今日NLP 自然语言处理论文速览 第七十九期】Thu, 18 Jan 2024

AI视野·今日CS.NLP自然语言处理论文速览Thu,18Jan2024Totally35papers上期速览✈更多精彩请移步主页DailyComputationandLanguagePapersDecipheringTextualAuthenticity
hitrjj·2024-02-15 06:17

NLP 人生三件事

人生里的很多困扰并不是因为事件，而是我们没有区分清楚事情里面的边界，我们把很多事件揉在一起，就会变得乱，纠缠，从而让自己活得很累。人生三件事：1.自己的事:只能自己去做，对自己的人生负责任，自己的事情全力以赴，不把自己人生的钥匙交给他人。2.别人的事:一个人不能改变另一个人，尊重他人的选择，放下对他人的期待3.老天的事：臣服，尊重，顺势而为例：你开心了我就开心你关心我我心情就好这是一种托付心态，把
YOKI陶·2024-02-15 05:30

NLP4

限制性信念潜意识我的收获：我有很多时候会感到无助，无望，无资格或者叫无价值感，比如曾经有一次自己想卖东西，结果没人买，被拒绝，当时只觉得好没面子，原来以为别人也会像我一样热衷，结果没有人捧场，被拒绝了一次，我就再也没骨气第二次的勇气，可能是我小时候被这样拒绝了太多次，那种身体里的感觉太深刻，所以再一次体验，就陷在里面出不来了，全是羞耻，恐惧，就更不会去想一想，也许有人需要呢？也许有人跟我一样看好这
素月分辉·2024-02-15 05:44

闲聊自然语言处理NLP

原文链接无论在工程界还是学术界自然语言处理(NLP)一直是一个比较热的话题，尤其随着近些年深度学习的发展给NLP也带来一些新思路。对于这个话题随便聊聊，想到哪写到哪。
热血沸腾·2024-02-15 04:25
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他