Embedding

旋转位置编码

下面是具体的推导过程：https://zhuanlan.zhihu.com/p/642884818参考一文看懂LLaMA中的旋转式位置编码（RotaryPositionEmbedding）十分钟读懂旋转编码
transformer_WSZ·2023-09-14 06:14

electron bridge 通信封装

electron我们可以看一下官网给出的定义：ElectronisaframeworkforbuildingdesktopapplicationsusingJavaScript,HTML,andCSS.ByembeddingChromiumandNode.jsintoitsbinary
Weastsea·2023-09-14 03:07

AIGC：【LLM（八）】——Baichuan2技术报告

文章目录摘要1.引言2.预训练2.1预训练数据（Pre-trainingData）2.2架构（Architecture）2.3令牌化器（Tokenizer）2.3.1PositionalEmbeddings2.4
J_Xiong0117·2023-09-13 23:03

pytorch中使用embedding层的示例

importtorchimportpandasaspdimportnumpyasnp#定义数据集合label为Y标记df=pd.DataFrame({'id':[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20],'applist':[[1,4,3,7,8],[5,7,32,4,68,23,4,78,23,1],[21,23,45],[3,2,8
羊驼养殖户·2023-09-13 13:08

pytorch 频率 过滤 保留高频 保留低频

例如，输入序列是[[1,1,1,2,2],[3,3,4,4,4]],期望获得[[1,1,1,0,0]，[0,0,4,4,4]],之后再获取1和4的embedding表示。
weixin_37763484·2023-09-13 10:54

Transformer代码计算过程全解

条件设置batch_size=1src_len=8#源句子的最大长度根据这个进行padding的填充tgt_len=7#目标输入句子的最大长度根据这个进行padding的填充d_model=512#embedding
千禧皓月·2023-09-12 23:13

MapTR文章研读

在网络结构上，作者采用一种分层的queryembedding方法来灵活的编码结构性地图信息并且使用分层的二分匹配方法学习地图元素信息。  
高的好想出去玩啊·2023-09-12 18:22

人工智能安全-4-小样本问题

ZSL就要求学习的问题具备充足的先验知识，例如wordNet，wordembedding等；K比较小，FSL(fewshotlear
HenrySmale·2023-09-12 16:55

LangChain-Chatchat：基于LangChain和ChatGLM2-6B构建本地离线私有化知识库

LangChain和ChatGLM2-6B构建本地离线私有化知识库一、前言二、介绍2.1、ChatGLM2-6B2.2、LangChain-Chatchat介绍三、模型支持3.1、LLM模型支持3.2、Embedding
徊忆羽菲·2023-09-12 12:56

常用的词嵌入（Word Embedding）方法及其原理（超详细的李宏毅视频课笔记）

文章目录0前言1计算机读取word的方式2WordEmbedding3Bycontext3.1countbased3.2predictionbased3.3Prediction-based-SharingParameters3.3.1
Y_蒋林志·2023-09-12 05:58

文本表示｜独热编码｜整数编码｜词嵌入

文本表示（Representation）作用：将非结构化的信息（文本）转化为结构化的信息（向量）文本表示的方法：1.one-hotrepresentation独热编码2.整数编码3.wordembedding
程非池的小软·2023-09-12 01:56

ELMo 原理解析

本文首发于我的个人博客：SuiXin'sBlog原文：https://suixinblog.cn/2019/09/elmo.html作者：SuiXinELMo(EmbeddingsfromLanguageModels
Sui_Xin·2023-09-12 00:39

torch.nn用法

1.nn.embeddingnn.Embedding是PyTorch中的一个嵌入层（EmbeddingLayer），通常用于将离散的整数索引映射为连续的实值向量。
qq_38196982·2023-09-11 17:55

RNN项目实战——文本输入与预测

因为绝大多数的NLP任务，文本数据都会先通过嵌入码（Embeddingcode)，独热编码(One-hotencoding)等方式转为数字编码。在本篇文章中，我将使用one-hot编码标识我们的字符。
做程序员的第一天·2023-09-11 09:05

轻松搭建本地知识库的ChatGLM2-6B

依托于本项目支持的开源LLM与Embedding模型，本项目可实现全部使用开源模型离线私有部署。与此同时，本项目也支持OpenAIGPT
Dr.sky_·2023-09-11 09:05

时空预测 | 线性时空预测模型、图时空预测

输入分为三个部分：temporalembedding、spatialembedding、dataembedding。其中temporalembedding代表日期相关的特征，例如一天中的第几个小时；s
机器学习之心·2023-09-11 05:45

机器学习：自然语言处理上的对抗式攻击

而NLP的复杂度跟词典有关系：NLP只能在embedding后的特征上加噪声EvasionAttacks电影的评论情感分类，将film换成films后，评论从消极变成了积极。
uncle_ll·2023-09-11 05:44

NLP中的对抗学习VS对比学习-1

2embedding是什么？
YingJingh·2023-09-11 05:44

ELMO/BERT/ERNIE/GPT简单概述

原文链接:http://chenhao.space/post/3b65b065.htmlEmbedding我们希望给不同意思的token也要给它们不同的embedding。
CCChenhao997·2023-09-11 03:08

VL系列 Exchanging-based Multimodal Fusion with Transformer 论文阅读笔记

多模态融合Exchanging-basedMultimodalFusionwithTransformer论文阅读笔记一、Abstract二、引言三、相关工作3.1深度多模态融合四、方法4.1低维投影和embedding
乄洛尘·2023-09-10 21:45

撰寫自己的Python C擴展!

函數完整代碼編譯及鏈接使用gcc使用gcc+Pythonflags使用distutils從Python調用C函數直接import使用distutils透過ctypes調用so檔前言本篇為ExtendingandEmbeddingthePython
keineahnung2345·2023-09-10 03:12

Pytorch——常用损失函数详解

文章目录损失函数总结部分特殊损失函数详解1.余弦损失函数`torch.nn.CosineEmbeddingLoss`损失函数总结首先直接贴上个人看过比较好的一些的解析：深度学习之常用损失函数损失函数loss
Irving.Gao·2023-09-09 19:26

论文周报 | 推荐系统领域最新研究进展

1.Single-shotEmbeddingDimensionSearchinRecommenderSystem,SIGIR2022LiangQu,
机器学习与推荐算法·2023-09-09 12:42

【计算机视觉 | 图像分割】arxiv 计算机视觉关于图像分割的学术速递（9 月 8 日论文合集）

1.1TrackingAnythingwithDecoupledVideoSegmentation1.2Aboundary-awarepointclusteringapproachinEuclideanandembeddingspacesforroofplanesegmentation1.3TowardsComparableKnowledgeDistillati
旅途中的宽~·2023-09-09 12:12

VIT 和Swin Transformer

blog.csdn.net/qq_37541097/article/details/121119988一、VIT模型由三个模块组成：LinearProjectionofFlattenedPatches(Embedding
cv-daily·2023-09-09 07:22

文本分类总结

结构：input→embedding→convolution→pooling→concated→softmax→output缺点：CNN的窗口大小不好
许志辉Albert·2023-09-09 02:02

【AI理论学习】语言模型：BERT的优化方法

BERT是否存在将positionalembedding与tokenembedding
镰刀韭菜·2023-09-09 01:43

知识增强的预训练语言模型系列之KEPLER：如何针对上下文和知识图谱联合训练

©原创作者|杨健论文标题：KEPLER:Aunifiedmodelforknowledgeembeddingandpre-trainedlanguagerepresentation收录期刊：TACL论文链接
NLP论文解读·2023-09-08 21:25

1分钟实现 CLIP + Annoy + Gradio 文搜图+图搜图 系统

多模态图文搜索系统CLIP进行Text和Image的语义EmbeddingAnnoy向量数据库实现树状结构索引来加速最近邻搜索Gradio轻量级的机器学习Web前端搭建文搜图图搜图CLIP图像语义提取功能
Yuezero_·2023-09-08 10:34

非监督文本摘要

本文将介绍如何利用sentenceembedding来做文本摘要。什么是文本摘要？文本摘要是从一些文本资源中抽取重要信息并生成“主旨、概要”的过程。
fighting41love·2023-09-08 07:26

浅谈ELMO、GPT和BERT模型

Note:1输入是一个句子的embeddingE1~En，输出是T1～Tn（分别对应其上下文）。
sunhua93·2023-09-08 05:43

DPCNN分类模型

TextCNN不能通过卷积获得文本的长距离关系依赖，DPCNN通过加深网络，可以抽取长距离的文本依赖关系，regionembedding：包
Mark_Aussie·2023-09-08 05:39

详解Vision Transformer中的Encoder

包含InputEmbeddingPositionalEncoding多头注意力机制+Add&Norm(前馈网络)FeedForward+Add&Norm2.1InputEmbedding2.2PositionalE
computer_vision_chen·2023-09-07 16:58

ArchR官网教程学习笔记15:ArchR的整合分析

官网教程学习笔记3:创建ArchRProjectArchR官网教程学习笔记4:ArchR的降维ArchR官网教程学习笔记5:ArchR的聚类ArchR官网教程学习笔记6:单细胞嵌入（Single-cellEmbeddings
生信start_site·2023-09-07 04:53

ReID网络：MGN网络(4) - Loss计算

三元损失主要用于ReID算法，目的是帮助网络学习到一个好的Embedding信息。
赛先生.AI·2023-09-07 04:57

机器学习笔记：node2vec（论文笔记：node2vec: Scalable Feature Learning for Networks）

2016KDD1intro利用graph上的节点相似性，对这些节点进行embedding同质性：节点和其周围节点的embedding比较相似蓝色节点和其周围的节点结构等价性结构相近的点embedding
UQI-LIUWJ·2023-09-06 15:36

Langchain使用介绍之 - 基于向量存储进行检索

TextEmbeddingModels如何将一段Document转换成向量存储到向量数据库中，首先需要了解Langchain提供了哪些将文本转换成向量的model，langchian提供了很多将自然语言转换成向量的的模型
taoli-qiao·2023-09-06 11:54

哥哥手把手教你Flutter热更新大招，来了老弟

libflutter.so，该文件为FlutterEngine(引擎)层的C++实现，提供skia(绘制引擎)，Dart，Text(纹理绘制)等支持；libs：该目录下存在文件为flutter.jar，该文件为Flutterembedding
哥哥是欧巴Vitory·2023-09-05 23:20

模型部署

一、深度模型线上部署1、预训练embedding+轻量级模型复杂网络离线训练，生成embedding存入内存数据库，线上实现LR或浅层NN等轻量级模型拟合优化目标；（1）分别用复杂网络对“用户特征”和“
inspiredhss·2023-09-05 22:13

Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings

摘要：在本文中，我们提出了一个端到端的图学习框架，即迭代深度图学习（IDGL），用于联合和迭代地学习图结构和图嵌入。IDGL的关键理论是基于更好的节点嵌入来学习更好的图结构，反之亦然（即基于更好的图结构来学习更好的节点嵌入）。我们的迭代方法在学习到的图结构足够接近于下游预测任务优化的图时动态停止。此外，我们将图学习问题作为相似度度量学习问题，并利用自适应图正则化来控制学习图的质量。最后，我们结合锚
让AI服务于我·2023-09-05 15:08

tf.layers.dense 报错

dense_output=tf.layers.dense(f_dense_input,embedding_dim)报错：KerasAttributeError:'NoneType'objecthasnoattribute
陈半仙儿·2023-09-05 13:16

2020-02-27-ModelCode

召回策略：热度，LBS，usertag，itemcf，频繁模式挖掘，二部图挖掘，embedding（word2vec、fasttext、bert），deepmatch排序策略，learningtorank
inspiredhss·2023-09-05 13:59

multimodal efficient tuning

该框架的具体做法是将图片encoder训练到wordembedding的空间当中，ModularandParameter-EfficientMultimodalFusionwithPrompting提出了
zclfe·2023-09-05 12:02

NLP进阶，使用TextRNN和TextRNN_ATT实现文本分类

TextRNNTextRNN仅仅是将WordEmbedding后，输入到双向LSTM中，然后对最后一位的输出输入到全连接层中，在对其进行softmax分类即可，模型如下图：代码：classRNN(nn.Module
静静AI学堂·2023-09-05 01:26

预训练语言模型的前世今生 - 从Word Embedding到BERT

转自知乎：预训练语言模型的前世今生-从WordEmbedding到BERT-https://zhuanlan.zhihu.com/p/396763828Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高
沧海之巅·2023-09-04 21:38

【深度学习】从Word Embedding到Bert模型

Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Bert值得这么高的评价吗？我个人判断是值得。那为什么会有这么高的评价呢？是因为它有重大的理论或者模型创新吗？其实并没有，从模型创新角度看一般，创新不算大。但是架不住效果太好了，基本刷新了很多NLP的任务的最好性能，有些任务还被刷爆了，这个才是关键。另外一点是Bert具备广泛的通用性，就是说绝大部分NLP任务都可以采用类似的两阶段模
UESTC_20172222·2023-09-04 21:07

学习：从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史

复制链接Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Bert值得这么高的评价吗？我个人判断是值得。那为什么会有这么高的评价呢？是因为它有重大的理论或者模型创新吗？其实并没有，从模型创新角度看一般，创新不算大。但是架不住效果太好了，基本刷新了很多NLP的任务的最好性能，有些任务还被刷爆了，这个才是关键。另外一点是Bert具备广泛的通用性，就是说绝大部分NLP任务都可以采用类似的
BruceCheen·2023-09-04 21:37

【AI理论学习】语言模型：从Word Embedding到ELMo

语言模型：从WordEmbedding到ELMoELMo原理Bi-LM总结参考资料本文主要介绍一种建立在LSTM基础上的ELMo预训练模型。
镰刀韭菜·2023-09-04 21:35

入门自然语言处理必看，图解word2vec！

图解word2vec精翻版，加入了自己的理解，和稍微有点出入，http://jalammar.github.io/illustrated-word2vec/image词嵌入（embedding）是机器学习中最惊人的创造
助力笔记·2023-09-04 20:56

torch部分用法(一)

从官方用例中学到的函数用法torch.manual_seed(int)torch.Tensor.item()torch.nn.Embedding(num_embedding,embedding_dim)
Rocoberry_团子·2023-09-04 06:01
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他