Embeddings

Elasticsearch：将最大内积引入 Lucene

一个典型的例子是Cohere构建的嵌入（embeddings）。它们的向量使用幅度来提供更多相关信息。那么，为什么不允许点积中存在非归一化向量，从而实现最大内积呢？有什么大不了的？负值和Luc
Elastic 中国社区官方博客·2023-11-23 20:50

Jina AI 的 8K 向量模型上线 AWS Marketplace，支持本地部署！

2023年10月30日，JinaAI隆重推出jina-embeddings-v2，这是全球首款支持8192输入长度的开源向量大模型，其性能媲美OpenAI的闭源text-embedding-ada002
Jina AI·2023-11-23 09:06

【论文笔记】Holographic embeddings of knowledge graphs

github代码摘要提出全息嵌入（HOLE）来学习整个知识图的组合向量空间表示。背景现有的能够捕获关系数据中丰富交互的嵌入模型通常在可伸缩性方面受到限制。反之亦然，可以有效计算的模型通常表达能力要低得多。1.本文引入全息嵌入（HOLE），它使用实体嵌入（向量表示）的循环关联来创建二进制关系数据的组合表示。通过使用相关性作为组合运算符，HOLE可以捕获丰富的交互，但同时保持计算效率高、易于训练、可扩
CodingJazz·2023-11-20 08:15

理解 Word2Vec 之 Skip-Gram 模型

目录Word2Vec之Skip-Gram模型1什么是Word2Vec和Embeddings？
知更鸟女孩·2023-11-20 06:56

深度学习：到底怎么理解embedding

1.何为Embeddings–何为嵌入Embe
一支绝命钩·2023-11-19 17:06

论文阅读：JINA EMBEDDINGS: A Novel Set of High-Performance Sentence Embedding Models

AbstractJINAEMBEDINGS构成了一组高性能的句子嵌入模型，擅长将文本输入转换为数字表示，捕捉文本的语义。这些模型在密集检索和语义文本相似性等应用中表现出色。文章详细介绍了JINAEMBEDINGS的开发，从创建高质量的成对（pairwise）和三元组数据集（tripletdatasets）开始。它强调了数据清理在数据集准备中的关键作用，深入了解了模型训练过程，并使用MassiveT
comli_cn·2023-11-19 17:50

nn.Embedding()的原理

nn.Embedding()的原理：定义一个Embedding：embeddings=nn.Embedding(num_embeddings=10,embedding_dim=3)vocab_size:
LSCBAiotAigc·2023-11-16 11:01

Probabilistic Embeddings for Cross-Modal Retrieval

题目：ProbabilisticEmbeddingsforCross-ModalRetrieval作者：SanghyukChun不确定估计hedgedinstanceembedding对比损失变分自编码一、要解决的问题（研究动机）确定的函数不能很好地捕获一对多的对应关系。二、研究目标提出PCME（跨模态概率嵌入），将不同模态下的样本表示为同一嵌入空间下的概率分布。三、技术路线1、视觉-文本联合嵌入
二苏旧局吖·2023-11-15 13:16

Transformer模型

编码器与解码器2.3Attention2.4Attention—mask2.5Multi-HeadAttention2.6自注意力使用2.7point-wisefeedforwardnetwork2.8embeddings2.9positionalEncoding1
MyDreamingCode·2023-11-14 16:46

openai 学习笔记 - 2

Embeddings是一个浮点数向量。OpenAI提供了一个将字符串转化为浮点数向量的模型。拿到一段字符串的embedding后，可用于
Linky1990·2023-11-13 03:43

AI 绘画 | Stable Diffusion 进阶 Embeddings（词嵌入）、LoRa（低秩适应模型）、Hypernetwork（超网络）

前言StableDiffusionwebui，除了依靠文生图（即靠提示词生成图片），图生图（即靠图片+提示词生成图片）外，这两种方式还不能满足我们所有的绘图需求，于是就有了Embeddings（词嵌入）
洛阳泰山·2023-11-12 22:04

文本处理——Word2Vec之 Skip-Gram 模型（三）

Word2VecTutorial-TheSkip-GramModel-Word2Vec(Part1):NLPWithDeepLearningwithTensorflow(Skip-gram)什么是Word2Vec和Embeddings
修炼打怪的小乌龟·2023-11-11 19:16

CS224W4.4——矩阵分解和节点Embeddings

文章目录1.回顾Embeddings和矩阵分解2.矩阵分解3.基于RamdomWalk的相似度：4.局限性5.总结1.回顾E
阿牛大牛中·2023-11-11 14:50

使用预训练的嵌入向量

先保存模型训练的嵌入向量a_embedding_weights=model.a_embeddings.weight.data.cpu().numpy()b_embedding_weights=model.b_embeddings.weight.data.cpu
huihui12a·2023-11-11 11:11

LangChain入门(五)-使用GPT3.5模型构建油管频道问答机器人

pipinstallyoutube-transcript-api二、使用示例importosfromlangchain.document_loadersimportYoutubeLoaderfromlangchain.embeddings.openaiimportOpenAIEmbeddingsfromlangchain.vectorstoresimport
AI吃番茄·2023-11-09 20:06

LangChain+LLM实战---向量数据库介绍

向量数据库通过为Embeddings提供优化的存储和查询功能来满足这一要求。向量数据库具有传统
lichunericli·2023-11-05 18:27

论文阅读：One Embedder, Any Task: Instruction-Finetuned Text Embeddings

1.优势现存的emmbedding应用在新的task或者domain上时表现会有明显下降，甚至在相同task的不同domian上的效果也不行。这篇文章的重点就是提升embedding在不同任务和领域上的效果，特点是不需要用特定领域的数据进行finetune而是使用instuctionfinetuning就可以在不同的任务和领域上表现得很好。新提出的模型被叫做INSTRUCTOR，进行instruc
comli_cn·2023-11-03 18:26

pytorch0.4.1报错Padding_idx must be within num_embeddings

self.vocab_size+2,self.embedding_dim,padding_idx=self.vocab_size+1)self.embedding.weight=nn.Parameter(opt.embeddings
Re0·2023-11-03 04:30

LLM大语言模型训练中常见的技术：微调与嵌入

嵌入（Embeddings）：嵌入是一种在深度学习中常见的技术，用
MavenTalk·2023-11-02 15:07

CS224W3.3——整图Embedding

文章目录1.目标2.方法3.如何使用Embeddings1.目标比如，可以用来区分哪些分子是有毒的，哪些是无毒的。2.方
阿牛大牛中·2023-11-01 05:58

阅读笔记5：（SBERT）Sentence-BERT:Sentence Embeddings using Siamese BERT-Networks

目录-Motivation：论文想要解决的问题-Methodology：本文提出的方法-experiment：实验结果Motivation-Bert直接生成的sentencerepresentation（SR）不能很好的表达句子的语义。（相似的句子距离更近）-所以设计网络来finetunebert，使得可以获取nice的SRMethodology-SBERTarchitecturewithclas
tuhaha·2023-10-31 15:59

Kaggle - LLM Science Exam(二）：Open Book QA&debertav3-large详解

文章目录前言：优秀notebook介绍一、检索增强生成（RAG）概述1.1in-contextlearning1.2RAG简介1.3检索步骤：从知识库中获取正确的信息1.3.1embeddings1.3.2
神洛华·2023-10-30 02:05

NEFTUNE: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING

本文是LLM系列文章，针对《NEFTUNE:NOISYEMBEDDINGSIMPROVEINSTRUCTIONFINETUNING》的翻译。NEFTUNE：噪声嵌入改善指令微调摘要1引言2NEFTUNE：噪声嵌入指令调整3实验设置4结果5分析6结论与局限性摘要我们展示了语言模型微调可以通过简单的增强来改进，有时甚至是显著的改进。NEFTune在训练期间向嵌入向量添加噪声。使用Alpaca对LLaM
UnknownBody·2023-10-26 18:37

相对位置编码 relative position encoding

在代码中直接初始化0矩阵，在forward函数中直接与x相加:self.position_embeddings=nn.Parameter(torch.zeros(1,n_patches,in_channels
翰墨大人·2023-10-26 08:10

【主题建模】一种基于深度学习的主题建模方法：BERTopic（实战篇）

本系列包含：主题建模：BERTopic（理论篇）主题建模：BERTopic（实战篇）主题建模：BERTopic（实战篇）1.加载数据2.数据预处理3.BERTopic建模3.1嵌入（Embeddings
G皮T·2023-10-23 11:08

【NLP】第 3 章：NLP 和 文本Embeddings

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟目录技术
Sonhhxg_柒·2023-10-22 07:44

[vectoreStore]--内存向量存储组件开发

vectoreStore：该组件通常用来做内存向量存储的，同时利用该存储区获取他的retrieval检索内存向量存储使用的参数为：文档、embeddings、输出由于他的输出分为vectoreStore
_Amber·2023-10-21 14:55

windows搭建向量数据库milvus

首先先解释向量嵌入，我们可以把文本、图像、视频编码成数值向量，简单来说这个高维向量为一个数字组成的数组，例如OpenAI的embeddings接口，可以把文本转为1536长度的向量。
小~小·2023-10-20 13:57

pytorch中nn.Embedding原理及使用

一.函数调用形式torch.nn.Embedding(num_embeddings,embedding_dim,padding_idx=None,max_norm=None,norm_type=2.0,
Vivivivi安·2023-10-20 11:41

Stable Diffusion WebUI几种解决手崩溃的方法

首先有一个embeddings模型文件bad-hands-5，我们可以去各个大模型网站去搜，我是在C站上面下载的。
星辰同学wwq·2023-10-19 08:33

吴恩达 tensorflow2.0 实践系列课程（3）：NLP

（word-key/one-hot、embeddings）文本分类怎么做？比如情感分析？贴label做分类文本预测怎么做？比如模仿莎士比亚文笔？这里必须将文本视作序列，所以用LSTMs。
Abandon_first·2023-10-19 07:16

SGPT: GPT Sentence Embeddings for Semantic Search

简介语义搜索分为两个部分：1.搜索和query相关的topk文档。2.理解文档和query后面隐藏的语义信息，而不是字面含义。这篇论文提出了SGPT模型，只用decoder-only的transformer来进行语义搜索和sentence向量的提取。1.SGPT-BE：来对文档和query进行粗略的相关度计算，由于可以对文档的向量进行缓存，所以计算量和文档的数量线性相关，SGPT使用了BitFit
WitsMakeMen·2023-10-17 21:30

LangChain结合milvus向量数据库以及GPT3.5结合做知识库问答之二 ---＞代码实现

fromlangchain.embeddings.openaiimportOpenAIEmbeddingsfromlangchain.embeddings.cohereimportCohereEmbeddingsfromlangchain.text_splitterimportCharacterTextSplitterfromlangchain.vectorstoresimportMilvusfr
LSCBAiotAigc·2023-10-16 06:20

使用余弦算法计算向量相似性

importpandasaspdimportnumpyasnpimportopenaifromopenai.embeddings_utilsimportget_embedding,cosine_similarityopenai.api_key
梦实现了吗·2023-10-13 19:52

【HOLE】论文浅读：Holographic Embeddings of Knowledge Graphs

HOLEHolographicEmbeddingsofKnowledgeGraphs基于向量的循环相关任务提出全息嵌入(holographicembeddings，HOLE)来学习整个知识图的组成向量空间表示。在组合向量空间模型的框架内研究从知识图谱学习的问题。方法（模型）compositionalvectorspacemodels组合向量空间模型Pr(ϕp(s,o)=1∣Θ)=σ(ηspo)=σ
没有胡子的猫·2023-10-08 18:50

看注解逐行学习ChatGLM2-6B大模型，项目中的modeling_chatglm.py文件

3x5)转载自：https://blog.csdn.net/hjyai94/article/details/132504200(embedding)Embedding(转置后5x3x4096)word_embeddings
小怪兽会微笑·2023-10-05 10:05

文本嵌入层

目录1、文本嵌入层的作用2、代码演示3、构建Embeddings类来实现文本嵌入层1、文本嵌入层的作用无论是源文本嵌入层还是目标文本嵌入，都是为了将文本词汇中的数字表示转变为向量表示，希望在这样的高维空间中捕捉词汇之间的关系
Q渡劫·2023-10-03 05:43

Elasticsearch：与多个 PDF 聊天 | LangChain Python 应用教程（免费 LLMs 和嵌入）

我们可以通过使用huggingface来对chunks进行处理并形成embeddings。我们把embeddings写入到Elasticsearch向量数据库中，并保存。在搜索的时候
Elastic 中国社区官方博客·2023-09-29 03:03

DeepFace【部署 01】轻量级人脸识别和面部属性分析框架安装使用详解（网盘分享模型文件）

DeepFace安装使用1.安装1.1官方的三种方式1.2使用的方式2.使用2.1模型文件下载2.2FacialRecognition2.3FaceVerification2.4Facerecognition2.5Embeddings2.6Facerecognitionmodels2.7Similarity2.8FacialAttributeAnalysis2.9FaceDetectors3
シ風箏·2023-09-27 16:13

Recommendation using embeddings and nearest neighbor search(openAI cookbook 案例学习)

Recommendationusingembeddingsandnearestneighborsearch(openAIcookbook案例学习)学习一下这个案例openai-cookbook/examples/Recommendation_using_embeddings.ipynbat45c6406e8bb42e502d0394a9f1d217e5494ba4a2
临风而眠·2023-09-26 11:58

OpenAI ChatGPT API 文档之 Embedding

译者注：Embedding直接翻译为嵌入似乎不太恰当，于是问了一下ChatGPT，它的回复如下：在自然语言处理和机器学习领域，"embeddings"是指将单词、短语或文本转换成连续向量空间的过程。
javastart·2023-09-23 10:59

用两成数据也能训练出十成功力的模型，Jina Embeddings 这么做

句向量（SentenceEmbeddings）模型在多模态人工智能领域起着至关重要的作用，它通过将句子编码为固定长度的向量表示，将语义信息转化为机器可以处理的形式，在文本分类、信息检索和相似度计算等多个方面有着广泛应用。然而长期以来，句向量模型在训练过程中一直面临两大挑战：对大量数据和计算资源的依赖。传统的句向量模型，比如Sentence-BERT和Sentence-T5，通常需要数十亿级别的句子
·2023-09-22 12:02

ChatGPT实战-Embeddings打造定制化AI智能客服

本文介绍Embeddings的基本概念，并使用最少但完整的代码讲解Embeddings是如何使用的，帮你打造专属AI聊天机器人（智能客服），你可以拿到该代码进行修改以满足实际需求。
itsc·2023-09-21 15:27

python字典中的键排序

键为字符类型如’1379‘需要将其转换为整型后根据键排序效果如下图embeddings=model.get_embeddings()converted_dict={int(k):vfork,vinembeddings.items
wangxiaojie6688·2023-09-20 18:46

关于nn.Embedding的解释，以及它是如何将一句话变成vector的

nn.Embedding((num_embeddings,embedding_dim)其中，num_embeddings代表词典大小尺寸，比如训练时所可能出现的词语一共5000个词，那么就有num_embedding
迷茫终会遇见光·2023-09-20 07:02

【python函数】torch.nn.Embedding函数用法图解

SAM中PromptEncoder中运用nn.Embedding：point_embeddings=[nn.Embedding(1,embed_dim)foriinrange(self.num_point_embeddi
风巽·剑染春水·2023-09-20 07:01

torch.nn用法

函数原型为torch.nn.Embedding(num_embeddings,embedding_dim,padding_idx=None,max_norm=None,norm_type=2.0,scale_grad_by_freq
qq_38196982·2023-09-11 17:55

Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings

摘要：在本文中，我们提出了一个端到端的图学习框架，即迭代深度图学习（IDGL），用于联合和迭代地学习图结构和图嵌入。IDGL的关键理论是基于更好的节点嵌入来学习更好的图结构，反之亦然（即基于更好的图结构来学习更好的节点嵌入）。我们的迭代方法在学习到的图结构足够接近于下游预测任务优化的图时动态停止。此外，我们将图学习问题作为相似度度量学习问题，并利用自适应图正则化来控制学习图的质量。最后，我们结合锚
让AI服务于我·2023-09-05 15:08

nn.embedding层报错index out of range in self的另一种修复方式

当使用torch.nn.embedding时，报错如下：IndexError:indexoutofrangeinself明明我放入的数据shape并没有超过torch.nn.embedding(num_embeddings
是土豆大叔啊！·2023-09-01 06:06

Vector Search with OpenAI Embeddings: Lucene Is All You Need

本文是LLM系列文章，针对《VectorSearchwithOpenAIEmbeddings:LuceneIsAllYouNeed》的翻译。使用OpenAI嵌入的向量搜索：Lucence是你所需的一切摘要1引言2从架构到实现3实验4讨论5结论摘要我们在流行的MSMARCO文章排名测试集上使用Lucene提供了一个可复制的、端到端的OpenAI嵌入向量搜索演示。我们工作的主要目标是挑战主流的说法，即
UnknownBody·2023-08-31 21:26
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他