◝(⑅•ᴗ•⑅)◜..°♡
◝(⑅•ᴗ•⑅)◜..°♡

语言模型+词向量

文章目录

  • 统计语言模型
  • 神经语言模型
  • 词向量（浅层）

统计语言模型

语言模型基本概念

弗莱德里克·贾里尼克提出用数学的方法描述语言规律（语言模型）

语言模型基本思想：

  • 用句子 S = w 1 , w 2 , . . . , w n S=w_{1},w_{2},...,w_{n} S=w1​,w2​,...,wn​的概率P(S)刻画句子的合理性（统计自然语言处理的基础模型）

p ( S ) = p ( w 1 ) p ( w 2 ∣ w 1 ) . . . p ( w n ∣ w 1 , . . . , w n − 1 ) = ∏ i = 1 n p ( w i ∣ w 1 . . . w i − 1 ) p(S)=p(w_{1})p(w_{2}|w_{1})...p(w_{n}|w_{1},...,w_{n-1})=\prod_{i=1}^{n}p(w_{i}|w_{1}...w_{i-1}) p(S)=p(w1​)p(w2​∣w1​)...p(wn​∣w1​,...,wn−1​)=∏i=1n​p(wi​∣w1​...wi−1​)

当 i=1 时， p ( w 1 ∣ w 0 ) = p ( w 1 ) p(w1 |w0 ) = p(w1 ) p(w1∣w0)=p(w1)

语言模型：

  • 输入：句子S
  • 输出：句子概率p(S)
  • 参数： p ( w i ∣ w 1 . . . w i − 1 ) p(w_{i}|w_{1}...w_{i-1}) p(wi​∣w1​...wi−1​)
  • 函数关系： p ( S ) = ∏ i = 1 n p ( w i ∣ w 1 . . . w i − 1 ) p(S)=\prod_{i=1}^{n}p(w_{i}|w_{1}...w_{i-1}) p(S)=∏i=1n​p(wi​∣w1​...wi−1​)

注：

  • w i w_{i} wi​可以是字、词、短语或词类等，统称为基元

存在问题：模型参数过多
解决办法：减少历史基元个数，马尔可夫方法：假设任意一个词出现的概率只与它前面的一个词有关

  • p ( S ) = p ( w 1 ) p ( w 2 ∣ w 1 ) . . . p ( w i ∣ w i − 1 ) p(S)=p(w_{1})p(w_{2}|w_{1})...p(w_{i}|w_{i-1}) p(S)=p(w1​)p(w2​∣w1​)...p(wi​∣wi−1​)(二元模型)

语言模型参数估计

任务：获得语言模型中所有词的条件概率（语言模型参数）

参数估计：
1、训练语料
2、参数学习方法：采用极大似然估计方法

参数的数据平滑

基本思想：调整最大似然估计的概率值，使零概率增值，非零概率下调，消除零概率，改进模型的整体正确率。

方法：
1、加1法
2、减值法/折扣法
3、删除减值法：低阶代替高阶
…

基本目标：测试样本的语言模型困惑度越小越好

基本约束： ∑ w i p ( w i ∣ w 1 , w 2 , . . . , w i − 1 ) = 1 \sum_{w_{i}}p(w_{i}|w_{1},w_{2},...,w_{i-1})=1 ∑wi​​p(wi​∣w1​,w2​,...,wi−1​)=1

语言模型性能评价

1、实用方法：
查看模型在实际应用中的表现来评价
2、理论方法
困惑度，低困惑度的语言模型较好

困惑度定义：
语言模型+词向量_第1张图片

语言模型应用

决定哪一个词序列的可能性更大
预测下一个词
…

语言模型的变种

前向-后向语言模型

  • 跟前一个词有关或者跟后一个词有关

K-Skipping

  • 一个词出现的概率只与它前（后）面的距离为K的n-1个词相关。核心思想是刻画远距离约束关系

Class-based

  • 基于词类建立语言模型，缓解数据稀疏问题

指数语言模型
Topic-based
Cache-based

神经语言模型

神经语言模型概述

用神经网络学习参数

  • 使用DNN学习模型参数：NNLM模型
  • 使用RNN学习模型参数：RNNLM模型

DNN语言模型NNLM

目标：使用DNN学习语言模型p(S)和模型参数
NNLM/2-gram：

  • 2元文法模型： p ( w 1 , . . . , w m ) = ∏ i = 1 m p ( w i ∣ w i − 1 ) p(w_{1},...,w_{m})=\prod_{i=1}^{m}p(w_{i}|w_{i-1}) p(w1​,...,wm​)=∏i=1m​p(wi​∣wi−1​)
  • 参数： p ( w i ∣ w i − 1 ) p(w_{i}|w_{i-1}) p(wi​∣wi−1​)
  • 任务：用DNN学习参数
  • 模型设计：
  • 神经网络：DNN
  • 输入： w i − 1 w_{i-1} wi−1​
  • 输出： p ( w i ) p(w_{i}) p(wi​)
    语言模型+词向量_第2张图片
    语料：（“无监督”）
    文本：S=w1,w2,…,wn,…
    实例： X : w i − 1 , Y ^ : w i X:w_{i-1},\hat{Y}:w_{i} X:wi−1​,Y^:wi​

目标函数：

  • 采用log损失函数： L ( Y , P ( Y ∣ X ) ) = − l o g P ( Y ∣ X ) L(Y,P(Y|X))=-logP(Y|X) L(Y,P(Y∣X))=−logP(Y∣X)
  • 最大化： ∑ w i − 1 , i ϵ D l o g P ( w i ∣ w i − 1 ) \sum_{w_{i-1},i\epsilon D}logP(w_{i}|w_{i-1}) ∑wi−1​,iϵD​logP(wi​∣wi−1​)

参数训练：随机梯度下降法优化训练目标

RNN语言模型RNNLM

目标：用神经网络RNN学习语言模型 p ( S ) = ∏ i = 1 n p ( w i ∣ w 1 . . . w i − 1 ) p(S)=\prod_{i=1}^{n}p(w_{i}|w_{1}...w_{i-1}) p(S)=∏i=1n​p(wi​∣w1​...wi−1​)
模型参数： p ( w i ∣ w i − ( n − 1 ) . . . w i − 1 ) p(w_{i}|w_{i-(n-1)}...w_{i-1}) p(wi​∣wi−(n−1)​...wi−1​)
语言模型+词向量_第3张图片
随着模型逐个读入语料中的词w1,w2…，隐藏层不断地更新h(1),h(2),…，通过这种迭代推进方式，每个隐藏层实际上包含了此前所有上文的信息，相比NNLM只能采用上文n元短语作为近似，RNNLM包含了更丰富的上文信息，有潜力达到更好的效果

RNN语言模型变形

正向语言模型
反向语言模型
双向语言模型
单向多层RNN语言模型
双向多层RNN语言模型

词向量（浅层）

词向量概述

词的表示
语言模型+词向量_第4张图片
符号表示

离散表示
1、one-hot表示

  • 优势：稀疏方式存储非常的简洁
  • 不足：词汇鸿沟，维数灾难

2、词袋模型

  • 每个数表示该词在文档中出现的次数（one-hot的加和）

3、TF_IDF

  • 每个数代表该词在整个文档中的占比

词的分布式表示

  • 核心思想：用一个词附近的其他词来表示该词
  • 分布式假设：在相同上下文中出现的词倾向于具有相同的含义
  • 分布式语义学：根据词语在大型文本语料中的分布特性量化词语及词语语义相似性

经典分布表示模型
语言模型+词向量_第5张图片
语言模型+词向量_第6张图片

经典词向量（浅层）表示模型

  • NNLM模型词向量

输入：
语言模型+词向量_第7张图片
稠密向量表示Look-up表是|D|×|V|维实数投影矩阵，|V|表示词表的大小，|D|表示词向量e的维度（一般50维以上）；各词的词向量存于表中。词w到词向量e(W)的转化是从该矩阵中取出相应的列

  • RNNLM模型词向量

  • C&W模型词向量

第一个直接快速生成词向量为目标的模型，采用直接对n元短语打分的方式替代语言模型中求解条件概率的方法：对于语料中出现过n的n元短语，对其打高分；对于语料中没有出现的随机短语，对其打低分。
特点：目标函数是求目标词与其上下文的联合打分
语言模型+词向量_第8张图片
语言模型+词向量_第9张图片

  • CBOW模型词向量

语言模型+词向量_第10张图片

  • Skip-gram模型词向量

语言模型+词向量_第11张图片

词向量特征及应用

语义相似的词，其词向量空间距离更相似
相似关系词之差也相似

应用：

  • 语义相似度量
  • 直接实验词向量的加减法进行推理

你可能感兴趣的:(1024程序员节,自然语言处理)

  • 【LLM】从零开始实现 LLaMA3 FOUR_A LLM人工智能机器学习大模型llama算法
    分词器在这里，我们不会实现一个BPE分词器（但AndrejKarpathy有一个非常简洁的实现）。BPE（BytePairEncoding，字节对编码）是一种数据压缩算法，也被用于自然语言处理中的分词方法。它通过逐步将常见的字符或子词组合成更长的词元（tokens），从而有效地表示文本中的词汇。在自然语言处理中的BPE分词器的工作原理如下：初始化：首先，将所有词汇表中的单词分解为单个字符或符号。例
  • 机器学习之线性代数 珠峰日记 AI理论与实践机器学习线性代数人工智能
    文章目录一、引言：线性代数为何是AI的基石二、向量：AI世界的基本构建块（一）向量的定义（二）向量基础操作（三）重要概念三、矩阵：AI数据的强大容器（一）矩阵的定义（二）矩阵运算（三）矩阵特性（四）矩阵分解（五）Python示例（使用NumPy库）四、线性代数在AI中的应用（一）数据表示（二）降维：PCA（三）线性回归（四）计算机视觉（五）自然语言处理一、引言：线性代数为何是AI的基石在人工智能领
  • 大语言模型原理基础与前沿 双层路由多模态融合、多任务学习和模块化架构 AI智能涌现深度研究 AI大语言模型和知识图谱融合Python入门实战DeepSeekR1&大数据AI人工智能计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    大语言模型原理基础与前沿：双层路由多模态融合、多任务学习和模块化架构关键词：大语言模型、双层路由、多模态融合、多任务学习、模块化架构、神经网络、自然语言处理1.背景介绍大语言模型（LargeLanguageModels，LLMs）已经成为人工智能和自然语言处理领域的重要研究方向。随着GPT-3、BERT等模型的出现，大语言模型在各种任务中展现出了惊人的性能。然而，随着模型规模的不断扩大和应用场景的
  • AI 驱动的软件测试革命：从自动化到智能化的进阶之路 綦枫Maple AI+软件测试人工智能自动化运维
    引言：软件测试的智能化转型浪潮在数字化转型加速的今天，软件产品的迭代速度与复杂度呈指数级增长。传统软件测试依赖人工编写用例、执行测试的模式，已难以应对快速交付与高质量要求的双重挑战。人工智能技术的突破为测试领域注入了新动能，通过机器学习、深度学习、自然语言处理等技术，测试流程正从“被动验证”向“主动预防”演进。本文将深入探讨AI与软件测试的融合路径，结合技术原理、工具实践与行业趋势，为读者呈现一幅
  • 向量数据库简介 openwin_top python编程示例系列python编程示例系列二数据库
    向量数据库（VectorDatabase）是一种专门用于存储和查询向量数据的数据库系统。向量数据库通常使用高效的向量索引技术，支持基于向量相似度的查询和检索，可以应用于图像搜索、自然语言处理、推荐系统、机器学习等领域。与传统的关系型数据库不同，向量数据库通常使用基于向量的数据模型，将向量作为数据的核心表示形式。向量数据库可以存储和处理大量的向量数据，支持高效的向量相似度计算和查询。常见的向量索引技
  • 在LangChain中运行Replicate模型的实用指南 fgayif langchain人工智能python
    ##技术背景介绍Replicate是一个平台，可以轻松调用各种预训练的AI模型。与传统的模型托管和调用相比，Replicate提供了简单的API接口，使开发者能够快速集成和使用强大的AI模型。本文将重点介绍如何在LangChain项目中集成和调用Replicate模型。##核心原理解析在集成Replicate模型之前，需要进行一些基础设置和安装工作。LangChain是一个用于自然语言处理的库，它
  • 使用Activeloop Deep Lake构建深度学习数据仓库与向量存储 dgay_hua 深度学习人工智能python
    技术背景介绍随着深度学习技术的发展，数据的存储与管理成为了一个重要的问题。尤其是对于需要处理大量数据的应用，例如自然语言处理和图像识别，传统的数据存储方式已经无法满足需求。ActiveloopDeepLake是专为深度学习设计的数据仓库，可以作为向量存储使用，支持多模态数据的存储和处理，并且可以直接用于细调大型语言模型（LLMs）。此外，它还提供自动版本控制，无需依赖其他服务，兼容主要云服务提供商
  • 使用CharacterTextSplitter进行文本分割的实战指南 bBADAS python
    在处理长文本时，将其切割成较小的片段是常见的需求，尤其是在自然语言处理任务中。CharacterTextSplitter是一个强大的工具，用于通过字符分隔符对文本进行分割，本文将深入介绍如何使用它进行文本处理。技术背景介绍当面对一份冗长的文本时，比如总统演讲稿、法律文档等，我们常常需要将其拆分成便于处理的小段。CharacterTextSplitter正是为此而生的一个轻量级工具，专门用于基于特定
  • 大语言模型原理基础与前沿 挑战与机遇 AI大模型应用之禅 DeepSeekR1&AI大模型与大数据计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    大语言模型原理基础与前沿挑战与机遇1.背景介绍大语言模型（LargeLanguageModels,LLMs）是近年来人工智能领域的一个重要突破。它们通过深度学习技术，特别是基于变换器（Transformer）架构的模型，能够在自然语言处理（NLP）任务中表现出色。大语言模型的出现不仅推动了学术研究的发展，也在实际应用中展现了巨大的潜力。1.1大语言模型的起源大语言模型的起源可以追溯到早期的统计语言
  • 快速入门OpenAI聊天模型的实战指南 shuoac python
    #快速入门OpenAI聊天模型的实战指南OpenAI的聊天模型在开发人工智能应用时至关重要。本文将详细介绍如何使用OpenAI的聊天模型进行开发，并提供可运行的代码示例。##技术背景介绍OpenAI提供了多种聊天模型，支持不同的输入类型和功能，如工具调用、结构化输出等。通过Azure平台，也可以访问OpenAI模型，适合需要云集成的场景。##核心原理解析聊天模型利用自然语言处理技术生成响应，支持不
  • DeepSeek源码解析（2） 白鹭凡 deepseekai
    Tensor（张量）的介绍在计算机科学和机器学习领域，“张量”（Tensor）是一个数学概念，它被用来表示多维数组。在大模型（如深度学习模型）中，张量扮演着核心角色，具体来说：数据表示：张量用于表示输入数据、模型参数和中间计算结果。例如，在图像处理中，一张图片可以被表示为一个三维张量（高度、宽度、颜色通道数），而在自然语言处理中，一段文本可以被编码为一系列词向量组成的二维张量（句子长度、词向量维度
  • 第N4周：NLP中的文本嵌入 OreoCC 自然语言处理人工智能
    本人往期文章可查阅：深度学习总结词嵌入是一种用于自然语言处理（NLP）的技术，用于将单词表示为数字，以便计算机可以处理它们。通俗的讲就是，一种把文本转为数值输入到计算机中的方法。之前文章中提到的将文本转换为字典序列、one-hot编码就是最早期的词嵌入方法。Embedding和EmbeddingBag则是PyTorch中的用来处理文本数据中词嵌入（wordembedding）的工具，它们将离散的词
  • 打造RAG系统：四大向量数据库Milvus、Faiss、Elasticsearch、Chroma 全面对比与选型指南 橙子小哥的代码世界 数据库数据库milvusfaiss人工智能深度学习神经网络elasticsearch
    在当今信息爆炸的时代，检索增强生成（Retrieval-AugmentedGeneration，简称RAG）系统已成为自然语言处理（NLP）领域的重要工具。RAG系统通过结合生成模型和信息检索技术，能够在大规模数据中高效地获取相关信息，生成更为精准和有针对性的内容。而在构建RAG系统时，选择合适的向量数据库是确保系统性能和可扩展性的关键一步。本文将深入对比四大主流向量数据库——Milvus、Fai
  • 利用大型语言模型进行市场分析与预测 AI天才研究院 DeepSeekR1&大数据AI人工智能大模型AI大模型企业级应用开发实战AI实战计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    1.背景介绍随着信息技术的飞速发展，企业积累了海量的文本数据，例如社交媒体帖子、产品评论、新闻报道等。这些数据蕴藏着丰富的市场信息，可以帮助企业更好地了解消费者需求、预测市场趋势、优化营销策略。然而，传统的数据分析方法往往难以有效地处理和分析这些非结构化文本数据。近年来，随着自然语言处理（NLP）技术的进步，大型语言模型（LLMs）在文本分析领域展现出强大的能力，为市场分析与预测带来了新的机遇。L
  • 大模型“瘦身”革命——模型压缩与加速 大模型应用场景 人工智能开源transformer自然语言处理ai大模型LLM
    随着AI大模型（如GPT、BERT、DALL·E等）的崛起，它们在自然语言处理、图像生成等领域的表现令人惊叹。然而，大模型的参数量动辄数十亿甚至上千亿，带来了巨大的计算资源消耗和部署成本。如何在保持模型性能的同时，降低其计算和存储需求，成为了AI领域的热门话题。本文将深入探讨AI大模型的“瘦身”革命——模型压缩与加速技术，帮助开发者高效部署大模型。一、为什么需要模型压缩与加速？AI大模型（如GPT
  • 大模型——Spring Boot 整合 Spring AI 实现项目接入ChatGPT 不二人生 大模型人工智能大模型
    大模型——SpringBoot整合SpringAI实现项目接入ChatGPT随着人工智能技术的快速发展，越来越多的应用程序开始集成人工智能功能，以提供更智能、更个性化的体验。诸如ChatGPT等开放性大型语言模型的出现，使得自然语言处理和对话系统的开发变得更加容易和普及。这些技术已经在社交媒体、客户服务、教育等领域展现出巨大潜力，对于提升用户体验和提高工作效率至关重要。优势在之前，openai已经
  • AI Agent: AI的下一个风口 从图形用户界面到自然语言的进化 AI天才研究院 DeepSeekR1&大数据AI人工智能大模型AI大模型企业级应用开发实战计算计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    AIAgent:AI的下一个风口从图形用户界面到自然语言的进化文章目录AIAgent:AI的下一个风口从图形用户界面到自然语言的进化1.背景介绍1.1人机交互的演变历程1.1.1命令行界面时代1.1.2图形用户界面时代1.1.3自然语言交互的兴起1.2AI技术的发展现状1.2.1机器学习和深度学习的突破1.2.2自然语言处理技术的进步1.2.3知识图谱和语义理解的发展1.3AIAgent的概念与意
  • RoPE——Transformer 的旋转位置编码 机智的小神仙儿 深度学习大模型transformer深度学习人工智能
    在自然语言处理领域，Transformer是现代深度学习模型的基础，而位置编码（PositionEmbedding）则是Transformer处理序列数据的关键模块之一。近年来，一种新型的位置编码方法RoPE（RotaryPositionEmbedding）得到了广泛关注。本文将全面解读RoPE的背景、原理、实现、优势及其应用场景，帮助读者深入理解这一方法。1.什么是RoPE？RoPE（Rotar
  • 深入探讨如何在LangChain中将参数从一个步骤传递到下一个步骤：高级技巧与实际应用 m0_57781768 langchain
    深入探讨如何在LangChain中将参数从一个步骤传递到下一个步骤：高级技巧与实际应用在现代软件开发中，特别是在复杂的自然语言处理（NLP）和人工智能应用中，数据的传递和处理是至关重要的。LangChainExpressionLanguage(LCEL)为开发者提供了一种强大的工具，能够有效地管理数据流，并确保任务链中的每一步都能顺利进行。在这些任务链中，开发者常常需要将数据从一个步骤无缝地传递到
  • 如何成为LangChain项目的贡献者 eahba langchaineasyui前端python
    技术背景介绍LangChain是一个开源项目，致力于处理自然语言处理和生成任务。随着AI和机器学习领域的快速发展，LangChain项目的更新速度也很快。此项目欢迎社区的参与，无论是新功能、基础设施改进、文档提升还是Bug修复，都在积极寻求贡献。核心原则解析参与开源项目不仅能提升个人技能，还能为社区带来价值。对LangChain的贡献包括但不限于以下几个方面：文档改进：帮助改善项目文档，以便新人和
  • 使用LangChain实现最新NLP研究成果 eahba langchain自然语言处理人工智能python
    近年来，自然语言处理（NLP）领域的研究取得了显著的进展，而LangChain通过实现这些最新的研究成果，为开发者和研究人员提供了强大的工具与服务。在本文中，我们将探讨一些被LangChain所引用的arXiv研究论文，并展示如何通过API调用和具体示例来实现这些前沿技术。技术背景介绍LangChain作为一个强大且灵活的开源工具，旨在简化大语言模型（LLMs）的开发与应用。通过对最新研究的集成，
  • 【Transformer优化】Transformer的局限在哪？ T-I-M transformer深度学习人工智能
    自2017年Transformer横空出世以来，它几乎重写了自然语言处理的规则。但当我们在享受其惊人的并行计算能力和表征能力时，是否真正理解了它的局限性？本文将深入探讨在复杂度之外被忽视的五大核心缺陷，并试图在数学维度揭示其本质。一、全局注意力的"诅咒"：从**O(n²)**到O(n³)的计算困境自注意力机制的数学表达式：Attention(Q,K,V)=softmax(QK⊤dk)V\text{
  • AIGC技术研究与应用 ---- 下一代人工智能：新范式！新生产力！（2.1-大模型发展历程 之 背景与开端） shiter AI重制版】人工智能系统解决方案与技术架构人工智能AIGC深度学习
    文章大纲按照目标不同，AI大模型可分为四类，多模态为未来方向NLP大模型CV大模型科学计算大模型多模态大模型2022年是大模型技术的拐点,前期技术铺垫奠定了基础生成式模型的开端VAE与GANVAEGAN参考文献与学习路径GPT系列模型解析前序文章模型进化券商研报陆奇演讲按照目标不同，AI大模型可分为四类，多模态为未来方向NLP大模型自然语言处理（NaturalLanguageProcessing，
  • 基于Python的微博舆情分析与可视化系统【附源码】 AI博士小张 python数据分析数据库
    基于Python的微博舆情分析与可视化系统摘要研究背景及意义一、数据流程总体架构二、详细处理流程与代码实现1.数据采集模块2.数据清洗与预处理3.情感分析与特征工程4.舆情分析模型5.可视化呈现三、性能优化要点摘要基于Python的微博舆情分析与可视化系统旨在利用大数据和自然语言处理技术，实时抓取、分析微博平台上的用户言论，并通过可视化手段揭示舆情的动态演变规律。系统采用Python技术栈，结合网
  • 提高客户体验：人类计算在营销中的应用 AI天才研究院 ChatGPTAI大模型企业级应用开发实战DeepSeekR1&大数据AI人工智能大模型大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
    人类计算与营销：开启个性化时代的未来人类计算与营销：开启个性化时代的未来关键词：人工智能、个性化营销、客户体验、数据驱动、客户关系管理摘要：本文探讨了人类计算在营销中的应用，包括语音识别、人脸识别、自然语言处理等技术，以及如何通过这些技术实现个性化营销、客户关系管理和用户体验优化。文章分析了当前技术的发展趋势和面临的挑战，并提出了未来发展的方向。引言随着人工智能技术的飞速发展，人类计算在各个领域中
  • PyTorch：Python深度学习框架使用详解 零 度° pythonpython深度学习pytorch
    PyTorch是一个开源的机器学习库，广泛用于计算机视觉和自然语言处理领域。它由Facebook的AI研究团队开发，因其动态计算图、易用性以及与Python的紧密集成而受到开发者的青睐。PyTorch的主要特点动态计算图：PyTorch的计算图在运行时构建，使得模型的修改和调试更加灵活。自动微分：自动计算梯度，简化了机器学习模型的训练过程。丰富的API：提供了丰富的神经网络层、函数和损失函数。跨平
  • 关于自然语言处理（三）深度学习中的文字序列数据的分词操作 MatrixSparse 大模型人工智能自然语言处理深度学习人工智能
    深度学习中的文字序列数据二维文字序列在文字数据中，样本与样本之间的联系是语义的联系，语义的联系即是词与词之间、字与字之间的联系，因此在文字序列中每个样本是一个单词或一个字（对英文来说大部分时候是一个单词，偶尔也可以是更小的语言单位，如字母或半词），故而在中文文字数据中，一张二维表往往是一个句子或一段话，而单个样本则表示单词或字。此时，不能够打乱顺序的维度是vocab_size，它代表了一个句子/一
  • 【开源项目】2024最新PHP在线客服系统源码/带预知消息/带搭建教程 于飞SEO 免费资源分享开源php开发语言
    简介随着人工智能技术的飞速发展，AI驱动的在线客服系统已经成为企业提升客户服务质量和效率的重要工具。本文将探讨AI在线客服系统的理论基础，并展示如何使用PHP语言实现一个简单的AI客服系统。源码仓库地址：ym.fzapp.top在线客服系统的理论基础AI在线客服系统通过自然语言处理（NLP）、机器学习（ML）和深度学习（DL）技术，能够理解和响应客户的查询。这些系统通常包括以下几个关键组件：自然语
  • 人工智能引领技术革命：ChatGPT与深度学习的突破性进展 撒旦骑路西法，大战吕布 国内外安全资讯人工智能
    在全球科技快速发展的今天，人工智能（AI）正以前所未有的速度渗透到各个行业，成为推动社会变革的重要力量。特别是在自然语言处理（NLP）领域，OpenAI的ChatGPT凭借深度学习技术的持续突破，展现了AI在理解、推理、对话生成等方面的惊人进步。本文将深入探讨ChatGPT及深度学习的最新突破，以及它对不同行业的深远影响。1.ChatGPT：AI语言模型的革新者1.1什么是ChatGPT？Chat
  • 大规模语言模型构建流程 人工智能技术笔记 语言模型人工智能自然语言处理
    大规模语言模型1.大语言模型大规模语言模型（LargeLanguageModels，LLM），也称大语言模型，是一种由包含数百亿以上参数的深度神经网络构建的语言模型，通常使用自监督学习方法通过大量无标注文本进行训练。2.预训练语言模型受到计算机视觉领域采用ImageNet对模型进行一次预训练，使得模型可以通过海量图像充分学习如何提取特征，然后再根据任务目标进行模型精调的预训练范式影响，自然语言处理
  • web报表工具FineReport常见的数据集报错错误代码和解释 老A不折腾 web报表finereport代码可视化工具
    在使用finereport制作报表，若预览发生错误，很多朋友便手忙脚乱不知所措了，其实没什么，只要看懂报错代码和含义，可以很快的排除错误，这里我就分享一下finereport的数据集报错错误代码和解释，如果有说的不准确的地方，也请各位小伙伴纠正一下。   NS-war-remote=错误代码\:1117 压缩部署不支持远程设计 NS_LayerReport_MultiDs=错误代码
  • Java的WeakReference与WeakHashMap bylijinnan java弱引用
    首先看看 WeakReference wiki 上 Weak reference 的一个例子： public class ReferenceTest { public static void main(String[] args) throws InterruptedException { WeakReference r = new Wea
  • Linux——（hostname）主机名与ip的映射 eksliang linuxhostname
    一、 什么是主机名 无论在局域网还是INTERNET上，每台主机都有一个IP地址，是为了区分此台主机和彼台主机，也就是说IP地址就是主机的门牌号。但IP地址不方便记忆，所以又有了域名。域名只是在公网（INtERNET)中存在，每个域名都对应一个IP地址，但一个IP地址可有对应多个域名。域名类型 linuxsir.org 这样的； 主机名是用于什么的呢？ 答：在一个局域网中，每台机器都有一个主
  • oracle 常用技巧 18289753290
    oracle常用技巧 ①复制表结构和数据   create table  temp_clientloginUser as   select distinct userid from tbusrtloginlog ②仅复制数据 如果表结构一样 insert into  mytable  select  * &nb
  • 使用c3p0数据库连接池时出现com.mchange.v2.resourcepool.TimeoutException 酷的飞上天空 exception
    有一个线上环境使用的是c3p0数据库，为外部提供接口服务。最近访问压力增大后台tomcat的日志里面频繁出现 com.mchange.v2.resourcepool.TimeoutException: A client timed out while waiting to acquire a resource from com.mchange.v2.resourcepool.BasicResou
  • IT系统分析师如何学习大数据 蓝儿唯美 大数据
    我是一名从事大数据项目的IT系统分析师。在深入这个项目前需要了解些什么呢？学习大数据的最佳方法就是先从了解信息系统是如何工作着手，尤其是数据库和基础设施。同样在开始前还需要了解大数据工具，如Cloudera、Hadoop、Spark、Hive、Pig、Flume、Sqoop与Mesos。系 统分析师需要明白如何组织、管理和保护数据。在市面上有几十款数据管理产品可以用于管理数据。你的大数据数据库可能
  • spring学习——简介 a-john spring
    Spring是一个开源框架，是为了解决企业应用开发的复杂性而创建的。Spring使用基本的JavaBean来完成以前只能由EJB完成的事情。然而Spring的用途不仅限于服务器端的开发，从简单性，可测试性和松耦合的角度而言，任何Java应用都可以从Spring中受益。其主要特征是依赖注入、AOP、持久化、事务、SpringMVC以及Acegi Security 为了降低Java开发的复杂性，
  • 自定义颜色的xml文件 aijuans xml
    <?xml version="1.0" encoding="utf-8"?> <resources> <color name="white">#FFFFFF</color> <color name="black">#000000</color> &
  • 运营到底是做什么的？ aoyouzi 运营到底是做什么的？
    文章来源：夏叔叔（微信号：woshixiashushu），欢迎大家关注！很久没有动笔写点东西，近些日子，由于爱狗团产品上线，不断面试，经常会被问道一个问题。问：爱狗团的运营主要做什么？答：带着用户一起嗨。为什么是带着用户玩起来呢？究竟什么是运营？运营到底是做什么的？那么，我们先来回答一个更简单的问题——互联网公司对运营考核什么？以爱狗团为例，绝大部分的移动互联网公司，对运营部门的考核分为三块——用
  • js面向对象类和对象 百合不是茶 js面向对象函数创建类和对象
    接触js已经有几个月了,但是对js的面向对象的一些概念根本就是模糊的,js是一种面向对象的语言 但又不像java一样有class,js不是严格的面向对象语言 ,js在java web开发的地位和java不相上下  ,其中web的数据的反馈现在主流的使用json,json的语法和js的类和属性的创建相似   下面介绍一些js的类和对象的创建的技术   一:类和对
  • web.xml之资源管理对象配置 resource-env-ref bijian1013 javaweb.xmlservlet
    resource-env-ref元素来指定对管理对象的servlet引用的声明，该对象与servlet环境中的资源相关联 <resource-env-ref> <resource-env-ref-name>资源名</resource-env-ref-name> <resource-env-ref-type>查找资源时返回的资源类
  • Create a composite component with a custom namespace sunjing
    https://weblogs.java.net/blog/mriem/archive/2013/11/22/jsf-tip-45-create-composite-component-custom-namespace   When you developed a composite component the namespace you would be seeing would
  • 【MongoDB学习笔记十二】Mongo副本集服务器角色之Arbiter bit1129 mongodb
     一、复本集为什么要加入Arbiter这个角色 回答这个问题，要从复本集的存活条件和Aribter服务器的特性两方面来说。 什么是Artiber？ An arbiter does not have a copy of data set and cannot become a primary. Replica sets may have arbiters to add a
  • Javascript开发笔记 白糖_ JavaScript
    获取iframe内的元素 通常我们使用window.frames["frameId"].document.getElementById("divId").innerHTML这样的形式来获取iframe内的元素，这种写法在IE、safari、chrome下都是通过的，唯独在fireforx下不通过。其实jquery的contents方法提供了对if
  • Web浏览器Chrome打开一段时间后，运行alert无效 bozch Webchormealert无效
    今天在开发的时候，突然间发现alert在chrome浏览器就没法弹出了，很是怪异。 试了试其他浏览器，发现都是没有问题的。 开始想以为是chorme浏览器有啥机制导致的，就开始尝试各种代码让alert出来。尝试结果是仍然没有显示出来。 这样开发的结果，如果客户在使用的时候没有提示，那会带来致命的体验。哎，没啥办法了 就关闭浏览器重启。   结果就好了，这也太怪异了。难道是cho
  • 编程之美-高效地安排会议 图着色问题 贪心算法 bylijinnan 编程之美
    import java.util.ArrayList; import java.util.Collections; import java.util.List; import java.util.Random; public class GraphColoringProblem { /**编程之美 高效地安排会议 图着色问题 贪心算法 * 假设要用很多个教室对一组
  • 机器学习相关概念和开发工具 chenbowen00 算法matlab机器学习
    基本概念： 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。 开发工具 M
  • [宇宙经济学]关于在太空建立永久定居点的可能性 comsci 经济
           大家都知道,地球上的房地产都比较昂贵,而且土地证经常会因为新的政府的意志而变幻文本格式........        所以,在地球议会尚不具有在太空行使法律和权力的力量之前,我们外太阳系统的友好联盟可以考虑在地月系的某些引力平衡点上面,修建规模较大的定居点
  • oracle 11g database control 证书错误 daizj oracle证书错误oracle 11G 安装
    oracle 11g database control 证书错误  win7 安装完oracle11后打开 Database control 后，会打开em管理页面，提示证书错误，点“继续浏览此网站”，还是会继续停留在证书错误页面 解决办法： 是 KB2661254 这个更新补丁引起的，它限制了 RSA 密钥位长度少于 1024 位的证书的使用。具体可以看微软官方公告：
  • Java I/O之用FilenameFilter实现根据文件扩展名删除文件 游其是你 FilenameFilter
    在Java中，你可以通过实现FilenameFilter类并重写accept(File dir, String name) 方法实现文件过滤功能。 在这个例子中，我们向你展示在“c:\\folder”路径下列出所有“.txt”格式的文件并删除。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
  • C语言数组的简单以及一维数组的简单排序算法示例，二维数组简单示例 dcj3sjt126com carray
    # include <stdio.h> int main(void) { int a[5] = {1, 2, 3, 4, 5}; //a 是数组的名字 5是表示数组元素的个数，并且这五个元素分别用a[0], a[1]...a[4] int i; for (i=0; i<5; ++i) printf("%d\n",
  • PRIMARY, INDEX, UNIQUE 这3种是一类 PRIMARY 主键。 就是 唯一 且 不能为空。 INDEX 索引，普通的 UNIQUE 唯一索引 dcj3sjt126com primary
    PRIMARY, INDEX, UNIQUE 这3种是一类PRIMARY 主键。 就是 唯一 且 不能为空。INDEX 索引，普通的UNIQUE 唯一索引。 不允许有重复。FULLTEXT 是全文索引，用于在一篇文章中，检索文本信息的。举个例子来说，比如你在为某商场做一个会员卡的系统。这个系统有一个会员表有下列字段：会员编号   INT会员姓名  
  • java集合辅助类 Collections、Arrays shuizhaosi888 CollectionsArraysHashCode
      Arrays、Collections   1 ）数组集合之间转换 public static <T> List<T> asList(T... a) { return new ArrayList<>(a); }      a）Arrays.asL
  • Spring Security（10）——退出登录logout 234390216 logoutSpring Security退出登录logout-urlLogoutFilter
           要实现退出登录的功能我们需要在http元素下定义logout元素，这样Spring Security将自动为我们添加用于处理退出登录的过滤器LogoutFilter到FilterChain。当我们指定了http元素的auto-config属性为true时logout定义是会自动配置的，此时我们默认退出登录的URL为“/j_spring_secu
  • 透过源码学前端 之 Backbone 三 Model 逐行分析JS源代码 backbone源码分析js学习
    Backbone 分析第三部分  Model 概述： Model 提供了数据存储，将数据以JSON的形式保存在 Model的 attributes里， 但重点功能在于其提供了一套功能强大，使用简单的存、取、删、改数据方法，并在不同的操作里加了相应的监听事件， 如每次修改添加里都会触发 change，这在据模型变动来修改视图时很常用，并且与collection建立了关联。
  • SpringMVC源码总结（七）mvc:annotation-driven中的HttpMessageConverter 乒乓狂魔 springMVC
    这一篇文章主要介绍下HttpMessageConverter整个注册过程包含自定义的HttpMessageConverter，然后对一些HttpMessageConverter进行具体介绍。 HttpMessageConverter接口介绍： public interface HttpMessageConverter<T> { /** * Indicate
  • 分布式基础知识和算法理论 bluky999 算法zookeeper分布式一致性哈希paxos
      分布式基础知识和算法理论 BY [email protected] 本文永久链接：http://nodex.iteye.com/blog/2103218   在大数据的背景下，不管是做存储，做搜索，做数据分析，或者做产品或服务本身，面向互联网和移动互联网用户，已经不可避免地要面对分布式环境。笔者在此收录一些分布式相关的基础知识和算法理论介绍，在完善自我知识体系的同
  • Android Studio的.gitignore以及gitignore无效的解决 bell0901 androidgitignore
    　　github上.gitignore模板合集，里面有各种.gitignore ： https://github.com/github/gitignore 　　自己用的Android Studio下项目的.gitignore文件，对github上的android.gitignore添加了 　　　　　　# OSX files　　　　　　//mac os下　　　　　　.DS_Store
  • 成为高级程序员的10个步骤 tomcat_oracle 编程
    What 软件工程师的职业生涯要历经以下几个阶段：初级、中级，最后才是高级。这篇文章主要是讲如何通过 10 个步骤助你成为一名高级软件工程师。   Why 得到更多的报酬！因为你的薪水会随着你水平的提高而增加 提升你的职业生涯。成为了高级软件工程师之后，就可以朝着架构师、团队负责人、CTO 等职位前进 历经更大的挑战。随着你的成长，各种影响力也会提高。
  • mongdb在linux下的安装 xtuhcy mongodblinux
    一、查询linux版本号： lsb_release -a  LSB Version:    :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noa
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他