欧菲斯集团
欧菲斯集团

知识图谱入门系列

很好的入门解说，包括实现方式及意义

 

知识图谱入门系列_第1张图片

  • 第一次在知乎上发帖，有不准确的地方欢迎大家指正！！！，后续会持续更新知识图谱相关技术细节。本贴大概介绍一下知识图谱中相关的技术。

知识图谱

  • 针对于知识图谱基础知识，领域应用和学术前沿趋势进行介绍。

知识图谱介绍

  • 知识图谱（Knowledge Graph）以结构化的形式描述客观世界中概念、实体及其关系。是融合了认知计算、知识表示与推理、信息检索与抽取、自然语言处理、Web技术、机器学习与大数据挖掘等等方向的交叉学科。人工智能是以传统符号派与目前流行的深度神经网路为主，如下图所示，知识图谱发展史。

知识图谱入门系列_第2张图片

知识图谱发展史

知识图谱入门系列_第3张图片

知识表示与深度学习表示

  • 各大公司布局知识图谱

知识图谱入门系列_第4张图片

补充其中还包括国内的京东与美团（美团的AI大脑，数十亿知识图谱构建）

  • 知识图谱应用模式(来之美团的Ai大会报告)

知识图谱入门系列_第5张图片

  • 知识图谱技术链

知识图谱入门系列_第6张图片

  • 知识图谱赋能

知识图谱应用非常广泛，目前主要应用到搜索引擎、智能问答、大数据分析、语言翻译和语言理解及辅助设备互联（Iot领域），如下图所示，知识图谱在搜索引擎的应用。

知识图谱入门系列_第7张图片

  • 通用知识图谱与垂直领域知识图谱对比
  • 相比较DBpedia、Yago、Wikidata、百度和谷歌等通用知识图谱，+特定领域内的知识图谱在知识表示、知识结构、知识质量及知识应用更高的要求（关于领域知识图谱与通用知识图谱之间的问题可以查看复旦肖仰华）。

知识图谱入门系列_第8张图片

  • 国内外知识图谱项目
  • 国外：早期的常识知识库Cyc、WordNet、ConceptNet等；互联网知识图谱，主要有FreeBase、DBpedia、Schema、Wikidata 、BableNet、Microsofot ConceptGraph，医疗领域Linked Life Data等
  • 国内：中文知识图谱OpenKG，CN-DBpedia，中医药知识图谱，阿里电商知识图谱、美团知识图谱、XLore(清华大学)、Belief-Eigen(中科院)、PKUPie(北京大学)，开放类的中文百科知识图谱,zhishi.me

知识图谱技术模块

知识表示

  • 如何利用计算符号运算来表示人脑中的知识和推理过程，知识表示主要有两种，基于离散符号的知识表示法和基于连续向量的知识表示。
  • 基于离散符号的知识表示法

知识图谱入门系列_第9张图片

  • RDF(Triple-based Assertion Model) 三元组模型，构建方式主要是主-谓-宾有向标记图和RDFS（simple Vocabularty and schema）

知识图谱入门系列_第10张图片

 

  • OWL(Web Ontology language)：是一种W3C开发的网路本体语言，用于对本体进行语义描述。

知识图谱入门系列_第11张图片

  • SPARQL(Protocol and RDF Query Language) ：RDF的查询语言，支持主流图形数据库。下图URI/IRI为主要网络协议，主要数据存储格式是RDF与XML

知识图谱入门系列_第12张图片

  • 基于连续向量的知识表示
    • KG embedding 主要是KG中实体与关系映射到一个低维的向量空间，主要的方法有张量分解、NN、距离模型（现有的词向量模型基于连续向量空间来表示）（Embedding projector）

知识图谱入门系列_第13张图片

  • 两种方法对比

知识图谱入门系列_第14张图片

知识抽取

  • KG中知识抽取主要从结构化、半结构化、结构化数据中转为三元组表示的标准知识形态。

知识图谱入门系列_第15张图片

  • 主要处理流程

知识图谱入门系列_第16张图片

实体抽取（NER命名实体识别）

  • 目的是识别文本中指定类别的实体，主要包括人 名、 地名、 机构名、 专有名词等的任务“ 姚明（Yao Ming），1980年9月12日出生于上海市徐汇区，祖籍江苏省苏州市吴江区震泽镇，前中国职业篮球运动员，司职中锋，现任中职联公司董事长兼总经理“。如下图所示，命名实体识别主要包含两个部分：实体边界识别与实体分类。传统方法（HMM（隐马尔科夫模型） CRF（条件随机场） SVM、最大熵分类模型等方法进行处理。现在能采用深度学习，比如CNN\RNN\LSTM及LSTM-CRF。采用的工具可以有Jiagu、jieba、Stanford CoreNLP等。

实体链接

  • 目的是将实体提及与知识库中对应实体进行链接 ，主要解决实体名的歧义性与多样性问题，是文本中实体名指向真实世界实体的任务。传统模型是计算实体提及与知识库中实体的相似度，并选取特定的实体提及的目标实体，比如“苹果发布新的手机‘IphoneX11’”,[苹果（水果）、苹果（电影）、苹果（公司）等候选实体]，主要使用包括实体统计信息、名字统计信息、上下文词语分布、实体关联度、文章主题等信息，同时，考虑到一段文本中实体之间的相互关联，相关的全局推理算法也被提出来寻找全局最优决策。 目前深度学习方法，构建多类型多模态上下文及知识的统一表示，并建模不同信息、不同证据之间的相互交互 通过将不同类型的信息映射到相同的特征空间，并提供高效的端到端训练算法。包括多源异构证据的向量表示学习、以及不同证据之间相似度的学习等工作[Ganea & Hofmann, 2017] [Gupta et al., 2017] [Sil et al 2018] 。开源工具dexter2

知识图谱入门系列_第17张图片

实体关系抽取

  • 实体关系抽取是知识图谱构建与信息提取的关键环节，主要提取两个或者多个实体之间的某种联系。格式，三元组（实体1，关系，实体2），"北京是中国的首都、政治中心和文化中心 "中实体关系可以表示为（中国、首都、北京）（中国 政治中心 北京）（中国 文化中心 北京）。
  • 限定关系抽取：采用弱监督/监督机器学习进行预定义的实体关系知识抽取，一般为多分类问题，可以直接抽取三元组关系。一般会采用基于特征向量的方法、基于核函数的方法和基于神经网络的方法 。
  • 开发域关系抽取：预先不进行预定义，系统本身自动抽取实体之间的关系，一般采用无监督学习方法进行自动提取实体之间的关系（三元组）。缺点是抽取的知识缺乏语义化、很难做归一化处理，弱监督学习可以自动生成大规模的训练医疗库，但是会产生噪音数据。

关于NER与实体链接可以查看另一篇文章

gaojing：知识图谱-实体抽取与实体链接​zhuanlan.zhihu.com 

事件关系抽取

  • 识别文本中关于事件的信息，并以结构化的形式呈现，核心概念包括：事件描述、事件触发词（动词或者名词）、事件元素（实体、时间和属性等表达语义的细粒度单位组成）、元素角色（角色在某件事情上面的语义关系）、事件类型（事件元素和触发词决定事件的类别），如下图所示

知识图谱入门系列_第18张图片

  • 基于模式匹配的方法：对于某一个事件的识别与抽取是在一些模式的指导下进行的，主要有两个步骤：模式获取和模式匹配，有可分为基于人工标注语料和弱监督学习
  • 基于机器学习的方法：把事件建模成多分类问题，可以分为基于特征、基于结构和基于神经网路。
  • 基于特征：该方法多用管道式事件抽取
  • 基于结构预测：将事件结构看做是依存树结构预测。基于结构感知机的联合模型可同时完成触发词与事件元素识别的两个子任务。
  • 基于神经网路：利用RNN进行事件检测及联合模型与RNN相结合进行预测触发词和事件元素
  • 基于弱监督：在学术上，[Chen and Ji, 2009] [Liao and Grishman, 2011a; 2011b] [Liu et.al., 2016b] 等，但是由于该方法无法直接映射到结构化数据中，无法直接构建三元组。
  • 中文事件抽取
  • 中文与英文事件抽取区别较大，主要是缺乏统一、公认的事件语料库及公开评测系统（上海大学CEC（Chinese Event Corpus））

知识融合

  • 知识融合是指合并两个知识图谱，本体可以让用户非常方便和灵活的根据自己的业务建立或者修改数据模型。通过数据映射技术建立本体中术语和不同数据源抽取知识中词汇的映射关系，进而将不同数据源的数据融合在一起。同时不同源的实体可能会指向现实世界的同一个客体，这时需要使用实体匹配将不同数据源相同客体的数据进行融合。不同本体间也会存在某些术语描述同一类数据，那么对这些本体间则需要本体融合技术把不同的本体融合。

知识融合-异构问题

  • 语言层不匹配：RDF OWL OWL2等本体语言之间不兼容。
  • 实体对齐问题：由于多源、异构、跨语言知识图谱差异性较大，比如结构化不可比、实体名称表述差别较大、外部工具不稳定等，可训练数据较少。方法：可以基于图神经网路的实体结构语义表示及匹配（关于知识融合中实体对齐在学术上有很多研究）

知识图谱入门系列_第19张图片

知识存储

  • 知识图谱的知识存储一般是采用图形数据库进行存储，主要有两种图数据模型：RDF图和属性图
  • 查询语言：RDF图---SPARQL； 属性图：Cypher 和 Gremlin
  • 常见知识图谱存储方式
    • 基于关系数据库的存储方案
      • 主要是三元组表（3store）、水平表(DLDB)、属性表(JENA)、垂直划分(SW-Store)、DB2RDF和六重索引(RDFX-3X、Hexastore)
    • 面向RDF的三元组数据库
      • Jena RDF4J RDF-3X gStore
    • 原生图数据库
      • Neo4j
      • 分布式图形数据库 JanusGraph
      • OrientDB
      • Cayley
    • 图形数据库对比

知识图谱入门系列_第20张图片

来之DB-Engiens图引擎和美团知识图谱报告，美团采用JanusGraph分布式图形引擎

知识图谱入门系列_第21张图片

知识推理

  • 根据已有的知识图谱中的事实或者关系推断出新的事实与关系，一般是考察实体、关系和图谱结构三个方面的信息特征

基于演绎的知识图谱推理

基于归纳的知识图谱推理

  • 基于图结构
  • 基于规则学习
  • 基于表示学习
  • 新的方法
    • 时序法
    • 基于强化学习
    • 基于图神经网路

开源工具

  • Jena和Drools

知识图谱构建流程

  • 主要介绍主流的知识图谱构建流程，实体图谱的构建主要有自底向上、自顶向下和二则混合的方法，如下图所示，分别为自底向上和自顶向下

知识图谱入门系列_第22张图片

自底向上

知识图谱入门系列_第23张图片

自顶向下

知识图谱入门系列_第24张图片

知识图谱整体构建流程

参考文献

知识图谱怎样入门

一篇比较好的知识图谱发展史

美团技术团队

王昊奋视频笔记

Embedding Projector

知识图谱的应用

中文知识图谱构建的知识融合与验证

湖心小笨酸：ACL 2019 知识图谱的全方位总结

DB-Engines

你可能感兴趣的:(知识图谱,知识图谱,自然语言处理,深度学习)

  • AI模型技术演进与行业应用图谱 智能计算研究中心 其他
    内容概要当前AI模型技术正经历从基础架构到行业落地的系统性革新。主流深度学习框架如TensorFlow和PyTorch持续优化动态计算图与分布式训练能力，而MXNet凭借高效的异构计算支持在边缘场景崭露头角。与此同时，模型压缩技术通过量化和知识蒸馏将参数量降低60%-80%，联邦学习则通过加密梯度交换实现多机构数据协同训练。在应用层面，医疗诊断模型通过迁移学习在CT影像分类任务中达到98.2%的准
  • AI大模型训练教程 Small踢倒coffee_氕氘氚 python自学经验分享笔记
    1.引言随着人工智能技术的快速发展，大模型（如GPT-3、BERT等）在自然语言处理、计算机视觉等领域取得了显著的成果。训练一个大模型需要大量的计算资源、数据和专业知识。本教程将带你了解如何从零开始训练一个AI大模型。2.准备工作2.1硬件要求GPU：推荐使用NVIDIA的高性能GPU，如A100、V100等。内存：至少64GBRAM。存储：SSD存储，至少1TB。#2.2软件环境操作系统：Lin
  • 使用Jupyter Notebook进行深度学习编程 - 深度学习教程 shandianfk_com ChatGPTAIjupyter深度学习ide
    大家好，今天我们要聊聊如何使用JupyterNotebook进行深度学习编程。深度学习是人工智能领域中的一项重要技术，通过模仿人脑神经网络的方式进行学习和分析。JupyterNotebook作为一个强大的工具，可以帮助我们轻松地进行深度学习编程，尤其适合初学者和研究人员。本文将带领大家一步步了解如何在JupyterNotebook中开展深度学习项目。一、什么是JupyterNotebook？Jup
  • 深度学习 Deep Learning 第8章 深度学习优化 odoo中国 AI编程人工智能深度学习人工智能优化
    深度学习第8章深度学习的优化章节概述本章深入探讨了深度学习中的优化技术，旨在解决模型训练过程中面临的各种挑战。优化是深度学习的核心环节，直接关系到模型的训练效率和最终性能。本章首先介绍了优化在深度学习中的特殊性，然后详细讨论了多种优化算法，包括随机梯度下降（SGD）、动量法、Nesterov动量法、AdaGrad、RMSProp和Adam等。此外，还探讨了参数初始化策略、自适应学习率方法以及二阶优
  • 景联文科技提供高质量文本标注服务，驱动AI技术发展 景联文科技 科技人工智能
    文本标注是指在原始文本数据上添加标签的过程，这些标签可以用来指示特定的实体、关系、事件等信息，以帮助计算机理解和处理这些数据。文本标注是自然语言处理（NLP）领域的一个重要环节，它通过为文本的不同部分提供具体的含义和上下文信息，增强机器学习和深度学习模型对文本内容的理解能力。标注类型情感分析情感极性：确定文本表达的情感倾向，如正面、负面或中立。强度评估：衡量情感的强烈程度，从轻微到极端不等。命名实
  • 景联文科技：以高质量数据标注推动人工智能领域创新与发展 景联文科技 科技人工智能数据标注
    在当今这个由数据驱动的时代，高质量的数据标注对于推动机器学习、自然语言处理（NLP）、计算机视觉等领域的发展具有不可替代的重要性。数据标注过程涉及对原始数据进行加工，通过标注特定对象的特征来生成能够被机器学习模型识别和使用的编码格式，从而使数据更具有意义和可解读性。数据标注的主要类型包括：图像标注：指在图片中标识出目标物体的位置、形状或类别等信息，如自动驾驶技术中的行人、车辆及交通标志的识别。文本
  • 端到端的NLP框架（Haystack） deepdata_cn NLP自然语言处理人工智能
    Haystack是一个端到端的NLP框架，专门用于构建基于文档的问答系统，是实现RAG的理想选择。它提供了数据预处理、文档存储、检索和生成等一系列组件，支持多种语言模型和检索器。提供可视化界面，方便用户进行配置和调试；支持多模态数据，可处理文本、图像等多种类型的数据；具有可扩展性，可根据需求添加自定义组件。2020年在自然语言处理技术快速发展，对高效、易用且灵活的端到端NLP框架需求日益增长的背景
  • 客服机器人怎么才能精准的回答用户问题？ 玩人工智能的辣条哥 AI面试机器人客服机器人
    环境：客服机器人问题描述：客服机器人怎么才能精准的回答用户问题？解决方案：客服机器人要精准回答用户问题，需综合技术、数据和用户体验等多方面因素。以下是关键策略和步骤：1.精准理解用户意图自然语言处理（NLP）技术分词与实体识别：提取关键词（如“订单号”“退货”）和实体（如时间、地点）。意图分类：通过机器学习模型（如BERT、Transformer）将问题归类（如“售后”“支付”）。上下文理解记录对
  • 深度学习篇---对角矩阵&矩阵的秩&奇异矩阵 Ronin-Lotus 程序代码篇深度学习篇深度学习矩阵人工智能线性代数
    文章目录前言一、对角矩阵（DiagonalMatrix）1.1定义1.2特性行列式运算简化1.3应用领域深度学习信号处理量子力学经济学二、矩阵的秩（RankofaMatrix）2.1定义2.2特性满秩降秩影响2.3应用领域深度学习图像压缩推荐系统控制理论三、奇异矩阵（SingularMatrix）3.1定义3.2特性秩不足行列式为零3.3应用领域深度学习正则化损失函数结构工程统计学数值计算四、跨领
  • DeepSeek、Grok 与 ChatGPT 三巨头：技术架构与应用场景的全方位解析 云策量化 Deepseekchatgptdeepseekgrok
    前言在当今人工智能领域，DeepSeek、Grok和ChatGPT作为语言模型的三巨头，各自凭借独特的技术架构和广泛的应用场景，在自然语言处理领域占据着重要地位。本文将对这三款模型的技术架构和应用场景进行全方位解析，以期为读者提供深入的了解和有价值的参考。一、技术架构（一）DeepSeekDeepSeek是由DeepSeek团队开发的一款大型语言模型，其技术架构基于深度学习中的Transforme
  • OpenCV 4.2.0与扩展模块安装与应用指南 土城三富
    本文还有配套的精品资源，点击获取简介：OpenCV4.2.0是一个先进的计算机视觉库，包含了图像处理、计算机视觉和机器学习算法。本压缩包包含OpenCV核心库和扩展模块（opencv_contrib），版本均为4.2.0。该版本引入了性能增强、API优化以及对深度学习框架和硬件加速技术的更新支持。扩展模块提供了额外的实验性算法和功能，有助于研究和开发新算法。指南详细介绍了如何安装和配置这些库，并提
  • 知识图谱系列文章——文物知识图谱 weixin_43407382 知识图谱
    文章介绍背景1、文物可以提供创意，如哥窑面饰的照相机2、目前文物数字化工作非常少，没有纳入设计元素3、文物知识图谱建成后具有很多好处&#￥方法一、本体构建1、明确领域和目的——文物知识图谱&设计创意2、领域信息采集与分析——文物信息，３４０件文物实例，3、定义文物本体概念和结构层次4、定义概念属性和属性约束5、本体编码（建模语言和工具）6、本体评估——Jena的内嵌推理机，基于描述的逻辑7、本体实
  • 介于YOLOv5的裂缝识别系统 程序员～小强 YOLO
    介于YOLOv5的裂缝识别系统在现代工业中，裂缝监测是的保障设施安全的重要环节。我们公司的新项目——基于YOLOv5的裂缝识别系统，将为您提供高效、精准的解决方案，助力各类工程项目的质量管理。系统优势我们的裂缝识别系统借助YOLOv5进行深度学习，经过精心训练，拥有强大的图像识别能力。只需简单的步骤，您就能将复杂的裂缝检测转化为轻松的操作，让分析变得更加简单、高效。核心功能图片上传与场景选择用户可
  • 自然语言处理（5）—— 中文分词 隐私无忧 人工智能#自然语言处理自然语言处理中文分词人工智能
    中文分词的基本原理及实现1.什么是词2.基本原理3.发展趋势：多数场景无需显式分词信息处理的目标是使用计算机能够理解和产生自然语言。而自然语言理解和产生的前提是对语言能够做出全面的解析。汉语词汇是语言中能够独立运用的最小的语言单位，是语言中的原子结构。由于中文缺乏类似英文的空格分隔，分词的准确性直接影响后续任务（如机器翻译、情感分析）的效果。因此，对中文进行分词就显得至关重要。中文分词（Chine
  • 如何使用JSON输出解析器解析语言模型的输出 vaidfl json语言模型easyuipython
    在现代AI应用中，让语言模型返回结构化的数据是一个重要的能力，特别是在需要进一步处理或集成的时候。本文将深入探讨如何利用JsonOutputParser来解析语言模型的JSON输出。技术背景介绍随着语言模型的普及，许多应用场景需要从自然语言处理任务中获取结构化的输出。针对这一需求，输出解析器应运而生，它能够帮助我们定义JSON模式，通过提示语言模型生成符合该模式的输出，并将其解析为JSON格式。核
  • 使用LocalAI进行文本嵌入的实战指南 bavDHAUO python
    技术背景介绍文本嵌入是一种将文本片段转换为高维向量的技术，可以用于自然语言处理任务中的相似性计算、信息检索等应用。LocalAI提供了一种本地化的嵌入解决方案，允许开发者在本地环境中运行和测试嵌入模型。通过在本地部署LocalAI服务，您可以避免依赖外部API，享受更快的响应速度和更好的数据隐私。核心原理解析LocalAIEmbedding类主要负责与本地运行的LocalAI服务通信，进行文本嵌入
  • LLM：软件测试的颠覆性力量 AI天才研究院 DeepSeekR1&大数据AI人工智能大模型AI大模型企业级应用开发实战计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    LLM：软件测试的颠覆性力量关键词：大语言模型（LLM）、软件测试、人工智能、测试自动化、测试效率、质量保证、测试革新1.背景介绍在当今快速发展的软件行业中，测试一直是确保产品质量的关键环节。随着人工智能技术的飞速进步，特别是大语言模型（LargeLanguageModels，简称LLM）的出现，软件测试领域正经历着前所未有的变革。LLM凭借其强大的自然语言处理能力和广泛的知识储备，正在重塑我们对
  • 使用Dall-E生成图像：文本到图像的魔力 shuoac 计算机视觉人工智能python
    使用Dall-E生成图像：文本到图像的魔力技术背景介绍Dall-E是OpenAI开发的一个强大的文本到图像生成模型，它能够根据自然语言描述创造出全新的数字图像。这一技术基于深度学习的方法，使得创意与AI图像生成的结合更具可能性。本文将介绍如何调用Dall-EAPI来生成图像，从而使开发者能够将这一技术应用到自己的项目中。核心原理解析Dall-E利用大型语言模型（LLM）从用户提供的文本描述中提取详
  • 深入了解盘古大模型：技术、应用与未来 Hardess-god Literaturereview人工智能
    随着人工智能技术的迅猛发展，预训练大模型已成为AI领域最前沿、最热门的研究方向之一。近年来，中国自主研发的大模型之一——盘古模型（PanGuModel）逐渐进入公众视野，凭借其强大的性能和广泛的应用前景，引发了行业内外的广泛关注。什么是盘古大模型？盘古大模型是华为公司联合多家科研机构共同研发的超大规模预训练语言模型。该模型以中文数据为主进行训练，旨在推动中文自然语言处理（NLP）以及跨模态应用的技
  • 【深度学习|地学应用】滑坡灾害早期隐患的概念、特征及识别方法，同时解释其与人工边坡、滑坡易发性之间的联系与区别。 985小水博一枚呀 深度学习人工智能
    【深度学习|地学应用】滑坡灾害早期隐患的概念、特征及识别方法，同时解释其与人工边坡、滑坡易发性之间的联系与区别。【深度学习|地学应用】滑坡灾害早期隐患的概念、特征及识别方法，同时解释其与人工边坡、滑坡易发性之间的联系与区别。文章目录【深度学习|地学应用】滑坡灾害早期隐患的概念、特征及识别方法，同时解释其与人工边坡、滑坡易发性之间的联系与区别。1.滑坡灾害早期隐患的概念与特征概念主要特征2.通过光学
  • 知识图谱中NLP新技术 魔王阿卡纳兹 知识图谱入门大数据治理与分析知识图谱自然语言处理人工智能
    知识图谱与自然语言处理（NLP）的结合是当前人工智能领域的前沿方向，其技术发展呈现多维度融合与场景深化的特点。以下从核心技术突破、应用场景创新及未来趋势三个层面，系统梳理知识图谱中NLP的最新进展：一、核心技术突破基于预训练模型的图谱构建与增强预训练语言模型与知识嵌入融合：以BERT、KEPLER为代表的模型通过联合优化知识嵌入（KE）和语言建模目标，将知识图谱中的结构化知识融入预训练过程，显著提
  • 给普通人看的深度学习说明书：用快递系统理解AI如何思考 嵌入式Jerry PythonAI人工智能深度学习
    第一章：理解AI的思维方式（快递版）1.1快递分拣站的故事假设你管理一个快递分拣站：传统方法：手动制定规则（比如根据邮编分拣）机器学习：观察老员工的分拣记录，总结规律深度学习：搭建自动分拣流水线，自主发现隐藏规则1.2神经网络就像智能分拣机传送带（输入层）：接收包裹信息（图片像素/文字等）#就像扫描快递单input_data=[0.2,0.7,0.1]#归一化后的特征数据分拣工人（隐藏层）：每个工
  • 使用PyTorch搭建Transformer神经网络:入门篇 DASA13 pytorchtransformer神经网络
    1.简介Transformer是一种强大的神经网络架构,在自然语言处理等多个领域取得了巨大成功。本教程将指导您使用PyTorch框架从头开始构建一个Transformer模型。我们将逐步解释每个组件,并提供详细的代码实现。2.环境设置首先,确保您的系统中已安装Python(推荐3.7+版本)。然后,安装PyTorch和其他必要的库:pipinstalltorchnumpymatplotlib3.P
  • 解析大模型归一化：提升训练稳定性和性能的关键技术 秋声studio 口语化解析深度学习人工智能大模型归一化
    引言在深度学习领域，特别是在处理大型神经网络模型时，归一化（Normalization）是一项至关重要的技术。它可以提高模型的训练稳定性和性能，在加速收敛方面发挥了重要作用。本文将深入探讨大模型归一化的原理、常见方法及其应用场景，并结合实际案例和代码示例进行说明。一、归一化的作用与理论基础归一化的主要目的是为了提高模型的训练稳定性和性能。具体来说，归一化有以下几个关键作用：提高训练稳定性：在神经网
  • Python 向量检索库Faiss使用 懒大王爱吃狼 pythonpython开发语言自动化Python基础python教程
    Faiss（FacebookAISimilaritySearch）是一个由FacebookAIResearch开发的库，它专门用于高效地搜索和聚类大量向量。Faiss能够在几毫秒内搜索数亿个向量，这使得它非常适合于实现近似最近邻（ANN）搜索，这在许多应用中都非常有用，比如图像检索、推荐系统和自然语言处理。以下是如何使用Faiss的基本步骤和示例：1.安装Faiss首先，你需要安装Faiss。你可
  • 深入解析深度学习中的过拟合与欠拟合诊断、解决与工程实践 古月居GYH 深度学习人工智能
    一、引言：模型泛化能力的核心挑战在深度学习模型开发中，欠拟合与过拟合是影响泛化能力的两个核心矛盾。据GoogleBrain研究统计，工业级深度学习项目中有63%的失败案例与这两个问题直接相关。本文将从基础概念到工程实践，系统解析其本质特征、诊断方法及解决方案，并辅以可复现的代码案例。二、核心概念与通熟易懂解释简单而言，欠拟合是指模型不能在训练集上获得足够低的误差。换句换说，就是模型复杂度低，模型在
  • 使用Python和LangChain构建检索增强生成（RAG）应用的详细指南 m0_57781768 pythonlangchain搜索引擎
    使用Python和LangChain构建检索增强生成（RAG）应用的详细指南引言在人工智能和自然语言处理领域，利用大语言模型（LLM）构建复杂的问答（Q&A）系统是一个重要应用。检索增强生成（RetrievalAugmentedGeneration，RAG）是一种技术，通过将模型知识与额外数据结合来增强LLM的能力，使其能够回答关于特定源信息的问题。这些应用不仅限于公开数据，还可以处理私有数据和模
  • Umi-OCR 实践教程：离线、免费、高效的图像文字识别工具 几道之旅 人工智能智能体及数字员工ocr人工智能
    一、工具简介Umi-OCR是一款开源、免费且支持离线运行的OCR（光学字符识别）工具，适用于Windows和Linux系统。它基于深度学习技术，能够高效提取图像中的文字，支持多语言识别、批量处理、截屏识别等功能，尤其适合对隐私敏感或网络受限的场景。核心亮点：离线运行：无需联网，保护隐私。多引擎支持：提供Paddle（高性能）和Rapid（低配兼容）两种引擎。批量处理：支持图片、PDF、电子书等多格
  • 基于ChatGPT、GIS与Python机器学习的地质灾害风险评估、易发性分析、信息化建库及灾后重建高级实践 weixin_贾 防洪评价风险评估滑坡泥石流地质灾害
    第一章、ChatGPT、DeepSeek大语言模型提示词与地质灾害基础及平台介绍【基础实践篇】1、什么是大模型？大模型（LargeLanguageModel,LLM）是一种基于深度学习技术的大规模自然语言处理模型。代表性大模型：GPT-4、BERT、T5、ChatGPT等。特点：多任务能力：可以完成文本生成、分类、翻译、问答等任务。上下文理解：能理解复杂的上下文信息。广泛适配性：适合科研、教育、行
  • 一文说清楚什么是预训练（Pre-Training）、微调（Fine-Tuning），零基础小白建议收藏！！ 小城哇哇 人工智能语言模型AI大模型大模型微调预训练agiLLM
    前言预训练和微调是现代AI模型的核心技术，通过两者的结合，机器能够在处理复杂任务时表现得更为高效和精准。预训练为模型提供了广泛的语言能力，而微调则确保了模型能够根据特定任务进行细化和优化。近年来，人工智能（AI）在各个领域的突破性进展，尤其是在自然语言处理（NLP）方面，引起了广泛关注。两项重要的技术方法——预训练和微调，成为了AI模型发展的基石。预训练通常是指在大规模数据集上进行模型训练，以帮助
  • jQuery 键盘事件keydown ,keypress ,keyup介绍 107x jsjquerykeydownkeypresskeyup
    本文章总结了下些关于jQuery 键盘事件keydown ,keypress ,keyup介绍，有需要了解的朋友可参考。 一、首先需要知道的是： 1、keydown() keydown事件会在键盘按下时触发. 2、keyup()  代码如下 复制代码 $('input').keyup(funciton(){      
  • AngularJS中的Promise bijian1013 JavaScriptAngularJSPromise
    一.Promise         Promise是一个接口，它用来处理的对象具有这样的特点：在未来某一时刻（主要是异步调用）会从服务端返回或者被填充属性。其核心是，promise是一个带有then()函数的对象。         为了展示它的优点，下面来看一个例子，其中需要获取用户当前的配置文件： var cu
  • c++ 用数组实现栈类 CrazyMizzz 数据结构C++
    #include<iostream> #include<cassert> using namespace std; template<class T, int SIZE = 50> class Stack{ private: T list[SIZE];//数组存放栈的元素 int top;//栈顶位置 public: Stack(
  • java和c语言的雷同 麦田的设计者 java递归scaner
    软件启动时的初始化代码，加载用户信息2015年5月27号 从头学java二 1、语言的三种基本结构：顺序、选择、循环。废话不多说，需要指出一下几点：      a、return语句的功能除了作为函数返回值以外，还起到结束本函数的功能，return后的语句 不会再继续执行。      b、for循环相比于whi
  • LINUX环境并发服务器的三种实现模型 被触发 linux
    服务器设计技术有很多，按使用的协议来分有TCP服务器和UDP服务器。按处理方式来分有循环服务器和并发服务器。 1  循环服务器与并发服务器模型 在网络程序里面，一般来说都是许多客户对应一个服务器，为了处理客户的请求，对服务端的程序就提出了特殊的要求。 目前最常用的服务器模型有： ·循环服务器：服务器在同一时刻只能响应一个客户端的请求 ·并发服务器：服
  • Oracle数据库查询指令 肆无忌惮_ oracle数据库
    20140920   单表查询 -- 查询************************************************************************************************************ -- 使用scott用户登录   -- 查看emp表   desc emp  
  • ext右下角浮动窗口 知了ing JavaScriptext
    第一种 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/
  • 浅谈REDIS数据库的键值设计 矮蛋蛋 redis
    http://www.cnblogs.com/aidandan/ 原文地址：http://www.hoterran.info/redis_kv_design 丰富的数据结构使得redis的设计非常的有趣。不像关系型数据库那样，DEV和DBA需要深度沟通，review每行sql语句，也不像memcached那样，不需要DBA的参与。redis的DBA需要熟悉数据结构，并能了解使用场景。
  • maven编译可执行jar包 alleni123 maven
    http://stackoverflow.com/questions/574594/how-can-i-create-an-executable-jar-with-dependencies-using-maven <build> <plugins> <plugin> <artifactId>maven-asse
  • 人力资源在现代企业中的作用 百合不是茶 HR 企业管理
    //人力资源在在企业中的作用人力资源为什么会存在，人力资源究竟是干什么的 人力资源管理是对管理模式一次大的创新，人力资源兴起的原因有以下点： 工业时代的国际化竞争，现代市场的风险管控等等。所以人力资源 在现代经济竞争中的优势明显的存在，人力资源在集团类公司中存在着 明显的优势(鸿海集团)，有一次笔者亲自去体验过红海集团的招聘，只 知道人力资源是管理企业招聘的 当时我被招聘上了，当时给我们培训 的人
  • Linux自启动设置详解 bijian1013 linux
    linux有自己一套完整的启动体系，抓住了linux启动的脉络，linux的启动过程将不再神秘。 阅读之前建议先看一下附图。 本文中假设inittab中设置的init tree为： /etc/rc.d/rc0.d /etc/rc.d/rc1.d /etc/rc.d/rc2.d /etc/rc.d/rc3.d /etc/rc.d/rc4.d /etc/rc.d/rc5.d /etc
  • Spring Aop Schema实现 bijian1013 javaspringAOP
    本例使用的是Spring2.5 1.Aop配置文件spring-aop.xml <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmln
  • 【Gson七】Gson预定义类型适配器 bit1129 gson
    Gson提供了丰富的预定义类型适配器，在对象和JSON串之间进行序列化和反序列化时，指定对象和字符串之间的转换方式，   DateTypeAdapter   public final class DateTypeAdapter extends TypeAdapter<Date> { public static final TypeAdapterFacto
  • 【Spark八十八】Spark Streaming累加器操作（updateStateByKey) bit1129 update
    在实时计算的实际应用中，有时除了需要关心一个时间间隔内的数据，有时还可能会对整个实时计算的所有时间间隔内产生的相关数据进行统计。 比如： 对Nginx的access.log实时监控请求404时，有时除了需要统计某个时间间隔内出现的次数，有时还需要统计一整天出现了多少次404，也就是说404监控横跨多个时间间隔。   Spark Streaming的解决方案是累加器，工作原理是，定义
  • linux系统下通过shell脚本快速找到哪个进程在写文件 ronin47
    一个文件正在被进程写 我想查看这个进程 文件一直在增大 找不到谁在写 使用lsof也没找到 这个问题挺有普遍性的，解决方法应该很多，这里我给大家提个比较直观的方法。 linux下每个文件都会在某个块设备上存放，当然也都有相应的inode, 那么透过vfs.write我们就可以知道谁在不停的写入特定的设备上的inode。 幸运的是systemtap的安装包里带了inodewatch.stp，位
  • java-两种方法求第一个最长的可重复子串 bylijinnan java算法
    import java.util.Arrays; import java.util.Collections; import java.util.List; public class MaxPrefix { public static void main(String[] args) { String str="abbdabcdabcx";
  • Netty源码学习-ServerBootstrap启动及事件处理过程 bylijinnan javanetty
    Netty是采用了Reactor模式的多线程版本，建议先看下面这篇文章了解一下Reactor模式： http://bylijinnan.iteye.com/blog/1992325 Netty的启动及事件处理的流程，基本上是按照上面这篇文章来走的 文章里面提到的操作，每一步都能在Netty里面找到对应的代码 其中Reactor里面的Acceptor就对应Netty的ServerBo
  • servelt filter listener 的生命周期 cngolon filterlistenerservelt生命周期
    1. servlet    当第一次请求一个servlet资源时，servlet容器创建这个servlet实例，并调用他的 init(ServletConfig config)做一些初始化的工作，然后调用它的service方法处理请求。当第二次请求这个servlet资源时，servlet容器就不在创建实例，而是直接调用它的service方法处理请求，也就是说
  • jmpopups获取input元素值 ctrain JavaScript
    jmpopups 获取弹出层form表单 首先，我有一个div，里面包含了一个表单，默认是隐藏的，使用jmpopups时，会弹出这个隐藏的div，其实jmpopups是将我们的代码生成一份拷贝。 当我直接获取这个form表单中的文本框时，使用方法：$('#form input[name=test1]').val()；这样是获取不到的。 我们必须到jmpopups生成的代码中去查找这个值，$(
  • vi查找替换命令详解 daizj linux正则表达式替换查找vim
    一、查找 查找命令 /pattern<Enter> ：向下查找pattern匹配字符串 ?pattern<Enter>：向上查找pattern匹配字符串 使用了查找命令之后，使用如下两个键快速查找： n：按照同一方向继续查找 N：按照反方向查找 字符串匹配 pattern是需要匹配的字符串，例如： 1:  /abc<En
  • 对网站中的js,css文件进行打包 dcj3sjt126com PHP打包
    一，为什么要用smarty进行打包 apache中也有给js,css这样的静态文件进行打包压缩的模块，但是本文所说的不是以这种方式进行的打包，而是和smarty结合的方式来把网站中的js,css文件进行打包。 为什么要进行打包呢，主要目的是为了合理的管理自己的代码 。现在有好多网站，你查看一下网站的源码的话，你会发现网站的头部有大量的JS文件和CSS文件，网站的尾部也有可能有大量的J
  • php Yii: 出现undefined offset 或者 undefined index解决方案 dcj3sjt126com undefined
    在开发Yii 时，在程序中定义了如下方式：        if($this->menuoption[2] === 'test')，那么在运行程序时会报：undefined offset:2，这样的错误主要是由于php.ini 里的错误等级太高了，在windows下错误等级
  • linux 文件格式（1） sed工具 eksliang linuxlinux sed工具sed工具linux sed详解
    转载请出自出处： http://eksliang.iteye.com/blog/2106082 简介       sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾
  • Android应用程序获取系统权限 gqdy365 android
    引用 如何使Android应用程序获取系统权限         第一个方法简单点，不过需要在Android系统源码的环境下用make来编译：         1. 在应用程序的AndroidManifest.xml中的manifest节点
  • HoverTree开发日志之验证码 hvt .netC#asp.nethovertreewebform
    HoverTree是一个ASP.NET的开源CMS，目前包含文章系统，图库和留言板功能。代码完全开放，文章内容页生成了静态的HTM页面，留言板提供留言审核功能，文章可以发布HTML源代码，图片上传同时生成高品质缩略图。推出之后得到许多网友的支持，再此表示感谢！留言板不断收到许多有益留言，但同时也有不少广告，因此决定在提交留言页面增加验证码功能。ASP.NET验证码在网上找，如果不是很多，就是特别多
  • JSON API：用 JSON 构建 API 的标准指南中文版 justjavac json
    译文地址：https://github.com/justjavac/json-api-zh_CN 如果你和你的团队曾经争论过使用什么方式构建合理 JSON 响应格式， 那么 JSON API 就是你的 anti-bikeshedding 武器。 通过遵循共同的约定，可以提高开发效率，利用更普遍的工具，可以是你更加专注于开发重点：你的程序。 基于 JSON API 的客户端还能够充分利用缓存，
  • 数据结构随记_2 lx.asymmetric 数据结构笔记
    第三章 栈与队列 一．简答题 1. 在一个循环队列中，队首指针指向队首元素的  前一个    位置。  2.在具有n个单元的循环队列中，队满时共有  n-1  个元素。  3. 向栈中压入元素的操作是先  移动栈顶指针&n
  • Linux下的监控工具dstat 网络接口 linux
    1) 工具说明dstat是一个用来替换 vmstat,iostat netstat,nfsstat和ifstat这些命令的工具, 是一个全能系统信息统计工具. 与sysstat相比, dstat拥有一个彩色的界面, 在手动观察性能状况时, 数据比较显眼容易观察; 而且dstat支持即时刷新, 譬如输入dstat 3, 即每三秒收集一次, 但最新的数据都会每秒刷新显示. 和sysstat相同的是,
  • C 语言初级入门--二维数组和指针 1140566087 二维数组c/c++指针
    /* 二维数组的定义和二维数组元素的引用 二维数组的定义： 当数组中的每个元素带有两个下标时，称这样的数组为二维数组； (逻辑上把数组看成一个具有行和列的表格或一个矩阵); 语法： 类型名 数组名[常量表达式1][常量表达式2] 二维数组的引用： 引用二维数组元素时必须带有两个下标，引用形式如下： 例如： int a[3][4];  引用：
  • 10点睛Spring4.1-Application Event wiselyman application
    10.1 Application Event Spring使用Application Event给bean之间的消息通讯提供了手段 应按照如下部分实现bean之间的消息通讯 继承ApplicationEvent类实现自己的事件 实现继承ApplicationListener接口实现监听事件 使用ApplicationContext发布消息
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他