支锦铭
支锦铭

UCAS - AI学院 - 自然语言处理专项课 - 第9讲 - 课程笔记

UCAS - AI学院 - 自然语言处理专项课 - 第9讲 - 课程笔记

  • 语义分析
    • 概述
    • 语义理论简介
    • 格语法
    • 语义网络
    • 词义消歧
    • 语义角色标注
    • 分布式语义表示

语义分析

概述

  • 语义计算的任务：解释句子或篇章各部分的含义
  • 困难
    • 大量的歧义（指代、同义/多义、辖域、隐喻）
    • 不同人的理解
    • 理论方法、模型尚不成熟
  • 挑战
    • 语义的基本单元
    • 语义表示的方法和标准
    • 语言产生和演化的神经基础是什么
    • 人脑的语言认知机理

语义理论简介

  • 词的指称作为意义
    • 指代事物——对应意义
    • 问题：抽象、复杂的事物无法处理
  • 心理图像、大脑图像或思想作为意义
  • 说话者的意图作为意义
    • 言语行为——期望反应
    • 独立于逻辑意义之外
    • 意图的定义、划分和表示十分困难
  • 过程语义
    • 接收该句后采取的动作
    • 人机对话
  • 词汇分解学派
    • 句子语义基于其含有的词和词组
    • 词的意义基于一组有限特征——语义基元
    • 语义基元 + 操作符——句子语义
    • 难以把握
  • 条件真理模型
    • 谓词逻辑为基础
    • 语义即其所对应的命题或谓词在全体模型中的真伪
    • 时间、场景有关的语言现象不能很好描述
    • 一词多义不好解释
  • 情景语义学
    • 句子语义与逻辑意义和使用的场景有关
    • 引入场景变量
  • 模态逻辑
    • 通过一套公理系统刻画现实世界和自然语言中的常见现象
    • 难以涵盖特殊事实

格语法

  • 用施事 、 受事 、 工具 、 受益等概念表示句法语义关系
  • 这些语义关系经过变换后在表层结构中称为主语或宾语
  • 格：深层格，体词（名词、代词）和谓词（动词、形容词）之间的及物性关系——语义关系
  • 这种格一旦确定就不会改变
  • 三条基本规则
    • S → M + P S \to M + P S→M+P：句子可改写成情态和命题两个部分
    • P → V + C 1 + ⋯ + C n P \to V + C_1 + \dots + C_n P→V+C1​+⋯+Cn​：命题都可改写成一个动词 V V V和若干格
    • C → K + N P C \to K + NP C→K+NP：格由格标和名词短语构成
  • 格表
    • 施事格：动作发生者
    • 工具格：动作或状态牵涉到的无生命力量或客体
    • 承受格：动作或状态影响的生物
    • 使成格：动作或状态形成的客体或生物
    • 方位格：所处空间方位
    • 客体格：动作或状态影响的事物
    • 受益格：动作为之服务的有生命对象
    • 源点格：来源或起始位置
    • 终点格：终点或终止位置
    • 伴随格：共同完成动作的伴随者
    • ……
  • 用格语法分析语义：格框架约束分析
    • 格框架表示：主要概念（动词） + 辅助概念（各种深层格）
    • 分析基础：词典（动词需要的格、名词的语义信息）
    • 分析步骤
      • 判断主要动词，找出对应格框架
      • 识别必备格
      • 识别可选格
      • 判断句子的情态
    • 与句法分析结合
      • 句法分析：判断名词、NP、PP
      • 查找动词格框架与NP、PP的格关系
  • 格语法描写汉语的局限性
    • 汉语中的无动句、流水句、连动句、紧缩、动补、省略等结构无法描述
    • 无法对句子进一步拆分分析

语义网络

  • 语义网络：通过实体、概念或动作、状态及语义关系组成有向图表达知识、描述语义
  • 图的节点表示实体或概念，边表示实体或概念之间的联系
  • 边的类型：IS-A、PART-OF、IS、HAVE、BEFORE……
  • 实体、概念或属性通常采用不同形状节点表示
  • 事件的语义网络表示：施事、受事、时间等关系，由事件节点连结
    • 事件的语义关系：分类、聚焦、推论、时间位置
  • 问题
    • 词的内涵和外延
    • 网络的完备性
    • 粒度划分

词义消歧

  • 基本方法
    • 基于规则的方法
    • 统计机器学习方法（有监督 / 无监督）
      • 不同词义一般发生在不同的上下文
    • 基于词典信息的方法
  • 有监督的词义消歧方法
    • 建立分类器，利用划分多义词的上下文的类别以区分多义词的词义
    • 互信息消歧方法
      • 双语平齐的平行语料库，一个多义的A语单词在不同上下文中对应多种不同的B语翻译
      • 语义指示器：决定A语言的语义的条件
      • 词义消歧——语义指示器的分类问题
      • 对多义词的译文 T 1 , … , T m T_1, \dots, T_m T1​,…,Tm​，指示器取值 V 1 , … , V n V_1, \dots, V_n V1​,…,Vn​，是一个Flip-Flop算法
        • 随机将 T i T_i Ti​划分为两个集合 P = { P 1 , P 2 } P = \{P_1, P_2\} P={P1​,P2​}
        • 找到一个 V j V_j Vj​的划分 Q = { Q 1 , Q 2 } Q = \{Q_1, Q_2\} Q={Q1​,Q2​}，使得 Q i Q_i Qi​和 P i P_i Pi​的互信息最大
        • 找到一个改进的划分 P ′ P^\prime P′，使得 P ′ P^\prime P′和 Q Q Q的互信息最大
        • 重复后面两个步骤
      • 指示器取值确定后：
        • 对出现的歧义词，指示器值为 V i V_i Vi​
        • 若 V i V_i Vi​在 Q 1 Q_1 Q1​中，语义确定为语义1，否则为语义2
    • 基于贝叶斯分类器的方法——第二章
    • 基于最大熵的方法——第二章
    • 基于词典的方法
      • 语义定义消歧：词典中词条本身的定义作为判断其语义的条件
      • 义类辞典（thesaurus）消歧：多义词不同义项使用时往往具有不同的上下文语义类
      • 双语词典消歧：针对A语言x和y的搭配关系，在B语言中计算不同x的对应义项与y的搭配关系
      • Yarowkskyi消歧：两个基本限制
        • 每篇文章只有一个意义（存在问题）
        • 每个搭配只有一个意义（取最可能搭配）
  • 无监督的词义消歧方法
    • 对一个词的多个义项 s i s_i si​，计算上下文中出现 v j v_j vj​的概率 p ( v j ∣ s i ) p(v_j | s_i) p(vj​∣si​)
    • p ( v j ∣ s i ) p(v_j | s_i) p(vj​∣si​)的估计在无标注语料上进行，EM算法估计
    • 问题：很多同义词的同一个意义常出现的上下文往往有很大差异

语义角色标注

  • 任务目标：自动语义角色标注，以句子为分析单位，以句子谓词为核心，分析句子中的其他成分与谓词之间的关系
  • 一般在句法分析基础上进行
  • 主要用途：信息抽取、自动文摘、机器翻译
  • 两类语义角色
    • 与具体谓词直接相关，ARG0通常为施事者，ARG1通常表示动作的影响
    • 起修饰作用的辅助性角色，ARGM开头，表示时间、地点和一般修饰
  • 主要框架
    • PropBank
    • NomBank（聚焦到名词短语身上）
  • 标注方法
    • 句子——（句法分析器）——句法分析结果——（候选论元剪除）（尽量减少候选项的数目）——（论元识别）（论元的二分类问题）——（论元标注）（多分类问题）——（后处理）（删除重复论元）——SRL结果
  • 基于短语结构句法分析的SRL方法
    • 候选论元剪枝
      • 将谓词作为当前节点，依次考察其兄弟，若非并列关系，则视作候选项；若兄弟为PP，其子节点亦作为候选项
      • 将其父设为当前节点，重复上一步
    • 论元识别和标注
      • 分类问题
      • 有效特征
        • 谓词本身
        • 沿树到达谓词的路径
        • 其他特征P65
    • 分类：贝叶斯、最大熵、SVM、感知机
  • 基于依存关系的SRL方法
    • 一个论元被表示为连续的几个词和一个语义角色标签（中心词 + 语义角色）
    • 谓词与论元的关系可以视为谓词与中心词的关系
    • 候选论元剪枝
      • 谓词作为当前节点，所有孩子作为候选项
      • 其父设为当前节点，重复上述过程
    • 论元识别和标注
      • 常用特征
        • 谓词
        • 谓词词义
        • 其他特征P70+P71
  • 基于语块分析的SRL方法
    • 序列标注问题
    • BIO方式定义序列标注的标签集，将不同的语块赋予不同的标签
    • 不需要剪除候选论元（局部语义分析），论元识别和标注同时进行
  • 主要问题
    • 句法分析器性能的严重依赖
    • 领域适应能力差

分布式语义表示

  • 基于图像学习词汇语义表示
    • 特征描述子（SIFT）直接提取图像关键点特征
    • 利用CNN提取图像特征
  • 基于语言学习词汇语义表示
    • 利用升学特征
  • 基于多模态信息学习词汇语义表示
    • same weight
    • different weight
  • 针对多模态信息融合的分布式表示学习
    • 利用关联词对作为弱监督信号
      • 学习单模态向量表示
      • 补全没有图像表示的词汇的图像表示
      • 利用门机制作为不同模态的权重
      • 用关联词对作为监督信号，互相接近，利用最大间隔作为目标函数
    • 问题：一些信息并不在文本中出现（颜色、气味）
      • 忽视了模态之间的相关性
      • 级联方式不能很好融合模态信息
      • 没考虑到不同类型词汇对模态的依赖性——具象词、抽象词
    • 多路通道融合编码
      • 模态关联 + 单词关联（不同模态依赖程度） + 门机制
    • 融合词汇内部结构的中文句子表示模型
      • 不同类型字对词汇含义影响不同
      • 原子词汇表示和组合词汇表示对最终此汇含义影响不同
  • 针对多模态词汇表示的可解释性研究
    • 表针相似性分析方法和大脑的成分语义表征解释
      • 不同模态特征相似性学习
      • 不同维度特征做对比
      • 维度与特征之间的相关性分析
      • 不同模态得到的词汇表示编码了不同类型的属性（视觉——感知特征，词汇——抽象特征）
      • 词汇语义表示模型在实体词和抽象词上的表示不同（实体词——感知特征，抽象词——抽象特征）
  • 借鉴人类注意力分配机制的句子语义表示
    • 惊异度Surprisal：人在某一个词上注意力的多少
    • 注意力模型是否与人阅读时的眼动数据一致？Yes！
  • 研究对比不同类型分布式句子表示在人脑语义解码上的性能表现
    • fMRI图像跟踪
    • 句子中不同词贡献语义不同
    • 句子语义与其结构紧密相关
    • 相似度解码：fMRI与文本表示的统一相似度度量
    • 回归解码：二者的联系
    • 句子表示：非结构化（朴素池化 / 复杂池化） / 结构化（无监督 / 监督）
    • 训练过程：训练——测试（相似性训练）——排序（效果评价）
    • 非结构化模型中，最大池化表现最差，最大池化 + 平均池化结合效果很好
    • 监督结构化模型表现显著优
    • 不同回归方法有着不一样的表现
    • 人脑分布集中在语言区和视觉区
  • 如何从神经影像数据中重构相关的语义信息
    • 不同fMRI与不同类型词汇的对应关系
    • 三种刺激
      • 图像 + 单词
      • 句子
      • 词云（中心词 + 相关词）
    • 三种类型词：动词、名词、形容词
    • 图像+单词分布最稳定，与VGG搭配最好；句子和词云与ELMo搭配最好
    • 不同类型的词应采用不同的表示方法
    • 不同模态的刺激激活不同的脑区
  • 利用计算方法寻找语义和语法表征的脑区
    • 解纠缠的特征表示模型
    • 解纠缠模型构建（句法、语义）
    • 进行相似性编码分析
    • 语义特征更加鲁棒（无顺序结构的约束）
    • 句法和语义很难区分得开
    • NLP——探索大脑语言的认知机理的可能

你可能感兴趣的:(UCAS-课程笔记,人工智能,自然语言处理)

  • Ai插件脚本合集安装包，免费教程视频网盘分享 全网优惠分享君
    随着人工智能技术的不断发展，越来越多的插件脚本涌现出来，为我们的生活和工作带来了便利。然而，如何快速、方便地获取和使用这些插件脚本呢？今天，我将为大家分享一个非常实用的资源——AI插件脚本合集安装包，以及免费教程视频网盘分享。首先，让我们来了解一下这个AI插件脚本合集安装包。它是一个集合了众多AI插件脚本的资源包，涵盖了各种领域，如数据分析、自动化办公、智能客服等等。通过这个安装包，用户可以轻松地
  • 过去一年，这16本好书不容错过 m0_54050778 perl
    编者按：2023年在动荡与希望中收尾，2023年注定会被载入史册。疫情寒冬结束，ChatGPT横空出世，带动了人工智能技术的飞速发展；淄博烧烤、天津大爷、尔滨之旅等充满感动与幸福。但与此同时，2023年又是动荡与不安的一年，俄乌冲突的延宕，新一轮的巴以冲突，极端天气频发。在这个大环境下，有一些经典的书籍著作诞生。本文将分享2023年最值得一读的16本书籍，文章来自翻译，希望对你有所启示。关于202
  • UNDERSTANDING HTML WITH LARGE LANGUAGE MODELS liferecords LLM语言模型人工智能自然语言处理
    UNDERSTANDINGHTMLWITHLARGELANGUAGEMODELS相关链接：arXiv关键字：大型语言模型、HTML理解、Web自动化、自然语言处理、机器学习摘要大型语言模型（LLMs）在各种自然语言任务上表现出色。然而，它们在HTML理解方面的能力——即解析网页的原始HTML，对于自动化基于Web的任务、爬取和浏览器辅助检索等应用——尚未被充分探索。我们为HTML理解模型（经过微调
  • ChatGPT技巧大揭秘：AI写代码新境界 2401_83550420 chatgpt4.0chatgptchatgpt人工智能AI写作
    ChatGPT无限次数:点击直达ChatGPT技巧大揭秘：AI写代码新境界随着人工智能技术的不断进步，开发人员现在有了更多有趣的工具来提高他们的工作效率。其中，ChatGPT作为一种基于深度学习的自然语言处理模型，已经成为许多开发者的新宠。在本文中，我们将揭秘使用ChatGPT来帮助编写代码的技巧，探索AI在编程领域的新境界。ChatGPT简介ChatGPT是一种基于大型神经网络的对话生成模型，它
  • ChatGPT：AI合作伙伴助你成为论文写作高手 2401_83550420 chatgptchatgpt人工智能AI写作
    ChatGPT无限次数:点击直达摘要：本文将介绍ChatGPT3.5Turbo（以下简称ChatGPT），一款强大的AI合作伙伴，能够助你成为一名论文写作高手。我们将深入探讨ChatGPT的特点、优势，并提供多个示例，展示ChatGPT在论文写作中的应用。无论是开展研究、撰写论文、还是与ChatGPT进行互动交流，都能够帮助你提升写作效率和质量。引言：随着人工智能的发展，聊天型语言模型在各个领域都
  • AI大模型学习：开启智能时代的新篇章 游向大厂的咸鱼 人工智能学习
    随着人工智能技术的不断发展，AI大模型已经成为当今领先的技术之一，引领着智能时代的发展。这些大型神经网络模型，如OpenAI的GPT系列、Google的BERT等，在自然语言处理、图像识别、智能推荐等领域展现出了令人瞩目的能力。然而，这些模型的背后是一系列复杂的学习过程，深度学习技术的不断演进推动了AI大模型学习的发展。首先，AI大模型学习的基础是深度学习技术。深度学习是一种模仿人类大脑结构的机器
  • OpenCV（一个C++人工智能领域重要开源基础库） 简介 愚梦者 OpenCV人工智能人工智能opencvc++图像处理计算机视觉开源
    返回：OpenCV系列文章目录（持续更新中......）上一篇：OpenCV4.9.0配置选项参考下一篇：OpenCV4.9.0开源计算机视觉库安装概述引言：OpenCV（全称OpenSourceComputerVisionLibrary）是一个基于开放源代码发行的跨平台计算机视觉库，可以用来进行图像处理、计算机视觉和机器学习等领域的开发。该库由英特尔公司于1999年开始开发，最初是为了加速处理器
  • 【循环神经网络rnn】一篇文章讲透 CX330的烟花 rnn人工智能深度学习算法python机器学习数据结构
    目录引言二、RNN的基本原理代码事例三、RNN的优化方法1长短期记忆网络（LSTM）2门控循环单元（GRU）四、更多优化方法1选择合适的RNN结构2使用并行化技术3优化超参数4使用梯度裁剪5使用混合精度训练6利用分布式训练7使用预训练模型五、RNN的应用场景1自然语言处理2语音识别3时间序列预测六、RNN的未来发展七、结论引言众所周知，CNN与循环神经网络（RNN）或生成对抗网络（GAN）等算法结
  • ChatGPT：智能论文写作指南，让您成为写作高手 AI臻蚌 chatgpt4.0chatgptchatgpt人工智能AI写作
    ChatGPT无限次数:点击直达写作是学术研究中不可或缺的一环，然而，对于许多人来说，写作往往是一项艰巨而费时的任务。但是，现在有了ChatGPT，您将能够以前所未有的速度和准确性编写高质量的论文。本文将向您介绍如何利用ChatGPT的强大功能成为写作高手，并为您提供一些示例，展示其在不同领域的应用。1.简介ChatGPT是一种基于人工智能的语言模型，它可以理解并生成人类语言。通过训练大量的语料库
  • ChatGPT神技：AI成为你的编程良友 2401_83481083 chatgpt4.0chatgptchatgpt人工智能AI写作
    ChatGPT无限次数:点击直达ChatGPT神技：AI成为你的编程良友近年来，人工智能技术的发展迅猛，ChatGPT作为其中一项创新技术，正逐渐走进我们的生活。在编程领域，AI不仅可以助力我们提高效率，还能成为我们的良友，帮助解决各种编程难题。一、ChatGPT简介ChatGPT是一种基于自然语言处理技术的人工智能模型，它能够生成类人对话。ChatGPT通过深度学习模型，能够理解输入的文本并生成
  • 数字逻辑不可能涌现出智能 dog250 人工智能
    先看一系列竖式乘法的步骤：相乘的两个数数位越大，步骤越多。如果不纠结数制，二进制运算也是这回事，把单个步骤用一个晶体管表达(其实一个步骤不止一个晶体管)，数位越大，所需的晶体管越多。先说结论，所有基于n进制的逻辑运算都不可扩展。硅基时序电路可如此巧妙完成精确计算，开启了数字化时代，人们试图将AI构建在这二进制世界。但若二进制运算不可扩展，基于数字逻辑的人工智能就不可能。前面提到过，二进制运算本质上
  • 让数据说话：人工智能与六西格玛的完美结合 张驰课堂 人工智能六西格玛
    当人工智能与六西格玛结合，企业可以充分利用人工智能技术的数据处理、预测分析和智能决策支持能力，实现数据驱动的决策、质量控制和流程优化，从而提高企业的效率和竞争力。下面张驰咨询给大家具体的介绍：1、数据驱动决策六西格玛侧重于数据分析和决策制定，而人工智能可以提供更强大的数据处理和分析能力。通过人工智能技术，可以自动收集和整理大量的数据，并进行有效的数据挖掘和模式识别。这些数据分析结果可以为六西格玛项
  • 智合同如何助力建筑行业合同智能化管理 智合同（小智） 合同智能应用AI技术降本增效提质人工智能自然语言处理知识图谱深度学习大数据
    #建筑行业#人工智能#AI#合同智能应用#深度学习#自然语言处理技术#知识图谱智合同-采用深度学习、自然语言处理技术、知识图谱等人工智能技术，为企业提供专业的合同相关的智能服务。其主要服务包含：合同智能审查、合同要素智能提取、合同版本对比、合同智能起草、ICR智能识别、合同履约追踪、文本一致性对比、广告审查、合同范本库等服务。智合同在助力建筑行业合同智能化管理方面具有显著的优势。首先，智合同利用A
  • AI原生安全 亚信安全首个“人工智能安全实用手册”开放阅览 亚信安全官方账号 安全网络web安全人工智能大数据
    不断涌现的AI技术新应用和大模型技术革新，让我们感叹从没有像今天这样，离人工智能的未来如此之近。追逐AI原生？企业组织基于并利用大模型技术探索和开发AI应用的无限可能，迎接生产与业务模式的全面的革新。我们更应关心AI安全原生。实施人工智能是一项复杂又长远的任务，任何希望利用大模型的组织在设计之初，都必须将安全打入地基，安全一定是AI技术发展的核心要素。针对人工智能和大模型面临的威胁与攻击模式，亚信
  • 开发chrome扩展（ 禁止指定域名使用插件） 徐同保 chrome前端
    mainfest.json:{"manifest_version":3,"name":"ChatGPT学习","version":"0.0.2","description":"ChatGPT,GPT-4,Claude3,Midjourney,StableDiffusion,AI,人工智能,AI","icons":{"16":"./images/logo.png","48":"./images/lo
  • ai智能语音机器人的出现未来电销行业会如何发展？ VO_794632978 WX-794632978语音机器人人工智能机器人交互语音识别大数据
    人工智能和移动互联网技术的发展，对于很多行业都产生了颠覆性的影响。而对于电销这一重复度较高的行业来说，也是产生了巨大的推动作用。对于传统电销人来说，电销机器人可以帮助你提高销售效率，提高影响客户的能力和转化率，将你过去繁琐简单无效的需要个人做的工作，都交给机器，让你的时间和精力，放在重要的客户和有创造性的事情上。我们一起来看看都有哪些发展。自动化程度提高：AI机器人能够不间断地工作，自动拨打电话、
  • GEE在灾害预警中的遥感云大数据应用及GPT模型辅助分析 AIzmjl GPT生态遥感大数据gptgee灾害预警水体湿地遥感
    随着遥感技术的快速发展，云大数据在灾害、水体与湿地领域的应用日益广泛。通过遥感云大数据，我们能够实时获取灾害发生地的影像信息，为灾害预警、应急响应提供有力支持。同时，在水体与湿地监测方面，遥感云大数据也发挥着重要作用，帮助我们了解水体的分布、变化以及湿地的生态状况。近年来，GPT模型在自然语言处理领域取得了显著成果，其强大的文本生成和理解能力为遥感云大数据的应用提供了新的可能。通过将GPT模型与遥
  • 生成式AI竞赛：开源还是闭源，谁将主宰未来？ 新加坡内哥谈技术 人工智能
    每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/对于一些行业观察家来说，这场战斗似乎还没开始就已结束。当ChatGPT成为有史以来增长最
  • 从政府工作报告探计算机行业发展 想你依然心痛 个人总结与成长规划行业发展前景
    文章目录每日一句正能量前言以“数”谋新、加“数”向实人工智能方面人工智能成核心驱动引擎软件方面通信方面后记每日一句正能量该来的始终会来，千万别太着急，如果你失去了耐心，就会失去更多。该走过的路总是要走过的，从来不要认为你走错了路，哪怕最后转了一个大弯。这条路上你看到的风景总是特属于你自己的，没有人能夺走它。前言2024年的两会是中国政治日历上一次重要的会议，吸引了全球的目光。在这次两会中，计算机行
  • ego - 人工智能原生 3D 模拟引擎——基于AI的3D引擎，可以做游戏、空间计算、元宇宙等项目 花生糖@ AIGC学习资源人工智能游戏空间计算
    1.产品概述：Ego是一款AI本地化的3D模拟引擎，旨在让非技术创作者通过自然语言生成逼真的角色、3D世界和交互式脚本。该平台提供了创建和分享游戏、虚拟世界和交互体验的功能。2.定位：Ego定位于解决开放世界游戏和模拟的三大难题：难以编写游戏脚本、非玩家角色无法展现人类行为以及创建新的3D资产和世界的难度。通过AI技术，Ego致力于让用户可以用自然语言创建复杂的游戏和交互体验。3.创始人背景：创始
  • Python中的并发编程：多线程与多进程的比较【第124篇—多线程与多进程的比较】 一键难忘 pythonjava服务器并发编程多线程多进程
    发现宝藏前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。【点击进入巨牛的人工智能学习网站】。Python中的并发编程：多线程与多进程的比较在Python编程领域中，处理并发任务是提高程序性能的关键之一。本文将探讨Python中两种常见的并发编程方式：多线程和多进程，并比较它们的优劣之处。通过代码实例和详细的解析，我们将深入了解这两种方法的适用场景和潜在问题。多线程
  • 最新ChatGPT支持下的PyTorch机器学习与深度学习 zkzhzy ChatGPT机器学习python机器学习深度学习pytorchchatgpt数据分析人工智能
    近年来，随着AlphaGo、无人驾驶汽车、医学影像智慧辅助诊疗、ImageNet竞赛等热点事件的发生，人工智能迎来了新一轮的发展浪潮。尤其是深度学习技术，在许多行业都取得了颠覆性的成果。另外，近年来，Pytorch深度学习框架受到越来越多科研人员的关注和喜爱。郁磊（副教授）主要从事AI人工智能、大语言模型及软件开发、生理系统建模与仿真、生物医学信号处理，具有丰富的科研经验，主编《MATLAB智能算
  • 神奇的微积分 科学的N次方 人工智能人工智能ai
    微积分在人工智能（AI）领域扮演着至关重要的角色，以下是其主要作用：优化算法：•梯度下降法：微积分中的导数被用来计算损失函数相对于模型参数的梯度，这是许多机器学习和深度学习优化算法的核心。梯度指出了函数值增加最快的方向，通过沿着负梯度方向更新权重，可以最小化损失函数并优化模型。•反向传播：在神经网络训练中，微积分的链式法则用于计算整个网络中每个参数对于最终损失函数的影响（偏导数），这一过程就是反向
  • 自然语言处理概念以及发展 黑夜照亮前行的路 自然语言处理
    自然语言概念总结自然语言处理（NaturalLanguageProcessing，简称NLP）是计算机科学领域与人工智能领域的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理旨在帮助计算机理解和处理自然语言，使计算机能够像人类一样处理和生成语言。从概念上讲，自然语言处理融合了语言学、计算机科学和数学等多学科的知识。它并不仅仅是一般地研究自然语言，而是侧重
  • 群晖NAS使用Docker安装WPS Office并结合内网穿透实现公网远程办公 深鱼~ cpolar容器运维ssh网络
    文章目录推荐1.拉取WPSOffice镜像2.运行WPSOffice镜像容器3.本地访问WPSOffice4.群晖安装Cpolar5.配置WPSOffice远程地址6.远程访问WPSOffice小结7.固定公网地址推荐前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。【点击跳转到网站】wps-office是一个在Linux服务器上部署WPSOffice的镜像。它基于
  • 什么是分布式搜索引擎 罗彬桦 分布式搜索引擎搜索引擎分布式
    什么是分布式搜索引擎搜索引擎所谓搜索引擎，就是根据用户需求与一定算法，运用特定策略从互联网检索出制定信息反馈给用户的一门检索技术。搜索引擎依托于多种技术，如网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等，为信息检索用户提供快速、高相关性的信息服务。搜索引擎技术的核心模块一般包括爬虫、索引、检索和排序等，同时可添加其他一系列辅助模块，以为用户创造更好的网络使用环境。分布
  • 自然语言处理（NLP）技术的概念及优势 刘小董 学习心得自然语言处理
    自然语言处理（NLP）是人工智能领域的一个重要分支，其目标是使计算机能够理解、处理和生成人类自然语言的形式和含义。NLP技术的优势包括：实现人机交互：NLP技术可以使计算机与人类之间实现自然的语言交互，使人们可以通过语音识别、语义理解等方式与计算机进行交流。大规模文本处理：NLP技术可以对大规模文本进行自动化处理和分析，提取关键信息和知识，从而实现文本分类、情感分析、信息检索等任务。自动化翻译：N
  • 大型语言模型RAG（检索增强生成）：检索技术的应用与挑战 in_tsz 语言模型人工智能自然语言处理
    摘要检索增强生成（RAG）系统通过结合传统的语言模型生成能力和结构化数据检索，为复杂的问题提供精确的答案。本文深入探讨了RAG系统中检索技术的工作原理、实现方式以及面临的挑战，并对未来的发展方向提出了展望。随着大型预训练语言模型（LLMs）如GPT-3和BERT的出现，自然语言处理（NLP）领域取得了显著进展。然而，这些模型在处理知识密集型任务时仍存在局限性，特别是在需要最新或特定领域知识的情况下
  • 机器学习常用框架 碧落&凡尘 机器学习人工智能
    机器学习是人工智能的一个重要分支，它通过让计算机系统利用数据自我学习来改进任务执行的能力。在机器学习领域，有许多成熟的框架被广泛使用，这些框架提供了构建和训练机器学习模型的工具。以下是一些常用的机器学习框架：TensorFlow：由Google开发，是一个开源的软件库，用于数据流编程，广泛应用于各类机器学习任务。它支持分布式计算，能够在大规模数据集上训练复杂的模型。PyTorch：由Faceboo
  • 【8月31日 国内从备案到获客首批大模型厂商名单】 刘广睿 大模型国家批准
    **五家北京企业机构**百度（文心一言）抖音（云雀大模型）智谱AI（GLM大模型）中科院（紫东太初大模型）百川智能（百川大模型）三家上海企业机构商汤（日日新大模型）MiniMax（ABAB大模型）上海人工智能实验室（书生通用大模型）百度-文心一言大模型抖音集团-云雀大模型8月17日，抖音集团（前字节跳动）宣布开始对外测试AI对话产品“豆包”。据悉“豆包”是基于抖音云雀模型开发，提供聊天机器人、写作
  • 插入表主键冲突做更新 a-john
    有以下场景： 用户下了一个订单，订单内的内容较多，且来自多表，首次下单的时候，内容可能会不全（部分内容不是必须，出现有些表根本就没有没有该订单的值）。在以后更改订单时，有些内容会更改，有些内容会新增。 问题： 如果在sql语句中执行update操作，在没有数据的表中会出错。如果在逻辑代码中先做查询，查询结果有做更新，没有做插入，这样会将代码复杂化。 解决： mysql中提供了一个sql语
  • Android xml资源文件中@、@android:type、@*、？、@+含义和区别 Cb123456 @+@?@*
    一.@代表引用资源 1.引用自定义资源。格式：@[package:]type/name android：text="@string/hello"   2.引用系统资源。格式：@android:type/name     android:textColor="@android:color/opaque_red"
  • 数据结构的基本介绍 天子之骄 数据结构散列表树、图线性结构价格标签
    数据结构的基本介绍 数据结构就是数据的组织形式，用一种提前设计好的框架去存取数据，以便更方便，高效的对数据进行增删查改。正确选择合适的数据结构，对软件程序的高效执行的影响作用不亚于算法的设计。此外，在计算机系统中数据结构的作用也是非同小可。例如常常在编程语言中听到的栈，堆等，就是经典的数据结构。   经典的数据结构大致如下：   一：线性数据结构 (1)：列表 a
  • 通过二维码开放平台的API快速生成二维码 一炮送你回车库 api
     现在很多网站都有通过扫二维码用手机连接的功能，联图网(http://www.liantu.com/pingtai/)的二维码开放平台开放了一个生成二维码图片的Api,挺方便使用的。闲着无聊，写了个前台快速生成二维码的方法。        html代码如下:(二维码将生成在这div下) ? 1  &nbs
  • ImageIO读取一张图片改变大小 3213213333332132 javaIOimageBufferedImage
    package com.demo; import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException; import javax.imageio.ImageIO; /** * @Description 读取一张图片改变大小 * @author FuJianyon
  • myeclipse集成svn（一针见血） 7454103 eclipseSVNMyEclipse
                                     &n
  • 装箱与拆箱----autoboxing和unboxing darkranger J2SE
    4.2　自动装箱和拆箱 基本数据(Primitive)类型的自动装箱(autoboxing)、拆箱(unboxing)是自J2SE 5.0开始提供的功能。虽然为您打包基本数据类型提供了方便，但提供方便的同时表示隐藏了细节，建议在能够区分基本数据类型与对象的差别时再使用。 4.2.1　autoboxing和unboxing 在Java中，所有要处理的东西几乎都是对象(Object)
  • ajax传统的方式制作ajax aijuans Ajax
    //这是前台的代码 <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> <% String path = request.getContextPath(); String basePath = request.getScheme()+
  • 只用jre的eclipse是怎么编译java源文件的？ avords javaeclipsejdktomcat
    eclipse只需要jre就可以运行开发java程序了，也能自动 编译java源代码，但是jre不是java的运行环境么，难道jre中也带有编译工具？ 还是eclipse自己实现的？谁能给解释一下呢问题补充：假设系统中没有安装jdk or jre，只在eclipse的目录中有一个jre，那么eclipse会采用该jre，问题是eclipse照样可以编译java源文件，为什么呢？ &nb
  • 前端模块化 bee1314 模块化
    背景： 前端JavaScript模块化，其实已经不是什么新鲜事了。但是很多的项目还没有真正的使用起来，还处于刀耕火种的野蛮生长阶段。   JavaScript一直缺乏有效的包管理机制，造成了大量的全局变量，大量的方法冲突。我们多么渴望有天能像Java（import），Python (import)，Ruby(require)那样写代码。在没有包管理机制的年代，我们是怎么避免所
  • 处理百万级以上的数据处理 bijian1013 oraclesql数据库大数据查询
    一.处理百万级以上的数据提高查询速度的方法：        1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。         2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 o
  • mac 卸载 java 1.7 或更高版本 征客丶 javaOS
    卸载 java 1.7 或更高 sudo rm -rf /Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin 成功执行此命令后，还可以执行 java 与 javac 命令 sudo rm -rf /Library/PreferencePanes/JavaControlPanel.prefPane 成功执行此命令后，还可以执行 java
  • 【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析 bit1129 Stream
    第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中 第二部，Spark Streaming读取Kafka中的数据，进行实时分析   本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通Flume和Kafka的对接 1. Flume配置 1. 下载Flume和Kafka集成的插件，下载地址：https://github.com/beyondj2ee/f
  • Erlang vs TNSDL bookjovi erlang
          TNSDL是Nokia内部用于开发电信交换软件的私有语言，是在SDL语言的基础上加以修改而成，TNSDL需翻译成C语言得以编译执行，TNSDL语言中实现了异步并行的特点，当然要完整实现异步并行还需要运行时动态库的支持，异步并行类似于Erlang的process（轻量级进程），TNSDL中则称之为hand，Erlang是基于vm(beam)开发，
  • 非常希望有一个预防疲劳的java软件, 预防过劳死和眼睛疲劳,大家一起努力搞一个 ljy325 企业应用
    　非常希望有一个预防疲劳的java软件，我看新闻和网站，国防科技大学的科学家累死了，太疲劳，老是加班，不休息，经常吃药，吃药根本就没用，根本原因是疲劳过度。我以前做java,那会公司垃圾，老想赶快学习到东西跳槽离开，搞得超负荷，不明理。深圳做软件开发经常累死人，总有不明理的人，有个软件提醒限制很好，可以挽救很多人的生命。 相关新闻： （1）IT行业成五大疾病重灾区：过劳死平均37.9岁
  • 读《研磨设计模式》-代码笔记-原型模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /** * Effective Java 建议使用copy constructor or copy factory来代替clone()方法： * 1.public Product copy(Product p){} * 2.publi
  • 配置管理---svn工具之权限配置 chenyu19891124 SVN
    今天花了大半天的功夫，终于弄懂svn权限配置。下面是今天收获的战绩。 安装完svn后就是在svn中建立版本库，比如我本地的是版本库路径是C:\Repositories\pepos。pepos是我的版本库。在pepos的目录结构 pepos    component    webapps 在conf里面的auth里赋予的权限配置为 [groups]
  • 浅谈程序员的数学修养 comsci 设计模式编程算法面试招聘
                                     浅谈程序员的数学修养
  • 批量执行 bulk collect与forall用法 daizj oraclesqlbulk collectforall
    BULK COLLECT 子句会批量检索结果，即一次性将结果集绑定到一个集合变量中，并从SQL引擎发送到PL/SQL引擎。通常可以在SELECT INTO、 FETCH INTO以及RETURNING INTO子句中使用BULK COLLECT。本文将逐一描述BULK COLLECT在这几种情形下的用法。     有关FORALL语句的用法请参考：批量SQL之 F
  • Linux下使用rsync最快速删除海量文件的方法 dongwei_6688 OS
    1、先安装rsync：yum install rsync 2、建立一个空的文件夹：mkdir /tmp/test 3、用rsync删除目标目录：rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/这样我们要删除的log目录就会被清空了，删除的速度会非常快。rsync实际上用的是替换原理，处理数十万个文件也是秒删。
  • Yii CModel中rules验证规格 dcj3sjt126com rulesyiivalidate
    Yii cValidator主要用法分析：  yii验证rulesit 分类： Yii yii的rules验证 cValidator主要属性 attributes ,builtInValidators,enableClientValidation,message,on,safe,skipOnError  
  • 基于vagrant的redis主从实验 dcj3sjt126com vagrant
    平台: Mac 工具: Vagrant 系统: Centos6.5 实验目的: Redis主从   实现思路 制作一个基于sentos6.5, 已经安装好reids的box, 添加一个脚本配置从机, 然后作为后面主机从机的基础box   制作sentos6.5+redis的box   mkdir vagrant_redis cd vagrant_
  • Memcached(二)、Centos安装Memcached服务器 frank1234 centosmemcached
    一、安装gcc rpm和yum安装memcached服务器连接没有找到，所以我使用的是make的方式安装，由于make依赖于gcc，所以要先安装gcc 开始安装，命令如下，[color=red][b]顺序一定不能出错[/b][/color]： 建议可以先切换到root用户，不然可能会遇到权限问题：su root 输入密码...... rpm -ivh kernel-head
  • Remove Duplicates from Sorted List hcx2013 remove
    Given a sorted linked list, delete all duplicates such that each element appear only once. For example,Given 1->1->2, return 1->2.Given 1->1->2->3->3, return&
  • Spring4新特性——JSR310日期时间API的支持 jinnianshilongnian spring4
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • 浅谈enum与单例设计模式 247687009 java单例
    在JDK1.5之前的单例实现方式有两种(懒汉式和饿汉式并无设计上的区别故看做一种)，两者同是私有构 造器，导出静态成员变量，以便调用者访问。 第一种 package singleton; public class Singleton { //导出全局成员 public final static Singleton INSTANCE = new S
  • 使用switch条件语句需要注意的几点 openwrt cbreakswitch
    1. 当满足条件的case中没有break，程序将依次执行其后的每种条件（包括default）直到遇到break跳出 int main() { int n = 1; switch(n) { case 1: printf("--1--\n"); default: printf("defa
  • 配置Spring Mybatis JUnit测试环境的应用上下文 schnell18 springmybatisJUnit
    Spring-test模块中的应用上下文和web及spring boot的有很大差异。主要试下来差异有： 单元测试的app context不支持从外部properties文件注入属性 @Value注解不能解析带通配符的路径字符串 解决第一个问题可以配置一个PropertyPlaceholderConfigurer的bean。 第二个问题的具体实例是：    
  • Java 定时任务总结一 tuoni javaspringtimerquartztimertask
     Java定时任务总结  一.从技术上分类大概分为以下三种方式：  1.Java自带的java.util.Timer类，这个类允许你调度一个java.util.TimerTask任务;   说明：    java.util.Timer定时器，实际上是个线程，定时执行TimerTask类 &
  • 一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法 yangshangchuan rank相似度计算文本相似度词袋模型余弦相似度
    本文描述了一种在ITEYE博客频道上面出现的新型的商业广告形式及其应对方法，对于其他的用户生成内容站点类型也具有同样的适用性。   最近在ITEYE博客频道上面出现了一种新型的商业广告形式，方法如下：     1、注册多个账号（一般10个以上）。     2、从多个账号中选择一个账号，发表1-2篇博文
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他