自然语言处理NLP之信息检索

  • 是什么:处理什么问题
    自然语言处理

计算机和人类交流的方式桥梁

  • 让计算机理解人类的语言,并完成一些与文本相关的任务
  • 科普
    自然语言处理NLP之信息检索_第1张图片自然语言处理NLP之信息检索_第2张图片
    机器翻译

三个阶段:基于语法规则,基于统计(概率最大的结果),基于神经网络
聊天机器人
通用型Siri、领域型
自然语言处理NLP之信息检索_第3张图片
知识图谱:对信息(实体)构建联系——将现实世界映射到数据世界
自然语言处理NLP之信息检索_第4张图片

自然语言处理NLP之信息检索_第5张图片

关键词图谱-舆情分析

  • 智能推荐
  • 精准营销
  • 事件倾向

信息抽取/事件抽取

  • 从自然语言文本中抽取出特定的事件或事实信息,将海量内容1自动分类、提取和重构
  • 信息:实体、关系、事件
  • ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210206120326361.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjQ yNDQ3,size_16,color_FFFFFF,t_70]
  • 信息抽取:能从自然语言中抽取出信息框架和用户感兴趣的事实信息
  • 广泛应用:信息检索、问答系统、情感分析、文本挖掘
信息检索
  • 起源:图书馆的资料查询和文摘索引
  • 计算机应用:图片、音频、视频等各种信息的检索
  • 自然语言处理NLP之信息检索_第6张图片
  • 广泛应用:搜索引擎是最常见、规模最大的信息检索系统
  1. 通过爬虫不断抓取、存储、更新互联网中的网页内容
  2. 建立像字典一样的索引目录
  3. 用户输入关键词时,通过关键词在网页中出现次数和位置来判断页面与Query之间的相关性,并将其由高到低排列起来

关键核心:理解用户query,清除重复或者低质量的页面,建立高效的索引
好的搜索引擎需要:分词、信息提取、文本分类(NLP技术为支撑

  • 使用高效的搜索语句:便于搜索引擎更好地理解
    自然语言处理NLP之信息检索_第7张图片
搜索引擎

Google

  • 算法:搜索排名结果
  • 关键字
  • 链接及联系
  • 地点、事件

你可能感兴趣的:(技术原理)