KeyBert关键词提取模块的使用方法

文章目录

  • 一、前言
  • 二、任务实现
    • 1. 提取指定段落中的关键词
    • 2. 提供一个关键词表在指定段落中匹配
    • 3. 微调关键词的多样性
    • 4. 提供一个特定关键词表,使匹配到该表的关键词排序提高


一、前言

  1. KeyBert的原理是将给定段落进行分词去重,然后将分词和原段落做余弦相似度算法的比较,找出分词中相似度最高的 top_n

  2. 推荐使用的两个模型

    1. sentence-transformers/all-MiniLM-L6-v2【适用于英文,384维】
    2. sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2【多语言模型,384维】
    3. 以上模型权重可以在 huggingface 上获得 https://huggingface.co/models
  3. KeyBert可以适配的任务

    1. 提取指定段落中的关键词
    2. 提供一个关键词表在指定段落中匹配
    3. 微调关键词的多样性
    4. 提供一个特定关键词表,使匹配到该表的关键词排序提高
  4. KeyBert 文档

你可能感兴趣的:(Python,NLP,人工智能,python,机器学习)