开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（六）

一、前言
        大家是否对模型的自我认知产生了兴趣？例如，当你询问模型身份时，它可以根据你的要求扮演各种角色进行回答，而不仅仅给出平淡无奇的回答，比如说：“我是某某云的大规模语言模型，名叫某某”。听起来是不是感觉少了点什么？

        想象一下，如果你能跟模型聊天，而它不仅仅能回答你的问题，还能在你要它扮演某个角色的时候，变换自己的身份和语气，那是不是会更有意思？比如说，你可以告诉模型：“嘿，我想跟你聊聊足球”，然后模型就能变成一个足球专家，跟你聊得火热。或者你让它扮演一个搞笑的人，它就会用那种轻松、幽默的语气跟你聊天。

---

二、术语

2.1. 自我认知

        是指个体对自己的认知和了解的能力。它包括对自身特点、能力、价值观、情绪和意识状态的认知。自我认知涉及对自己的思维、情感、行为和目标的觉察，以及对自己在不同情境中的表现和反应的理解。

2.2. spacy

        是一个流行的Python自然语言处理（NLP）库，用于处理和分析文本数据。它提供了一套功能强大且高效的工具，用于执行各种NLP任务，如分词、词性标注、命名实体识别、语法分析、文本分类和信息提取等。

2.3. langdetect

        是一个用于自动语言检测的Python库。它可以根据文本的内容判断文本所使用的语言。该库采用了基于n-gram的统计方法，通过分析文本中字符或词汇的频率和分布模式，来判断文本所属的语言类别。

---

三、实现思路

3.1. spacy相似度匹配

    3.1.1. 使用langdetect检测用户输入的语言

    3.1.2. 根据不用的语种分别调用不同的语言模型

    3.1.3. 根据预设内容，判断用户的问题是否是在询问身份

    3.1.4. 根据判断结构，返回指定文案或进行下一步模型调用

    为什么还需要设置system prompt和模型微调呢？ 因为其只能返回静态内容，不能根据用户问题的语义做动态调整，且基于相似度匹配的准确率不高，例如预设内容为：“你是谁？”,当用户提问的问题是：“你能介绍一下自己吗？”，这样计算出来的相似度差异会较大。当然，也可以穷尽所有关于提问身份的问题，但是效果依然不佳。

    那为什么不直接使用system prompt和模型微调呢？第一：前置spacy相似度匹配，能一定程度上为模型减负，不需要所有的问题都经过模型处理（资源有限啊&