【Java-LangChain:面向开发者的提示工程-7】文本扩展

第七章 文本扩展

扩展是将短文本（例如一组说明或主题列表）输入到大型语言模型中，让模型生成更长的文本（例如基于某个主题的电子邮件或论文）。这种应用是一把双刃剑，好处例如将大型语言模型用作头脑风暴的伙伴；但也存在问题，例如某人可能会使用它来生成大量垃圾邮件。
因此，当你使用大型语言模型的这些功能时，请仅以负责任 (responsible) 和有益于人们 (helps people) 的方式使用它们。
在本章中，你将学会如何基于 OpenAI API 生成针对每位客户评价优化的客服电子邮件。我们还将利用模型的另一个输入参数称为温度，这种参数允许您在模型响应中变化探索的程度和多样性。

环境配置

参考第二章的 环境配置小节内容即可。

定制客户邮件

我们将根据客户评价和情感，针对性写自动回复邮件。因此，我们将给定客户评价和情感，使用 LLM 针对性生成响应，即根据客户评价和评论情感生成定制电子邮件。
我们首先给出一个示例，包括一个评论及对应的情感。

    //我们可以在推理那章学习到如何对一个评论判断其情感倾向
    private String sentiment = "negative";

    //一个产品的评价
    private String review = "他们在11月份的季节性销售期间以约49美元的价格出售17件套装，折扣约为一半。但由于某些原因（可能是价格欺诈），到了12月第二周，同样的套装价格全都涨到了70美元到89美元不等。11件套装的价格也上涨了大约10美元左右。虽然外观看起来还可以，但基座上锁定刀片的部分看起来不如几年前的早期版本那么好。不过我打算非常温柔地使用它，" +
            "例如，我会先在搅拌机中将像豆子、冰、米饭等硬物研磨，然后再制成所需的份量，切换到打蛋器制作更细的面粉，或者在制作冰沙时先使用交叉切割刀片，然后使用平面刀片制作更细/不粘的效果。制作冰沙时，特别提示：将水果和蔬菜切碎并冷冻（如果使用菠菜，则轻轻煮软菠菜，然后冷冻直到使用；如果制作果酱，则使用小到中号的食品处理器），这样可以避免在制作冰沙时添加太多冰块。" +
            "大约一年后，电机发出奇怪的噪音，我打电话给客服，但保修已经过期了，所以我不得不再买一个。" +
            "总的来说，这些产品的总体质量已经下降，因此它们依靠品牌认可和消费者忠诚度来维持销售。货物在两天内到达。";

我们已经使用推断课程中所学方法提取了情感，这是一个关于搅拌机的客户评价，现在我们将根据情感定制回复。
以下述 Prompt 为例：假设你是一个客户服务 AI 助手，你的任务是为客户发送电子邮件回复，根据通过三个反引号分隔的客户电子邮件，生成一封回复以感谢客户的评价。

        String prompt = "你是一位客户服务的AI助手。\n" +
                "你的任务是给一位重要客户发送邮件回复。\n" +
                "根据客户通过“```”分隔的评价，生成回复以感谢客户的评价。提醒模型使用评价中的具体细节\n" +
                "用简明而专业的语气写信。\n" +
                "作为“AI客户代理”签署电子邮件。\n" +
                "客户评论：\n" +
                "```{" + review + "}```\n" +
                "评论情感：{sentiment}";

        String message = this.getCompletion(prompt);

        log.info("iterative1:\n{}", message);

尊敬的客户，

非常感谢您对我们产品的评价和反馈。我们非常重视您的意见，并对您在11月份季节性销售期间购买的套装价格上涨的情况表示歉意。

我们一直致力于为客户提供高质量的产品和优惠的价格。对于价格上涨的情况，我们会进一步调查并采取相应的措施，以确保类似情况不再发生。

您对产品的使用方式和功能的详细描述非常有帮助。我们将会将您的建议和使用技巧传达给我们的产品团队，以便改进和提升产品的性能和质量。

对于电机发出奇怪噪音的问题，我们深感抱歉。由于保修已过期，我们无法提供免费维修或更换。然而，我们的客服团队将会尽力为您提供技术支持和解决方案，以确保您的满意度。

我们非常重视您作为我们的重要客户，并将继续努力提供优质的产品和卓越的客户服务。如果您有任何其他问题或需求，请随时与我们联系。

再次感谢您的评价和支持。

祝您度过愉快的一天！

AI客户代理

引入温度系数

接下来，我们将使用语言模型的一个称为“温度” (Temperature) 的参数，它将允许我们改变模型响应的多样性。您可以将温度视为模型探索或随机性的程度。
例如，在一个特定的短语中，“我的最爱食品”最有可能的下一个词是“比萨”，其次最有可能的是“寿司”和“塔可”。因此，在温度为零时，模型将总是选择最有可能的下一个词，而在较高的温度下，它还将选择其中一个不太可能的词，在更高的温度下，它甚至可能选择塔可，而这种可能性仅为五分之一。
您可以想象，随着模型继续生成更多单词的最终响应，“我的最爱食品是比萨”将会与第一个响应“我的最爱食品是塔可”产生差异。随着模型的继续，这两个响应也将变得越来越不同。
一般来说，在构建需要可预测响应的应用程序时，我建议设置温度为零。在所有课程中，我们一直设置温度为零，如果您正在尝试构建一个可靠和可预测的系统，我认为您应该选择这个温度。如果您尝试以更具创意的方式使用模型，可能需要更广泛地输出不同的结果，那么您可能需要使用更高的温度。
同一段来信，我们提醒模型使用用户来信中的详细信息，并设置温度：

        String prompt = "你是一名客户服务的AI助手。\n" +
                "    你的任务是给一位重要的客户发送邮件回复。\n" +
                "    根据通过“```”分隔的客户电子邮件生成回复，以感谢客户的评价。\n" +
                "    如果情感是积极的或中性的，感谢他们的评价。\n" +
                "    如果情感是消极的，道歉并建议他们联系客户服务。\n" +
                "    请确保使用评论中的具体细节。\n" +
                "    以简明和专业的语气写信。\n" +
                "    以“AI客户代理”的名义签署电子邮件。\n" +
                "    客户评价：```{" + review + "}```\n" +
                "    评论情感：{" + sentiment + "}";

        String message = this.getCompletion(prompt);

        log.info("iterative2:\n{}", message);

尊敬的客户，

非常感谢您对我们产品的评价和反馈。我们非常重视您的意见，并对您在11月份季节性销售期间购买的套装价格上涨以及产品质量下降表示诚挚的歉意。

我们深感遗憾，您在12月第二周发现同样的套装价格涨到了70美元到89美元不等，并且11件套装的价格也上涨了大约10美元左右。我们理解这对您来说是一个令人失望的经历。我们会进一步调查此事，并确保类似情况不再发生。

关于产品质量方面的问题，我们对您提到的基座上锁定刀片的部分不如早期版本好表示歉意。我们将与生产团队合作，以改进产品的设计和质量控制，以确保我们的产品能够满足客户的期望。

您提到的使用方法和技巧对我们非常有帮助，我们将会将这些信息传达给我们的研发团队，以便改进我们的产品和用户体验。

如果您对我们的产品有任何其他问题或需要进一步的帮助，请随时联系我们的客户服务团队。我们将竭诚为您提供支持和解决方案。

在温度为零时，每次执行相同的 Prompt ，您获得的回复理应相同。而使用温度为 0.7 时，则每次都会获得不同的输出。
所以，您可以看到它与我们之前收到的电子邮件不同。再次执行将再次获得不同的电子邮件。
因此，我建议您自己尝试温度，以查看输出如何变化。总之，在更高的温度下，模型的输出更加随机。您几乎可以将其视为在更高的温度下，助手更易分心，但也许更有创造力。