re:Invent 2023 技术上新｜Agents for Amazon Bedrock 改进对编排的控制和对推理的了解...
去年7月亚马逊云科技推出了 Agents for Amazon Bedrock 预览版，目前 Agents for Amazon Bedrock 也已正式发布。
Agents for Amazon Bedrock 通过编排多步骤任务，帮助您加速生成式 AI 应用程序的开发。Agents 使用基础模型（FM）的推理功能将用户请求的任务分解为多个步骤。他们使用开发人员提供的指令来创建编排计划，然后通过调用公司 API，并使用检索式增强生成（RAG）访问知识库来执行该计划，从而向最终用户提供最终响应。如果您想知道它的工作原理，可以翻看我之前关于 Agents 的博文，其中包括高级推理入门和 RAG 入门。
高级推理入门
https://aws.amazon.com/blogs/aws/preview-enable-foundation-models-to-complete-tasks-with-agents-for-amazon-bedrock/
RAG 入门
https://aws.amazon.com/blogs/aws/preview-connect-foundation-models-to-your-company-data-sources-with-agents-for-amazon-bedrock/
Agents for Amazon Bedrock 还附带了增强功能，包括改进对编排的控制以及更好地了解思维链推理。
在后台，Agents for Amazon Bedrock 自动执行用户请求任务的提示工程和编排，例如管理零售订单或处理保险索赔。Agents 会自动建立编排提示，如果连接到知识库，还可利用公司的特定信息进行增强，并调用 API 以自然语言向用户提供响应。
作为开发人员，您可以使用新的跟踪功能来遵循执行计划时所使用的推理。您可以查看编排过程中的中间步骤，并使用这些信息来解决问题。
您还可以访问和修改 Agents 自动创建的提示，从而进一步提升最终用户体验。您可以更新此自动创建的提示（或提示模板），以帮助 FM 增强编排和响应，让您更好地控制编排。
下面我将展示如何查看推理步骤以及如何修改提示。
查看推理步骤
通过跟踪，您可以了解 Agents for Amazon Bedrock 的推理，即所谓的思维链（CoT）。您可以使用 CoT 跟踪来查看 Agents 如何逐步执行任务。CoT 提示基于一种名为 ReAct（协同推理和行为）的推理技术。查看我之前的博文中关于高级推理的入门介绍（上文提到），了解更多关于 ReAct 和特定提示结构的内容。
要开始使用，请导航到 Amazon Bedrock 控制台，然后选择现有 Agents 的工作草案。然后，选择测试按钮并输入示例用户请求。在 Agents 的响应中，选择显示跟踪。
CoT 跟踪显示了 Agents for Amazon Bedrock 的逐步推理。打开每个步骤以查看 CoT 详细信息。
增强的可见性可帮助您了解 Agents for Amazon Bedrock 完成任务的基本原理。作为开发人员，您可以使用这些信息来完善提示、指令和操作描述，以便在迭代测试和改进用户体验时调整 Agents 的操作和响应。
修改 Agents for Amazon Bedrock 创建的提示
Agents for Amazon Bedrock 会根据提供的指令自动创建提示模板。您可以更新用户输入的预处理、编排计划和 FM 响应的后处理。
要开始使用，请导航到 Amazon Bedrock 控制台，然后选择现有 Agents 的工作草案。然后，选择高级提示旁边的编辑按钮。
在这里，您可以访问四种不同类型的模板。预处理模板定义了 Agents for Amazon Bedrock 如何对用户输入进行上下文关联和分类。编排模板为 Agents 提供了短期内存、可用操作和知识库列表及其描述，以及如何分解问题并以不同顺序或组合使用这些操作和知识的几个简单示例。知识库响应生成模板定义了如何在响应中使用和总结知识库。后处理模板定义了 Agents 如何格式化并向最终用户呈现最终响应。您可以继续使用模板默认设置，也可以编辑和覆盖模板默认设置。
注意事项
以下是使用 Agents for Amazon Bedrock 时需要知道的一些最佳实践和重要事项。
当允许 Agents 专注于特定任务时，其性能最佳。目标（指令）越清晰，可用的操作集（API）越集中，FM 就越容易推理和确定正确的步骤。如果需要 Agents 来完成各种任务，可以考虑创建单独的 Agents。
以下是一些补充指南：
API 数量 – 在 Agents 中使用三到五个具有几个输入参数的 API。
API 设计 – 遵循设计 API 的常用最佳实践，例如确保幂等性。
API 调用验证 – 对所有 API 调用进行详尽的验证，遵循 API
设计的最佳实践。这一点尤为重要，因为大型语言模型（LLM）可能会产生幻觉输入和输出，而在这种情况下，这些验证很有帮助。
可用性和定价
Agents for Amazon Bedrock 现已在如下区域推出：美国东部（弗吉尼亚州北部）和美国西部（俄勒冈州）。您需要为 Agents 进行的推理调用（ InvokeModel API ）付费。 InvokeAgentAPI 不单独收费。Amazon Bedrock 定价页面包含所有详细信息。
了解详情
Agents for Amazon Bedrock 产品页面
https://aws.amazon.com/bedrock/agents/
Agents for Amazon Bedrock 用户指南
https://docs.aws.amazon.com/bedrock/latest/userguide/agents.html
控制台中的 Agents for Amazon Bedrock
https://console.aws.amazon.com/bedrock/home
了解所有 re:Invent 2023 热门发布产品，
请扫描下方二维码：
星标不迷路，开发更极速！
关注后记得星标「亚马逊云开发者」
听说，点完下面4个按钮
就不会碰到bug了！
