re:Invent 2023技术上新｜Amazon Bedrock现提供对Anthropic最新模型Claude 2.1访问权限

亚马逊云科技已在 Amazon Bedrock 中推出 Anthropic 的 Claude 2.1 基础模型（FM）。此前，Anthropic 推出了其最新模型 Claude 2.1，此模型为企业提供了一些关键功能，如业界领先的 200,000 个令牌化上下文窗口（是 Claude 2.0 上下文的 2 倍）、降低幻觉率、提高长文档的准确性、系统提示以及用于函数调用和工作流编排的测试版工具使用功能。

随着 Claude 2.1 在 Amazon Bedrock 中推出，您可以使用 Anthropic 提供的更加诚实可靠的 AI 系统构建企业级生成式 AI 应用程序。现在，您可以在 Amazon Bedrock 控制台中使用 Anthropic 提供的 Claude 2.1 模型。

以下是 Amazon Bedrock 中全新 Claude 2.1 模型的一些主要亮点：

• 200,000 个令牌化上下文窗口 – 在处理产品指南、技术文档、财务或法律声明等长文档时，企业应用程序需要更大的上下文窗口和更准确的输出。Claude 2.1 支持 200,000 个令牌，相当于大约 15 万字或超过 500 页的文档。向 Claude 上传大量信息时，您可以进行汇总、问答、趋势预测，并对多个文档进行比较和对比，以起草业务计划和分析复杂的合同。

• 准确性大幅提升 – 与 Claude 2.0 相比，Claude 2.1 在诚实性方面也取得了显著进步，幻觉率降低了 2 倍，开放式对话和文档问答中的幻觉率降低了 50%，错误答案减少了 30%，错误得出文档支持特定主张的结论比率降低了 3-4 倍。Claude 了解的内容越来越多，将更有可能提出异议，而不是产生幻觉。凭借这种更高的准确性，您可为客户和员工构建更可靠的任务关键型应用程序。

• 系统提示 – Claude 2.1 现在支持系统提示，这项新功能可以通过多种方式提高 Claude 的表现，包括在角色扮演场景中提高角色深度和角色一致性，特别是在较长的对话中，以及更严格地遵守指南、规则和指令。这代表了结构性变化，但与以前提示 Claude 的方式相比，内容上并没有变化。

• 用于函数调用和工作流编排的工具 – Claude 2.1 作为测试版功能提供，现在可与您现有的内部流程、产品和 API 集成，以构建生成式 AI 应用程序。Claude 2.1 可以准确地检索和处理来自其他知识源的数据，并为给定任务调用函数。Claude 2.1 可通过使用私有 API 和网络搜索 API 搜索数据库来回答问题，将自然语言请求转换为结构化 API 调用，或者连接到产品数据集以提出建议并帮助客户完成购买。目前，该功能仅限于特定的抢先体验合作伙伴使用，计划在不久的将来开放使用。如果您有兴趣抢先体验，请联系您的亚马逊云科技账户团队。

要了解有关 Claude 2.1 特征和功能的更多信息，请访问 Amazon Bedrock 上的 Anthropic Claude 和 Amazon Bedrock 文档。

• Amazon Bedrock 上的 Anthropic Claude：

  https://aws.amazon.com/bedrock/claude/

• Amazon Bedrock 文档：

  https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html#acessing-api

Claude 2.1 实际操作

要开始使用 Amazon Bedrock 中的 Claude 2.1，请访问 Amazon Bedrock 控制台。在左下角的窗格中选择模型访问权限，然后选择右上角的管理模型访问权限，提交您的用例，并请求对 Anthropic Claude 模型进行模型访问。访问模型可能需要几分钟。如果您已经拥有对 Claude 模型的访问权限，则无需单独申请 Claude 2.1 的访问权限。

• Amazon Bedrock 控制台：

  https://console.aws.amazon.com/bedrock/

要在聊天模式下测试 Claude 2.1，请在左侧菜单窗格的 Playgrounds 下选择文本或聊天。然后选择 Anthropic，再选择 Claude v2.1。

通过选择查看 API 请求，您还可以通过亚马逊云科技命令行界面（Amazon CLI）和 Amazon SDK 中的代码示例访问模型。以下是 Amazon CLI 命令的示例：

Bash

$ aws bedrock-runtime invoke-model \
      --model-id anthropic.claude-v2:1 \
      --body "{\"prompt\":\"Human: \\n\\nHuman: Tell me funny joke about outer space!\n\nAssistant:", "max_tokens_to_sample": 50}' \
      --cli-binary-format raw-in-base64-out \
      invoke-model-output.txt

左滑查看更多

您可以使用 Claude 2.1 模型提供的系统提示工程技术，将输入和文档放在任何引用或利用该内容的问题之前。输入可以是自然语言文本、结构化文档或使用 、 、 或 标签等的代码片段。您还可以使用聊天记录等对话文本以及分块文档等检索式增强生成（RAG）结果。

以下是支持座席根据公司文档回答客户问题的系统提示示例。

Text

Here are some documents for you to reference for your task:

 
  
  (the text content of the document - could be a passage, web page, article, etc)
   

  https://mycompany.repository/userguide/what-is-it.html


  https://mycompany.repository/docs/techspec.pdf
 
...

左滑查看更多

要了解有关在 Amazon Bedrock 上进行提示工程的更多信息，请参阅 Amazon Bedrock 文档中包含的提示工程指南。您可以学习 Amazon Bedrock 文本模型（包括 Claude）的一般提示技巧、模板和示例。

• 提示工程指南:

  https://docs.aws.amazon.com/bedrock/latest/userguide/prompt-engineering-guidelines.html

现已推出

Claude 2.1 现已在美国东部（弗吉尼亚州北部）和美国西部（俄勒冈州）地区推出。

您只需为实际使用量付费，按需使用模式没有基于时间的期限承诺。对于文本生成模型，您需要为处理的每个输入令牌和生成的每个输出令牌付费。您还可以选择预置的吞吐量模式来满足应用程序的性能要求，以换取基于时间的期限承诺。要了解更多信息，请参阅 Amazon Bedrock 定价。

立即在 Amazon Bedrock 控制台中试用 Anthropic Claude 2.1，并将反馈发送至 Amazon re:Post for Amazon Bedrock 或通过您常用的 Amazon Support 联系人发送。

• Amazon Bedrock 定价:

  https://aws.amazon.com/bedrock/pricing/

• Amazon re:Post for Amazon Bedrock:

  https://repost.aws/tags/TAQeKlaPaNRQ2tWB6P7KrMag/amazon-bedrock

了解所有 re:Invent 2023 热门发布产品，

请扫描下方二维码：

本篇作者

Channy Yun

亚马逊云科技首席布道师，他热衷于帮助开发者在最新的亚马逊云科技服务上构建现代应用程序。

星标不迷路，开发更极速！

关注后记得星标「亚马逊云开发者」

听说，点完下面4个按钮

就不会碰到bug了！