Azure AI-102 认证全攻略: (三十四)基本提示工程与 API 指南

---

基本提示工程与 API 指南（修订版）

本指南将详细介绍如何在 Azure AI Studio 中配置和使用 Azure OpenAI 服务，从创建和管理 AI Hub，到部署 GPT-3.5 Turbo 及其他大语言模型（LLM），再到通过 Prompt Engineering 优化交互体验。此外，我们将探讨 API 调用的最佳实践、安全合规要点，以及如何进行成本管理与常见问题排查。通过这些步骤，您可以在实际业务场景中快速上手并发挥模型的最大价值。

---

1. 在 Azure AI Studio 中设置 AI Hub

1.1 访问 Azure AI Studio

1. 登录 Azure Portal（https://portal.azure.com）。
2. 在搜索栏中输入 “Azure AI Studio”，或在左侧导航栏中查找 Azure AI Studio 入口。
3. 确保您拥有合适的订阅（Subscription）和访问权限，如无权限，请联系管理员或订阅拥有者进行分配。

1.2 创建或选择 AI Hub

• 新建 AI Hub：如果您是第一次使用 Azure AI Studio，会提示您创建新的 Azure AI Hub。可根据项目命名规则为该资源命名，如 MyCompanyAIHub。
• 选择已有 AI Hub：如果您之前已配置过，可直接选用现有的 AI Hub，避免重复部署。

1.3 选择部署区域

• 选择与您所在或目标用户群最近的 Azure 区域（如 West US、East US、Southeast Asia 等），能有效降低网络延迟并提高资源可用性。
• 注意：部分模型（如 GPT-3.5、GPT-4）只在特定区域开放。建议查看官方文档或在 Azure AI Studio 中的 模型目录（Model Catalog） 了解各区域对模型的支持情况。

1.4 进入模型目录

• 在 Azure AI Studio 的主界面，找到 模型目录（Model Catalog）。
• 浏览可用的大语言模型：例如 GPT-3.5 Turbo、GPT-3.5 Turbo Instruct、GPT-4 等。
• 如果有自定义模型需求，也可在此查看或上传自定义模型（如 Fine-tuned 模型）。

1.5 选择并部署模型

• 在 模型目录 中选定所需模型，如 GPT-3.5 Turbo。
• 点击 部署（Deploy），系统会提示选择部署方式。

1.6 配置部署方式与模式

• 标准部署（Standard Deployment）：适合大多数开发测试与中小规模生产场景，支持较灵活的配置与扩展，价格相对适中。
• 预配置部署（Provisioned Deployment）：通常在大型企业级场景下使用，可预先分配固定数量的计算与内存资源，以满足稳定的高并发或严苛的 SLA 要求。
• 在选择部署模式时，可参考下表做简单对比：

部署模式	适用场景	成本	弹性 & 灵活度
标准（Standard）	开发测试、小规模生产部署，灵活性高	中等	可随时扩容和缩容
预配置（Provisioned）	大规模生产部署，对性能与稳定性要求高	较高	资源固定，保证性能上限

提示：在实际选择时，需要根据团队预算、预计流量、并发需求以及对实时性能的要求来权衡。

---

2. 部署 GPT-3.5 Turbo 模型

2.1 选择模型版本

• 在 模型目录 中找到 GPT-3.5 Turbo，注意查看是否有多种版本或更新，如 “GPT-3.5 Turbo (Version 2023-XX-XX)”。
• 如果更高版本（如 GPT-4）在您所在区域可用，也可一并对比性能与价格再进行选择。

2.2 设定部署名称

• 创建部署时，需要输入 部署名称，如 GPT35_Turbo_Deployment，以便后续在代码或配置中引用。
• 建议使用命名规则区分环境和用途（如 GPT35_Turbo_Dev、GPT35_Turbo_Prod）。

2.3 执行部署

• 在部署页面点击 部署（Deploy） 按钮。部署过程通常需要数分钟至十数分钟不等，期间无需额外操作，完成后即可在 部署列表 中查看状态。

注意：若部署失败，可查看活动日志（Activity Log）或事件日志（Event Log），或在 “帮助与支持” 面板中寻找错误详情进行排查。

---

3. 在 Chat Playground 进行模型交互

3.1 进入 Chat Playground

• 在 Azure AI Studio 中，选择 Chat Playground。
• 在左侧的模型下拉列表中，选择已经部署成功的 GPT-3.5 Turbo。

3.2 创建项目

• 点击 新建项目（Project） 并将其与您的模型部署关联。
• 项目通常可以汇总多轮会话、测试脚本及提示词模版，便于团队协作和管理。

3.3 设置系统消息

• 系统消息（System Message）可指定模型的身份、风格及注意事项。示例：

  你是一名日语教师，你将使用英语指导用户学习日语。
  

• 提示：若需要模型进行更严格、更复杂的角色扮演或输出格式限制，可在此处写得更具体。

3.4 启动对话

• 设置完系统消息后，点击 应用更改（Apply Changes）。
• 输入用户消息（User Message）后即可开始与模型对话，例如：“我想在三个月内通过日语初级考试，请问如何备考？”
• 模型会根据系统消息和用户消息提供回复。

---

4. 通过 Prompt Engineering 进行优化

4.1 设计高效的提示词

Prompt（提示词）的质量直接影响模型输出质量。在 Chat Playground 中，您可灵活调整系统消息、用户消息，以及示例对话。示例 Prompt：

角色：日语教师
语气：礼貌且鼓励
输出格式：以表格形式提供日语单词
规则：
1. 第一次交互时，询问用户的学习目标。
2. 若用户未提到目标，请主动确认。
3. 回答时每个单词附注读音与常用场景。

• 具体化与分步骤：将复杂任务分解为多个要点，帮助模型更加准确地理解需求。
• 提供示例：使用 “few-shot prompting” 的方法展示期望的回答格式，模型更容易遵循。

4.2 在 Chat Playground 测试提示词

• 可多次编辑 系统消息 或对话中的示例消息，观察 AI 的反馈。
• 如果发现输出不够准确或风格不当，可在系统消息中加入更多限制或示例。

4.3 迭代优化

• 上下文管理：在多轮对话中添加上一轮的用户消息与模型回复，帮助模型建立连续对话。
• 角色限定：可在系统消息中重复强调模型身份和输出边界，以免模型越界或给出不合适的回答。
• 结构化输出：需要机器可读格式时，建议在 Prompt 中明确要求返回 JSON 或 Markdown 表格，以便后续自动化处理。

避免陷阱：警惕过度提示（Over-prompting）或语义模糊等问题。若提示词太长、缺乏逻辑层次，模型可能出现混淆。

---

5. 使用 Jupyter Notebook 进行 API 交互

5.1 启动 Jupyter Lab

• 在 Azure Machine Learning Studio 或本地环境下打开 Jupyter Lab。
• 若使用 Azure Machine Learning Studio，可在对应 Workspace 中创建或打开 Jupyter Lab 服务。

5.2 创建新的 Python Notebook

• 点击 New → Notebook，选择 Python 3 环境。

5.3 安装/更新 OpenAI SDK

%pip install --upgrade openai

• 建议保持 SDK 的最新版本，以获取对最新功能和修复的支持。

5.4 配置并进行 API 调用

在 Azure 环境下，需要配置 api_type、api_base、api_version、api_key 等变量。示例代码如下：

import openai

# 1. 必要的配置信息
openai.api_type = "azure"
openai.api_base = "https://.openai.azure.com/"  # 替换为你的 Azure OpenAI Endpoint
openai.api_version = "2023-03-15-preview"  # 或者其他最新可用版本
openai.api_key = "your_azure_openai_api_key"

# 2. 模型部署名称（与在Azure上创建的名称一致）
DEPLOYMENT_NAME = "GPT35_Turbo_Deployment"

# 3. 构建调用参数
response = openai.Completion.create(
    engine=DEPLOYMENT_NAME,   # 或者 'deployment_id'，具体字段视OpenAI SDK版本而定
    prompt="Hello, how are you?",
    max_tokens=100
)

# 4. 输出模型回复
print(response.choices[0].text.strip())

最佳实践：

1. 错误处理：用 try-except 包裹 API 调用，便于捕获网络异常、超时或限流（429）错误。
2. 请求并发：若需要大规模并发调用，建议在调用层加入限速或队列，避免触发限流。
3. 重试机制：在 429 或超时时，可进行指数回退式重试（Exponential Backoff），增强服务稳定性。

---

6. 维护对话上下文

6.1 使用上下文管理实现连续对话

如果要模拟 ChatGPT 类多轮对话，可使用 openai.ChatCompletion.create 接口，并记录对话历史：

messages = [
    {"role": "system", "content": "You are a Japanese language teacher."},
    {"role": "user", "content": "I want to learn Japanese."}
]

response = openai.ChatCompletion.create(
    engine=DEPLOYMENT_NAME,
    messages=messages,
    max_tokens=100
)

assistant_reply = response['choices'][0]['message']['content']
print("Assistant:", assistant_reply)

# 将助手的回复追加到对话历史
messages.append({"role": "assistant", "content": assistant_reply})

• 注意：上下文越长，消耗的 Token 数也越多，成本相应增加，且可能影响性能。
• 建议：在业务无关的对话结束后，可定期清理对话历史，或只保留核心上下文，减少冗余内容。

---

7. 资源管理与成本控制

7.1 监控资源消耗

• 在 Azure Portal 的 成本管理（Cost Management） 页面查看与 AI 相关的费用。
• 建议为每个团队或项目设置单独的订阅或资源组，便于隔离成本与权限。

7.2 设置预算与预警

• 可在 成本管理 页面创建 “预算（Budget）”，并配置预警（Alerts）。
• 当支出即将或已经超过预算门槛时，会自动发送邮件或短信提醒，有助于及时采取措施。

7.3 停止未使用的服务与自动缩放

• 在不需要持续运行时，手动停止 部署或对话会话以减少占用。
• 利用 自动缩放（Auto-scaling） 策略，设置不同时间段或不同负载阈值下的资源配置，节约成本。

7.4 清理未使用的部署

• 若部署已无必要，建议 删除 相关资源（例如 Azure AI Hub、未使用的模型部署）以避免不必要的支出。
• 可编写脚本或使用 Azure Policy 定期审查资源使用情况。

---

8. 安全与合规性（企业级注意事项）

8.1 访问控制与 RBAC

• 使用 Azure Active Directory (Azure AD) 的 角色基于访问控制（RBAC） 管理访问权限。
• 为不同的团队成员分配最小权限（Principle of Least Privilege），避免滥用资源或泄露机密信息。

8.2 数据机密与合规

• 如果需要处理敏感数据（如个人隐私信息、业务核心数据），务必遵守相关法规（GDPR、HIPAA 等）及企业内部合规政策。
• 可考虑 专用网络（VNet Integration） 或 私有链接（Private Link），避免将数据暴露在公网上，增强安全性。

8.3 日志与审计

• 在企业环境中，要对 API 调用日志进行审计与监控，记录请求的参数、响应时间和资源使用情况。
• 对关键操作（如删除资源、更新配置）进行审计追踪，以便日后回溯或调查。

---

9. 常见问题（FAQ）与错误排查（Troubleshooting）

1. 部署报错或长时间卡住

   • 检查订阅是否有足够的配额（Quota），或所在区域是否支持该模型。
   • 查看 活动日志（Activity Log） 获取具体错误信息，如需可联系 Azure 技术支持。

2. API 调用报 429（Too Many Requests）

   • 说明触发了限流或请求速率超限。可尝试 减小并发、增加调用间隔，或启用 重试机制。
   • 如业务需求高并发，可考虑 “升级 SKU/部署模式” 或“水平扩容”。

3. Access Denied 或 Authentication Error

   • 检查 api_key、api_base、api_type、api_version 是否正确。
   • 确保当前用户或服务主体（Service Principal）具备对 Azure OpenAI 的相应访问权限。

4. 模型输出与预期不符

   • 重新检查 Prompt 设计，确保 系统消息、用户消息 清晰且有针对性。
   • 利用 “few-shot prompting” 给出示例，以提高模型对目标格式的理解。

5. 成本飙升

   • 检查调用频率、Prompt 长度和返回的 Token 数量。
   • 通过设置 max_tokens 和 temperature、使用更短的上下文，或切换到相对更便宜的模型版本来控制成本。
   • 在 成本管理 中创建预算和报警规则。

---

10. 结论：用好 Azure AI Studio，掌握大语言模型的无限潜能

通过本指南，您已经学会了：

1. 在 Azure AI Studio 中创建 AI Hub 并部署 GPT-3.5 Turbo 等大语言模型。
2. 使用 Prompt Engineering 优化交互体验，在 Chat Playground 中测试和迭代提示词。
3. 在 Jupyter Notebook 中调用 API 并实现多轮对话的上下文管理。
4. 掌握企业级安全与合规策略，保障数据隐私与访问控制。
5. 进行成本监控与资源管理，确保在预算内高效地使用资源。
6. 排查常见问题，轻松应对部署与调用中的各种挑战。

Azure AI Studio 为开发者与企业提供了强大的平台来集成 AI 能力，借助大语言模型的强大自然语言处理和生成能力，您可以在多种业务应用场景中获得显著的效率与价值提升。快来动手体验吧，探索 Azure AI Studio 带来的无限可能！

---

祝学习与部署顺利，期待您在生产环境中成功落地更多创意与应用！