【笔录】TVP技术沙龙：寻宝AI时代

引言

大模型是10倍的机会，但并不是平均主义的机会，没有低垂的果实。
企业想在大模型的赛道上跑出成绩，应该怎么做，又要选择哪些赛道？

大模型的应用案例

应用行业	应用方向	应用程度
制药企业	医药代表的培训 培训代表的表达能力和应对策略	培训
股份制银行	AI自动问答 解决客户自主业务问题，提升客户使用体验	copilot 对话
咨询公司	AI自动分析数据 生成日报和周报	挖掘

大模型三问

• 大模型的“偏见”或“漂移”问题
  • 回答必须有出处（原文）
• 大模型数据安全问题
  • 技术层面进行解决，如联邦学习等
• 大模型的能力域边界
  • 大模型能做什么，可以把大模型比作一个学习了人类已有知识的智能体

模型落地可行性考量维度

维度	业务价值	技术复杂度	数据	成本	安全	可解释性
1	增强决策能力	市面现有模型是否支持	数据可获取性	算力硬件成本	数据安全与隐私	业务场景 对模型产 出结果的 可解释性 要求
2	提升内部效率	模型微调复杂度	数据质量达标	商用模型成本	模型知识产权
3	提升客户体验	prompt 工程复杂度	数据验证标准
4		数据处理

AIGC的几个可行应用方向

1. SQL Copilot
   SQL Copilot是一个辅助工具，可以帮助开发人员编写SQL查询语句。它可以通过分析用户的查询意图和数据库结构，自动为用户生成或修正SQL代码。
   SQL Copilot利用了自然语言处理和数据库理解技术，使得开发人员能够更快速、更准确地与数据库交互。这样可以提高开发效率，降低错误率。
2. BI Copilot
   BI Copilot是一个在商业智能（BI）领域的辅助工具。它可以协助分析师、经理等人员快速提取数据、生成报表，并提供数据可视化建议。
   BI Copilot可以通过自动化和智能化的方式，帮助业务人员更高效地利用数据进行决策制定。它可以加速数据分析过程，减少了繁琐的手动操作。
3. 用户趋势
   用户趋势分析是通过对用户行为数据进行统计和分析，从中提取用户的偏好、行为模式等信息，用以优化产品或服务。
   AIGC可以帮助企业快速分析大量的用户数据，识别出用户的喜好和行为模式，为企业提供了更有针对性的产品优化和市场营销策略。
4. 客服会话（智能客服）
   智能客服可以通过聊天机器人或自动响应系统，为用户提供基本的客服支持，解决常见问题，并在必要时将用户转接给人工客服。
   AIGC在客服领域可以通过自动化和智能化的方式，为企业节省人力资源成本，提升客户服务的效率和满意度。
5. AI识图
   AI识图可以用于图像识别、物体检测、人脸识别等领域。例如，智能相册可以自动识别照片中的人物、场景等信息。
   通过深度学习和计算机视觉技术，AIGC可以帮助人们更便捷地管理、搜索和分享图像信息，也可以在安防、医疗等领域发挥重要作用。
6. 内部资料整理（分析文本内容）
   AIGC可以帮助企业对大量文本数据进行自动化处理和分析，从中提取出关键信息、进行情感分析等，以辅助决策制定。
   内部资料整理是一个广泛的应用方向，可以用于处理企业内部的各种文档、报告等，为企业的管理和决策提供数据支持。

AIGC的存储

三点需求：

1. 数据湖（Data Lake）的统一存储。在整个AIGC的过程当中，数据存储的量非常大，它带来的存储需求就需要用数据湖来解决，避免数据孤岛的问题。
2. 在各个业务的处理过程当中，数据流动的需求，这些数据如果用一些传统的文件存活，就会遇到数据孤岛的问题，因此需要一个统一存储来对其提供服务。
3. 高吞吐和低延迟，在AIGC的场景下，GPU的算力是稀有和昂贵的，客户希望整个训练是跑的越快越好，对GPU使用的越满越好，这就对底层的存储提出了一个要求:越快的把数据读出来，越快的提供给上层训练，这样价值才是最高的。

LLM工程应用范式演进

	Hard Coded	Prompt as Service	Orchestration as Service	Agent as Service	Autonomous Agent
现行方案	LangChain Llamalndex	PromptPerfect Promptknit	Dify Semantic Kernel	AutoGPT BabyAGl	?
传统工程类比	Function Coding	Serverless	Wordpress	RPA	?
技术人员挑战	静态耦合	能力单一，集成难度高	工程化水平、工作流改造	性能不可控	?
业务人员挑战	无法参与协作	无法追踪效果	学习成本高	效果不稳定、成本高昂	?

LLM编程协作范式变化

	Design First	API First	Prompt First
职业	需求分析师 设计师	工程师	Prompt 工程师
产出	用户界面 需求文档	API文档 微服务	Prompt Flow Agent Service
任务	需求分析 绘制与还原界面	API设计 API&开发&测试	设计预期与验证集 编写 Prompt
工具	UML / 文档 / Figma	Swagger / Postman	PlayGround / Jupyter / Prompt IDE