230908-MetaGPT构建专属AI Agent的技术实践-视频笔记

  1. LangChain >>> 概念过载
  2. MetaGPT:通过AI,完成GPT的自举
  3. 原编程应该是一个函数,而不是人去做
  4. 3月到5月:目前业界所有开源工程及对应论文60+,写了54篇对应笔记
  5. LangChain >>> 9万6000行代码,655个内核,2826个函数,总笔记1万1000字
  6. 很多开源项目只是最求概念的完整,而非实用性;MetaGPT希望具体的事情做出来
  7. 智能体协议Agent Protocol:Agent之间的交互方式。
  8. 当前市场尚未有大一统的Agent Protocal,今年下半年可能会有一个版本,Agent技术加速
  9. 问:MetaGPT的规模化、产品化,到底还需要多久?答:需要一个工业化的过程。
    · MetaGPT:1903年莱特兄弟,造出了第一价飞机,能飞十几秒 >>> 飞行理论得到验证。
    · 战斗机、运输机等的发展需要后面一步一步的工业化。
    · 木头飞机什么时候能变成铁皮飞机并能载人>>>18个月>>>500行代码>>>10万行代码,完成项目级的代码自动化
  10. MetaGPT参考了很多框架,清楚哪些部分是必须的,哪些部分是非必需的。
  11. 目前MetaGPT出于一个初级阶段。
  12. 角色1:原编程智能体框架;角色2:纯粹的多智能体框架
  13. 智能体商城即将上线:MetaGPT等Agents
  14. 既定的200多个任务中有80+已经挂在Roadmap上
  15. 实践中有很多不确定性,例如如何做测试:不同的语言模型,其提示词可能完全不同
  16. 在输入相同的情况下,稳定输出很难;
  17. 提示词的撰写类似SOP,高效的SOP可用于不同的智能体
  18. 人类世界,一些头部公司,可能花上百亿美元去购买SOP,用于其信息化系统及重点项目上
  19. 开发SOP的过程等同于写代码
  20. 软件公司有三个Profolio:代码+SOP+团队,SOP的本质是对团队编程
  21. 工具链:训练、微调、推理、部署、减枝、蒸馏、量化等所有技巧:智能体本身是很敏感的
  22. Auto-GPT:460美元打水漂>>>缺少SOP和专用模型来解决特定问题
  23. 如何解决开发和更多角色互动的一个问题:自动化、智能体环境
  24. 当前的开发调试十分困难,例如提示词的调试
  25. 大语言模型扮演人类大脑的慢思考;快思考是人类直觉;不同感觉器官需要对应的感觉模块;上述谢谢感官,大语言并没有直接建模;
  26. 多模态的建模实际中没有想象中的那么好;哪一种模型能完成完整的智能,需要打一个问号。语言可能是大脑中最重要的,但它并不是唯一的。出了它之外,还有十几个专业的模块。
  27. 大脑出了情感外,大部分对于智能体而言,都是必要的。
  28. 短期记忆(把今天发生的事都记录下来)+长期记忆(向量检索>>>人的记忆是分层的,并非所有记忆都是等效的:向量检索、图像检索、树状检索等,是否都用?哪种更好?)
  29. 视觉大语言模型需要平衡:效果与成本。图像Token消耗巨大;每条600fps推理。
  30. 谷歌智能体不能超过5个,强化学习超过5个就没法仿真。在特定的环境下解决特定的问题,实际很难收敛。
  31. 强化学习:在一个房间烧水,然后预测体温,100分只得2分。强化学习不能很好理解世界语言。
  32. 原来的强化学习从零开始理解世界。现在的Agent在RL中利用世界知识。
  33. 问:AGI的L4如何定义?如何达到?答:10w行代码 >>> API交互 >>> Agent实现 Linux 10W代码 >>> 类似人类水平
  34. ChatGPT-4 vs 国产框架:Llama2可以跑,但有问题;国产LLM可以跑,单有问题,需要花一定时间,一定工作,来解决相关问题。开源的水位不断变高,大家的水平会逐渐向GPT4看齐。
  35. Gpt-3.5 turobo和Gpt-4未来可能会开源。
  36. Agent需要成为业务智能体,而非软件Agent。两者如何协同。组织形态:一个群体?一堆100群体?10亿级群体?不同Agent的交易方式,决定了它的业务逻辑。
  37. HR是智能体、财务是智能体、业务非智能体。业务需求是很复杂的。例如300页。未来需要将大的需求进行拆解,或通过结构化的方式进行任务分解。不同Agent公司提供的Agent的能力是完全不同。未来会有智能体的交易、定价等。让Agent具备领域专家的机械能力。
  38. 人类沟通理解的过程是十分昂贵的,更何况是智能体。将Agent与软件工程进行组合。
  39. SOP回顾:两百多年前,亚当斯密提出了人类分工。分工的两个好处:职业路径-训练微调的过程;有SOP,在流水线上讲生产节拍的(不能少、且足够标准)。SOP是人类世界的最高级别的规划。SOP和规划是两码事。
  40. SAM Outman需要通过合成数据,顶一些数据。现实世界的数据,基本上已经全部用完了,只能达到现在这个效果。现在来看,ChatGpt4能够提升的上限并不会特别高。大部分提升的点是在策略上,而非模型上。如何提升:SOP、思考策略。
  41. 5步工作法:1.让需求不那么蠢;2.减去无用的流程或部分;3. 简化和优化 4. 加快迭代; 5.进化。有些SOP在Agent上效果特别好。有效SOP适应度没有那么高。
  42. 好的SOP和灵活度其实是相悖的。
  43. 硅谷2000亿美元的投资。MetaAI的应对方式:开源。
  44. MetaAI的价值:开源+闭源合作。提供AI落地的所有工作。服务国内的世界500强。
  45. MetaGPT做销售、客服服务,整体代码量少,局部修改即可用。
  46. MetaGPT+代码大模型 >>> 提高代码开发的效率
  47. 先做出实际效果,能够落地,再抓人一起发论文,类似Google。MetaGPT对社区进行招募,集中写论文。MetaGPT在国际上有影响力。已有几十个不同媒体和大V对该工作进行报告。开发者拥有更高认可度。10行有效代码即可。
  48. 社区里面每个人都能够参加到AGI的工作之中。

MetaGPT 构建专属 AI Agent 的技术实践——2023全球机器学习技术大会嘉宾访谈

你可能感兴趣的:(LLM,ChatGPT,人工智能,音视频,笔记)