【AI大模型应用开发】【RAG评估】0. 综述:一文了解RAG评估方法、工具与指标

  • 大家好,我是同学小张,日常分享AI知识和实战案例
  • 欢迎 点赞 + 关注持续学习持续干货输出
  • +v: jasper_8017 一起交流,一起进步。
  • 微信公众号也可搜【同学小张】

本站文章一览:

【AI大模型应用开发】【RAG评估】0. 综述:一文了解RAG评估方法、工具与指标_第1张图片


前面我们学习了RAG的基本框架并进行了实践,我们也知道使用它的目的是为了改善大模型在一些方面的不足:如训练数据不全、无垂直领域数据、容易出现幻觉等。那么如何评估RAG的效果呢?本文我们来了解一下。

文章目录

  • 推荐前置阅读
  • 0. RAG效果评估的必要性
  • 1. RAG评估方法
    • 1.1 人工评估
    • 1.2 自动化评估
      • 1.2.1.1 LangSmith
      • 1.2.1.2 Langfuse
      • 1.2.1.3 Trulens
      • 1.2.4 RAGAS
  • 2. 常用评估指标
    • 2.1 Trulens 的RAG三元组指标
    • 2.2 RAGAS的四个指标
    • 2.3 其它指标
  • 3. 总结
  • 参考

推荐前置阅读

  • 【AI大模型应用开发】3. RAG初探 - 动手实现一个最简单的RAG应用

你可能感兴趣的:(大模型,人工智能,笔记,经验分享,gpt,agi,AIGC)