2024-01-04 学习笔记

1.语义分割中的 loss function 最全面汇总

• 摘要

      这篇文章主要讨论了在图像语义分割任务中常用的几种损失函数，包括交叉熵损失、加权损失、焦点损失和Dice soft损失。交叉熵损失是最常用的损失函数之一，用于比较每个像素的类别预测结果与标签向量，特别适用于多类别预测。加权损失用于解决类别不均衡的问题，通过对正负样本的损失赋予不同的权重来平衡样本分布。焦点损失则进一步关注难学习的样本，通过修改二元交叉熵损失函数来使模型更加专注于学习难学习的样本。最后，Dice soft损失是针对前景比例过小的问题提出的，通过计算Dice系数来衡量预测和标签之间的重叠部分，并设计一个可以最小化的损失函数。这些不同类型的损失函数在图像语义分割任务中发挥着重要作用，并可以根据具体任务的需求进行选择和调整。

2.拆解！何为AI Agent？

• 摘要

    本文介绍了AI Agent的概念和发展，以及AI Agent在人工智能领域的重要性和应用。文章指出AI Agent的能力与大型语言模型相生，其设计为具有独立思考和行动能力的AI程序，能够根据环境反应和独白生成任务序列开始工作。此外，文章还讨论了NLP到AGI的发展路线，以及AI Agent在处理复杂任务和克服大语言模型的局限性方面的重要性。最后，文章提出了智能代理的框架，包含三个组成部分：控制端、感知端和行动端。整体而言，本文对AI Agent的概念和应用进行了全面的介绍。

• Raiden说

个人理解可能比较肤浅，这貌似看起来就是以AI大模型和核心做了一个系统？给不同的任务场景设计一个模型？未来的软件都会配置一个agent么？

3.APE｜"全开源"多模态基础感知大模型-腾讯云开发者社区-腾讯云

• 摘要

这篇文章介绍了一个名为APE的视觉感知系统模型，由厦门大学等机构的研究人员提出。该模型旨在解决当前视觉基础模型领域的问题，包括自监督训练、开集检测和开集语义分割等方面的挑战。文章详细介绍了APE模型的方法，包括独立提示、句子级嵌入、交叉模态交互、区域-句子对齐和前景-背景等方面的技术。此外，文章还提到了使用的数据集和实验效果。整体来看，该模型在多个数据集上取得了当前SOTA或极具竞争性的结果。

• Raiden说

统一了分割和目标检测任务，指标上也非常好看。

但问题是，没法微调到我司的一些场景，因为没有那么多标注数据...尤其是全景分割标注的数据..

中小公司无力承担全景标注的成本。