nlp与cv的发展

• Transformer的出现,促进了更高容量模型的建立,为大模型的出现奠定基础.
• 大模型通常具有十亿个以上参数(仅供参考)
• 左边的蓝色是CV领域、右下绿色是NLP、右上蓝色是多模态
• 基础模型(Foundational Models)首次由Bommasani等人在《Stanford Institute for Human-Centered AI》中引入,定义为“通过自监督或半监督方式在大规模数据上训练的模型,可以适应其它多个下游任务”
• 综述《On the Opportunities and Risk of Foundation Models》,深度剖析当时大规模预训练模型面临的机遇和挑战,文中将大模型统一命名为Foundation Models （？）
• 在深度学习中，通常将模型分为三个部分：backbone、neck 和 head
• 深度学习中常用的Backbone:AlexNet、ResNet、VGG（好像有点过时，现在cv里的backbone可能是vit和swin-t)
• 未完待续

————————
最近要写糊弄期末作业（视觉大模型综述和大模型发展史）
画了个图，记录一下枯燥的水字数和水页数的过程
——— 2023.12.16