多模态语义分析

论文和模型学习资料合集

1Paper（1）VPGTrans:TransferVisualPromptGeneratoracrossLLMs(NeurIPS2023)【OpenMMLab社区开放麦讲座】《颠覆性创新：多模态对话与精准区域分割
songyuc·2023-12-20 22:52

UI Grounding 学习笔记

学习资料【OpenMMLab社区开放麦讲座】《颠覆性创新：多模态对话与精准区域分割-VPGTrans&NExT-Chat》1.学术关键字LLMDetection2.相关论文InstructBLIP：指令微调
songyuc·2023-12-20 22:21

第七届多模态脑网络数据处理班（训练营：2023.10.5~10.21）

茗创科技专注于脑科学数据处理，涵盖（EEG/ERP,fMRI,结构像,DTI,ASL,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师（微信号MCKJ-zhouyi或17373158786）咨询。★课程简介★脑网络（cerebralnetwork）定义为：大脑空间位置不同的皮质区域通过结构或功能联系整合起来形成的网络模式。
茗创科技·2023-12-20 18:51

斯坦福美女博士创业项目爆火！AI视频生成出道即顶流，半年融资5500万美元

OpenAI大牛AndrejKarpathy转发，并激情附上长文一段：每个人都能成为多模态梦境的导演，就像《盗梦空间》里的筑梦师一样。
度假的小鱼·2023-12-20 18:39

“文思助手”苏哒智能加入飞桨技术伙伴计划，共同打造“大模型+企业办公”新模式

苏哒智能的核心技术包括大模型检索增强生成RAG、行业预训练模型、多模态文档智能
飞桨PaddlePaddle·2023-12-20 14:34

文心一言插件商城重磅上线！

各种详情请大家跟上节奏细细看来文心一言插件商城叠加你的AI技能插件商城集合众多高质量插件，覆盖办公提效、多模态内容理解生成、专业信息
飞桨PaddlePaddle·2023-12-20 14:03

神奇植物在哪里？文心大模型助力一秒读懂花草的“前世今生”

本期文心开发者说邀请到飞桨开发者技术专家谢杰航老师，分享如何利用AI技术构建风景园林行业的植物知识科普系统，接着还介绍了大模型应用的基本技术流程框架，多模态特征提取以及使用向量数据库的优势，使用飞桨星河社区运行向量数据库的方法
飞桨PaddlePaddle·2023-12-20 14:02

nlp与cv的发展

Transformer的出现,促进了更高容量模型的建立,为大模型的出现奠定基础.大模型通常具有十亿个以上参数(仅供参考)左边的蓝色是CV领域、右下绿色是NLP、右上蓝色是多模态基础模型(FoundationalModels
卅拓·2023-12-20 01:58

PAMI2023: VLT: Vision-Language Transformer and Query Generation for Referring Segmentation

QueryGenerationModule5、QueryBalanceModule6、MaskDecoder7、MaskedContrastiveLearning8、可视化结果1、Abstract提出了VLT框架，以促进多模态信息之间的深度交互
masterleoo·2023-12-20 01:52

Bert-vits2-v2.2新版本本地训练推理整合包(原神八重神子英文模型miko)

近日，Bert-vits2-v2.2如约更新，该新版本v2.2主要把Emotion模型换用CLAP多模态模型，推理支持输入textprompt提示词和audioprompt提示语音来进行引导风格化合成，
刘悦的技术分享·2023-12-19 10:05

【NeurIPS 2023】多模态联合视频生成大模型CoDi

CoDi提出了一种并行多模态生成的大模型，可以同时生成带有音频的视频，距离真正的视频生成更近了一步。相信在不远的将来，可以AI生成的模型可以无缝平替抖音等平台的短视频。
沉迷单车的追风少年·2023-12-19 10:07

GPT-4V with Emotion:A Zero-shot Benchmark forMultimodal Emotion Understanding

GPT-4VwithEmotion:AZero-shotBenchmarkforMultimodalEmotionUnderstandingGPT-4V情感:多模态情感理解的zero-shot基准1.摘要最近
庄园特聘拆椅狂魔·2023-12-19 08:58

Compositional Chain-of-Thought Prompting for Large Multimodal Models大型多模态模型的组合思想链提示

Abstract强大的视觉主干和大型语言模型(LLM)推理的结合使大型多模态模型(LMM)成为各种视觉和语言(VL)任务的当前标准。
Mars_prime·2023-12-19 08:04

Multimodal Chain-of-Thought Reasoning in Language Models语言模型中的多模态思维链推理

通过这种方式，答案推理可以更好地利用基于多模态信息生成的基本原理。借助Multim
Mars_prime·2023-12-19 08:31

10.10-11 科研记录 一些多模态工作的相关思考

论文出发点很简单，第一，就是想要去除文本的冗余数据，有多篇文章也提到了，冗余文本影响对下游任务的性能，大量无关的文本输入到大模型也会影响大模型的性能，本质也很好理解，就是尽可能去除与任务不相关的部分，减少噪声，第二，就是想提取出文本中与变量相关的部分，更精准地让文本和时序模态中对同一模态的数据能够协同融合，互相补充，从而达到但一直找不到比较创新的方法，其实关键个人认为在于提取关键特征，思考了“at
A half moon·2023-12-18 23:02

MIA-Net：用于多模态情感分析的多模态交互注意力网络

MIA-Net：用于多模态情感分析的多模态交互注意力网络总括：多模态融合时，首先将多种模态分为主模态与辅助模态，通过构建了一个交互注意力模块，从辅助模态中提取对主模态有帮助的信息进行融合。
鱼儿也有烦恼·2023-12-18 19:18

GPT-4.5！！！

3D功能的进一步支持，也就意味着多模态最后一块版图的补齐。尤其对于劳动密集型的游戏行业和影视特效行业来说，AI的加入，将会极大减少开发成本，生产效率直线提升。
楷鹏 : )·2023-12-18 18:39

《人工智能基础》17/91天阅读

潜在语义分析就是针对文本数据多主题的特点而设计的。这种技术可以通过无监督的方式从文本中分析出多个潜在的主题，完成聚类算法不能完成的任务。
皮卡丘_83e1·2023-12-18 17:38

论文笔记：Bilinear Attention Networks

更精简的论文学习笔记1、摘要多模态学习中的注意力网络提供了一种选择性地利用给定视觉信息的有效方法。然而，学习每一对多模态输入通道的注意力分布的计算成本是非常昂贵的。
hongyuyahei·2023-12-18 17:30

U5 符号表管理

文章目录一、语义分析1、任务二、符号表1、概述2、操作3、基本结构4、组织方式三、非分程序的符号表1、概念2、标识符的作用域及基本处理办法3、符号表的组织方式四、分程序的符号表：处理作用域嵌套1、概念2
轩不丢·2023-12-18 17:28

如何利用GPT4 和 ChatGPT 搞科研？

2023年随着OpenAI开发者大会的召开，最重磅更新当属GPTs，多模态API，未来自定义专属的GPT。微软创始人比尔盖茨称ChatGPT的出现有着重大历史意义，不亚于互联网和个人电脑的问世。
asyxchenchong888·2023-12-18 15:47

从54%到8%‼️维普表格查重怎样修改

在维普表格查重中，软件基于自然语言处理和机器学习技术，对表格进行语义分析和比对，判断其与已有文献的相似度，并给出相应的修改建议。1、维普表格查重怎样修改内容以下是一些修改维普表格查重的
gpt886·2023-12-18 12:13

玩转字词句魔法：打造超强样本集的数据增强策略，句式变换揭秘同义句生成与回译在数据增强中的创新应用

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-12-18 11:40

【CCF BDCI 2023】多模态多方对话场景下的发言人识别 Baseline 0.71 Slover 部分

【CCFBDCI2023】多模态多方对话场景下的发言人识别Baseline0.71Slover部分概述Solver在多模态发言人识别中的作用Solver在多模态发言人识别中的重要性Solver的工作原理二次规划二次规划的基本形式二次规划的特点二次规划在多模态发言中的应用
我是小白呀·2023-12-18 10:48

NExT-GPT: Any-to-Any Multimodal LLM 阅读学习

方法：通过将语言模型与多模态适配器和不同的解码器相连接，构建了一个端到端的通用任意多模态语言模型系统NExT-GPT。优势：利用现有的高性能编码器和解码器进行微调，既避免了从头开始训
south020·2023-12-18 03:36

OpenAI开源超级对齐方法：用GPT-2，监督、微调GPT-4

但随着大模型朝着多模态、AGI发展，神经元变得庞大、复杂且难控制，RLHF便有点力不从心。
richerg85·2023-12-18 02:33

第六届多模态脑网络数据处理班（直播：2023.7.28~7.31）

茗创科技专注于脑科学数据处理，涵盖（EEG/ERP,fMRI,结构像,DTI,ASL,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师（微信号MCKJ-zhouyi或17373158786）咨询。★课程简介★脑网络（cerebralnetwork）定义为：大脑空间位置不同的皮质区域通过结构或功能联系整合起来形成的网络模式。
茗创科技·2023-12-18 01:21

南京大学-程序分析-课程02-中间表达

1.CompilersandStaticAnalyzers编译器和静态分析之间的关系词法分析语法分析语义分析ASTIR静态分析二进制编码2.ASTvs.IR2.1ASTAST（抽象语法树）•高级且接近语法结构
我就是菜鸡1229·2023-12-18 00:16

明天开课 | 第六届多模态脑网络数据处理班（直播：2023.7.28~7.31）

茗创科技专注于脑科学数据处理，涵盖（EEG/ERP,fMRI,结构像,DTI,ASL,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师（微信号MCKJ-zhouyi或17373158786）咨询。★课程简介★脑网络（cerebralnetwork）定义为：大脑空间位置不同的皮质区域通过结构或功能联系整合起来形成的网络模式。
茗创科技·2023-12-17 15:05

第七届多模态脑网络数据处理班（训练营：2023.10.5~10.21）

茗创科技专注于脑科学数据处理，涵盖（EEG/ERP,fMRI,结构像,DTI,ASL,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师（微信号MCKJ-zhouyi或17373158786）咨询。★课程简介★脑网络（cerebralnetwork）定义为：大脑空间位置不同的皮质区域通过结构或功能联系整合起来形成的网络模式。
茗创科技·2023-12-17 12:33

GPT-4.5 或将于本月内发布，官方回复称正在修复GPT-4偷懒行为

他还提到OpenAI的主要竞争对手Anthropic，可能也会在本月内发布能够同时处理文本、图像、音频等数据的多模态模型。
无际Ai·2023-12-17 09:51

【论文阅读】MAKE-A-VIDEO: TEXT-TO-VIDEO GENERATION WITHOUT TEXT-VIDEO DATA

paper：code：ABSTRACT优点:(1)加速了T2V模型的训练(不需要从头开始学习视觉和多模态表示)，(2)不需要配对的文本-视频数据，(3)生成的视频继承了当今图像生成模型的庞大性)。
李加号pluuuus·2023-12-17 08:34

论文阅读：UniSeg: A Unified Multi-Modal LiDAR Segmentation Network and the OpenPCSeg Codebase

本文提出了一种统一的多模态激光雷达图像分割网络，称为UniSeg，该网络利用RGB图像信息和三视点云信息，同时实现了语义分割和全景分割。
shiyueyueya·2023-12-17 06:52

使用blip2进行图片输入文本输出

多模态的重要模型blip2,官方提供模型可以直接用来图片生成文本github地址：https://github.com/salesforce/LAVIS/tree/main/projects/blip2
清梦枕星河~·2023-12-17 04:20

AI技术延续，关键在场景落地

当下，多模态理解、生成和交互能力正成为大模型新一轮演进的重要方向。
AIGC方案·2023-12-17 02:25

SEED-Bench多模态大模型测评基准更新

技术报告SEED-Bench-1：https://arxiv.org/abs/2307.16125SEED-Bench-2：https://arxiv.org/abs/2311.17092测评数据SEED-Bench-1：https://huggingface.co/datasets/AILab-CVC/SEED-BenchSEED-Bench-2：https://huggingface.co/d
TechBeat人工智能社区·2023-12-17 02:14

谷歌Gemini AI模型使用指南

引言2023年12月7日，谷歌宣布推出其迄今为止功能最强大、最通用的多模态人工智能（AI）大模型：Gemini。根据最新的性能评估，Gemini在多项指标上已经超越了ChatGPT4。
26岁的学习随笔·2023-12-17 01:33

翻译: LLM大语言模型图像生成原理Image generation

目前也开始出现一些可以生成文本或图像的模型，这些有时被称为多模态模型，因为它们可以在多种模式中操作，如文本或图像。在这个视频中，我想与您分享图像生成是如何工作的。让我们来看看。
AI架构师易筋·2023-12-16 20:25

利用ChatGPT的写作能力，可以更好地组织思路、提升论文的逻辑性和质量

2023年随着OpenAI开发者大会的召开，最重磅更新当属GPTs，多模态API，未来自定义专属的GPT。微软创始人比尔盖茨称ChatGPT的出现有着重大历史意义，不亚于互联网和个人电脑的问世。
梦想的初衷~·2023-12-16 19:37

多模态图像配准中的跨模态注意

Cross-modalattentionformulti-modalimageregistration多模态图像配准中的跨模态注意背景贡献实验方法FeatureextractionCross-modalattentionRigidregistrationRigidregistrationimplementationdetails
火柴狗·2023-12-16 15:47

[论文阅读]Multimodal Virtual Point 3D Detection

MultimodalVirtualPoint3DDetection多模态虚拟点3D检测论文网址：MVP论文代码：MVP论文简读方法MVP方法的核心思想是将RGB图像中的2D检测结果转换为虚拟的3D点，并将这些虚拟点与原始的
一朵小红花HH·2023-12-16 14:31

ChatGPT/GPT4+AI绘图+论文高效写作结合到底有多强大？

2023年随着OpenAI开发者大会的召开，最重磅更新当属GPTs，多模态API，未来自定义专属的GPT。微软创始人比尔盖茨称ChatGPT的出现有着重大历史意义，不亚于互联网和个人电脑的问世。
思考的小猴子·2023-12-16 14:45

Mistral AI发布行业领先的Mixtral 8x7B专家混合模型&完成4.15亿美元融资

他们在多模态、检索增强生成（RAG）等大模型突破方向有着丰富经验，有理由期待MistralAI的下一代新模型成为gamechanger的潜力。企业端使用LLM时考虑的不仅
技术狂潮AI·2023-12-16 13:00

Video-LLaMA An Instruction-tuned Audio-Visual Language Model for Video Understanding 用于视频理解的指令调谐视听语言

1.摘要我们提出了一个多模态框架Video-LLaMA1，它使大型语言模型(LLM)能够理解视频中的视觉和听觉内容。视频-来自冻结的预训练视频和音频编码器和冻结的LLM的美洲驼引导跨模式训练。
庄园特聘拆椅狂魔·2023-12-16 02:25

vue瀑布流插件vue-waterfall-plugin

场景最近在做多模态智能搜索功能，里面的以文搜文和以图搜图都有瀑布流的展示，多年前做的瀑布流忘记用的啥了，把这次使用的记录一下吧。
悦悦猪·2023-12-16 01:22

人工智能多模态：看、听、说，智能感知的全方位融合

导言人工智能多模态技术是指通过整合视觉、听觉、语言等多个感知模态的信息，实现对丰富、多样化数据的理解与处理。本文将深入研究人工智能多模态的技术原理、应用场景以及对未来感知智能的影响。
鳗小鱼·2023-12-15 20:49

拒绝割韭菜，培养中国第一批AI大模型工程师！

公司于2018年开始基于篇章级别语义识别算法进行AI原生产品的开发；2020年上线AI多模态算法为基础的L4级别AI视频面试SaaS；今年4月，基于70B开源大模型基座增量预训练而成的HR行业大模型，成功推出
OJAC·2023-12-15 19:10

MQ-Det: Multi-modal Queried Object Detection in the Wild

https://github.com/YifanXu74/MQ-Det主框图摘要这篇文章提出了MQ-Det，一种高效的架构和预训练策略，它利用文本描述的开放集泛化能力和视觉示例的丰富描述粒度作为类别查询，即多模态查询目标检测
深山里的小白羊·2023-12-15 17:24

2DPASS激光雷达点云语义分割简介

不同于先前的多模态方法（训练和推理阶段均需要成对的图像和点云数据作为输入），该方法仅在训练阶段利用额外的图像数据，从相机数据中获取更丰富的语义和结构信息，并将其提炼蒸馏至三维语义分割网络中。
AI松子666·2023-12-15 14:47

Soul 推出“SoulX”AI人工智能模型，已应用于旗下 App“苟蛋”AI聊天机器人

Soul社交平台最近发布了名为”SoulX“的AI人工智能模型，SoulX将作为Soul“AIGC+社交”布局的重要基建，具备prompt驱动、条件可控生成、上下文理解、多模态理解等能力，垂直应用于平台上多元社交互动场景
喜好儿aigc·2023-12-15 13:22
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他