GPT-4V

最新多模态生成模型 MM-Interleaved 开源

转自机器之心过去几个月中，随着GPT-4V、DALL-E3、Gemini等重磅工作的相继推出，「AGI的下一步」——多模态生成大模型迅速成为全球学者瞩目的焦点。
机器学习与AI生成创作·2024-02-10 11:21

ChatGPT升级版本GPT-4V(ision)支持多模态语音和图像

ChatGPT升级指南：迎接GPT-4V(ision)的全新多模态时代ChatGPT最新升级引入了GPT-4V(ision)，这是一个突破性的多模态版本，支持语音和图像输入。
Draven21·2024-02-09 06:41

LLaVA：GPT-4V(ision) 的新开源替代品

LLaVA：GPT-4V(ision)的新开源替代品。LLaVA（https://llava-vl.github.io/，是LargeLanguage和VisualAssistant的缩写）。
代码讲故事·2024-02-05 06:12

可商用，超12000颗星！微软开源多模态模型LLaVA-1.5

随着OpenAI发布GPT-4V后，多模态功能逐渐成为主流，并涌现出了MiniGPT-4、LLaVA等卓越多模态开源模型。
RPA中国·2024-02-01 10:27

Yi-VL模型发布：全球开源顶尖水平，仅次于GPT-4V多模态模型

Yi-VL模型概况零一万物公司最新发布的Yi-VL多模态语言大模型，以其先进的技术和卓越的性能，标志着在多模态人工智能领域的一个新时代。Yi-VL模型以Yi语言模型为基础，开发了包括Yi-VL-34B和Yi-VL-6B两个版本，这两个版本均在全新的多模态基准测试MMMU中表现出色。Huggingface模型下载：https://huggingface.co/01-aiAI快站模型免费加速下载：ht
努力犯错·2024-01-26 18:40

On the Road with GPT-4V(ision): Early Explorations of Visual-Language Model on Autonomous Driving

@[TOC](OntheRoadwithGPT-4V(ision):EarlyExplorationsofVisual-LanguageModelonAutonomousDriving)摘要对自动驾驶技术的追求取决于感知、决策和控制系统的复杂集成。传统的方法，无论是数据驱动的还是基于规则的，都因无法把握复杂驾驶环境的细微差别和其他道路使用者的意图而受到阻碍。这一直是一个重要的瓶颈，特别是在开发安全
这家伙是个好家伙·2024-01-24 12:07

最新ChatGPT商业运营版源码，AI绘画，Midjourney绘画，GPT-4V多模态模型识图理解+GPT语音对话+ChatFile文档对话总结+DALL-E3文生图

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT？小编这里写一个详细图文教程吧！支持GPT-4-Turbo模型、支持DALL-E3文生图，支
只恨天高·2024-01-23 15:03

快来围观普通用户如何玩转GPT-4V

快来围观普通用户如何玩转GPT-4V概述例子总结概述先看官方文档的介绍GPT-4withVision（有时称为GPT-4V或gpt-4-vision-preview在API中）允许模型接收图像并回答有关图像的问题
不想秃头的测试人·2024-01-20 13:58

GPT-4V的图片识别和分析能力原创

GPT-4V是OpenAI开发的大型语言模型，是GPT-4的升级版本。GPT-4V在以下几个方面进行了改进：模型规模更大：GPT-4V的参数量达到了1.37T，是GPT-4的10倍。
偷拨网线的william·2024-01-16 15:49

太强了！腾讯开源！多模态AppAgent自主操作智能手机应用程序！

它结合了GPT-4V的先进视觉理解能力，通过“眼睛”观察手机界面，模仿人类的点击和滑动交互方式来学习操作应用程序。这种方法避免了直接访问系统后端的需求，使其适用于多种应用程序。
404NooFound·2024-01-15 02:06

用通俗易懂的方式讲解：在 Langchain 中建立一个多模态的 RAG 管道

像GPT-4V和GeminiProVision这样的多模态模型已经展现出从图片中推断数据的强大能力。我们可以利用这些模型来扩
Python算法实战·2024-01-12 13:39

最新ChatGPT源码，AI绘画Midjourney绘画系统，GPT-4V识图理解+GPT语音对话+ChatFile文档对话总结+DALL-E3文生图+自定义知识库一站式解决方案

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT？小编这里写一个详细图文教程吧！支持GPT-4-Turbo模型、支持DALL-E3文生图，支
白云如幻·2024-01-10 06:41

利用人工智能和机器人技术实现复杂的自动化任务！

neka_natGitHub-mylangrobot：GitHub-neka-nat/mylangrobot:LanguageinstructionstomycobotusingGPT-4V引言本项目创建了一个使用GPT
大象机器人·2024-01-09 10:56

每日一看大模型新闻（2023.11.13）自定义GPT最受欢迎Top 9名单发布；清华系ChatGLM3发布，多模态挑战GPT-4V；GPT-4比你更会问问题：让大模型自主复述，打破与人类对话的壁垒

1.产品发布1.1清华系ChatGLM3发布，多模态挑战GPT-4V发布日期：2023-11-13清华系ChatGLM3现场怼脸演示！
超爱玩大模型·2024-01-08 20:46

用通俗易懂的方式讲解：ChatGPT 开放的多模态的DALL-E 3功能，好玩到停不下来！

最近ChatGPT对Plus用户逐步开放一些多模态的功能，包括（图像生成）、GPT-4V（图像识别）等，很多网友乐此不疲地对这些新功能进行试用，目前已经解锁了不少有趣的玩法，我将这些好玩的功能进行了整理并介绍给大家
Python算法实战·2024-01-07 08:26

大模型周报丨微软发布GPT-4V报告，MiniGPT-5不仅续写还配图，内附AMiner AI综述

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。2022年底，OpenAI推出的基于GPT-3.5的大型语言模型ChatGPT，由于
AMiner学术搜索和科技情报挖掘·2024-01-04 12:11

多模态大模型的前世今生

微软发了一篇长达166页的GPT-4V测评论文，一时间又带起了一阵多模态的热议，随后像是LLaVA-1.5、CogVLM、MiniGPT-5等研究工作紧随其后，到处刷屏。
智慧医疗探索者·2024-01-02 12:57

刷新11个基准SOTA！浙大校友开源多模态大模型LLaVA-1.5

来源：新智元【导读】GPT-4V风头正盛，LLaVA-1.5就来踢馆了！它不仅在11个基准测试上都实现了SOTA，而且13B模型的训练，只用8个A100就可以在1天内完成。
人工智能与算法学习·2024-01-01 23:48

正面硬刚GPT-4V！浙大校友开源多模态大模型LLaVA-1.5

多模态GPT-4V的神奇能力让众人惊呼：这就是GPT-4.5吧？这才没过多久，GPT-4V的开源竞争对手——LLaVA-1.5，就已经来了！
深度学习技术前沿·2024-01-01 23:48

迈向通用异常检测和理解：大规模视觉语言模型（GPT-4V）率先推出

github.com/caoyunkang/GPT4V-for-Generic-Anomaly-Detection图1GPT-4V在多模态多任务异常检测中的综合评估在这项研究中，我们在多模态异常检测的背景下对GPT
FakeOccupational·2024-01-01 02:33

微软写了份GPT-4V说明书：166页讲解又全又详细demo示例一应俱全

原文：微软写了份GPT-4V说明书：166页讲解又全又详细demo示例一应俱全-哔哩哔哩编者按：这篇文章深入研究了GPT-4V的用法、基本功能，用较大篇幅介绍了GPT-4V在遵循文字说明、视觉指向和视觉参考提示
javastart·2023-12-31 21:24

只需上传照片，GPT-4V精准识别食物的卡路里和摄入热量

最近一篇文章探索了GPT-4V在膳食评估领域的强大能力，可以根据饮食图片精准判断食物的种类与重量，并给出营养成分的分析，包括碳水化合物、蛋白质、脂肪占比。
风度78·2023-12-29 04:50

只需上传照片，GPT-4V精准识别食物的卡路里和摄入热量

最近一篇文章探索了GPT-4V在膳食评估领域的强大能力，可以根据饮食图片精准判断食物的种类与重量，并给出营养成分的分析，包括碳水化合物、蛋白质、脂肪占比。
夕小瑶·2023-12-27 03:27

腾讯发布实体任务规划基准，GPT-4V也频频出错！迈向大模型与物理世界交互！

多模态大型语言模型（MLLM）目前主要通过数字化的方式与信息世界进行交互，涉及自然语言处理、计算机视觉和多模态生成任务等领域。然而，将这些模型引入物理世界时，我们要求它们不仅能够在虚拟环境中执行任务，还要具备理解和参与现实生活场景的能力。从机器人执行物理任务到语言模型在实际环境中规划任务的能力，大型模型与物理世界的交互将为人工智能的发展开辟崭新的篇章。MLLM能够有效整合不同来源的信息，包括实时任
夕小瑶·2023-12-27 03:26

超越GPT-4！谷歌发布最强多模态大模型—Gemini

在MMLU、DROP、HellaSwag、GSM8K等主流评测中，GeminiUltra的能力全面超越了OpenAI的GPT-4和GPT-4V。
RPA中国·2023-12-26 21:01

LLM之RAG实战（七）| 使用llama_index实现多模态RAG

GPT-4V是一个多模态模型，可以接收文本/图像，并可以输出文本响应。最近还有一些其他的多模态模型：LLaVa和Fuyu-8B。在过去的一年里，大部分应用程序开发都是围绕文本输入/文本输出范式。
wshzd·2023-12-23 09:27

清华提出ViLa，揭秘 GPT-4V 在机器人视觉规划中的潜力

人类在面对简洁的语言指令时，可以根据上下文进行一连串的操作。对于“拿一罐可乐”的指令，若可乐近在眼前，下意识的反应会是迅速去拿；而当没看到可乐时，人们会主动去冰箱或储物柜中寻找。这种自适应的能力源于对场景的深刻理解和对广泛常识的运用，使人们能够根据上下文推断和解释指令。举例来说，对于机器人系统，底层指令可能是精确的关节运动或轮速控制。相比之下，高级语言指令可能是描述一个任务或目标，比如“将蓝色的盘
夕小瑶·2023-12-20 13:45

GPT-4V with Emotion:A Zero-shot Benchmark forMultimodal Emotion Understanding

4VwithEmotion:AZero-shotBenchmarkforMultimodalEmotionUnderstandingGPT-4V情感:多模态情感理解的zero-shot基准1.摘要最近，GPT-4视觉系统(GPT
庄园特聘拆椅狂魔·2023-12-19 08:58

使用GPT-4V解决Pycharm设置问题

pycharm如何实现关联，用中文回答在PyCharm中关联PDF文件类型，您可以按照以下步骤操作：1.打开PyCharm设置：点击菜单栏中的“File”（文件），然后选择“Settings”（设置）。2.在设置窗口中，导航到“Editor”（编辑器）部分。3.在“Editor”下面，找到并点击“FileTypes”（文件类型）。4.在“FileTypes”设置中，滚动找到或搜索“PDF”文件类型
Rovy0828·2023-12-17 13:57

GPT-4V被超越？SEED-Bench多模态大模型测评基准更新

技术报告SEED-Bench-1：https://arxiv.org/abs/2307.16125SEED-Bench-2：https://arxiv.org/abs/2311.17092测评数据SEED-Bench-1：https://huggingface.co/datasets/AILab-CVC/SEED-BenchSEED-Bench-2：https://huggingface.co/d
TechBeat人工智能社区·2023-12-17 02:14

GPT4 Vision对于盲人或低视力者将来会成为他们的眼睛直通大脑 还需要解决一些关键问题 骨传导能解决耳聋问题吗？

GPT-4Vision（GPT-4V）对于盲人或低视力者来说，有潜力成为一种重要的辅助工具，但要达到成为他们的“眼睛
小黄人软件·2023-12-15 02:35

GPT-4V 在保险行业的应用

在科技的进步中，人工智能与大数据技术的结合产生了巨大的能量，推动了各行各业的创新与变革。OpenAI，作为全球领先的人工智能研发机构，在今年的9月25日，以一种崭新的方式，升级了其旗下的GPT-4模型。这次的升级，为ChatGPT赋予了语音和图像的能力，为用户提供了更多元化的交互方式，使得ChatGPT不再仅限于文字的交流，而是可以通过语音和图像与用户进行更直观、便捷的交互。ChatGPT的这次升
小文智能·2023-12-14 15:32

GPT-4V 在机器人领域的应用

在科技的浩渺宇宙中，OpenAI如一颗璀璨的星辰，于2023年9月25日，以一种全新的方式，向世界揭示了其最新的人工智能力作——GPT-4V模型。
小文智能·2023-12-14 12:58

看看GPT-4V是怎么开车的，必须围观，大模型真的大有作为 | 万字长文

本报告对最新最先进的状态与技术进行了详尽的评估，并对GPT-4V(ision)进行了介绍，以及其在自动驾驶场景中的应用
365技术文档·2023-12-04 22:00

On the Road with GPT-4V(ision): Early Explorations of Visual-Language Model on Autonomous Driving

自动驾驶技术的追求取决于感知、决策和控制系统的复杂集成。传统方法，无论是数据驱动还是基于规则的，都因其无法理解复杂驾驶环境和其他道路用户的意图而受阻。这一点尤其在开发安全可靠的自动驾驶所需的常识推理和细致场景理解方面是一个重要瓶颈。视觉语言模型（VLM）的出现代表了实现完全自动驾驶的新领域。本报告对最新的VLM——\modelnamefull进行了详尽的评估，并探讨了其在自动驾驶场景中理解、推理和
xwz小王子·2023-11-29 05:47

带着GPT-4V(ision)上路，自动驾驶新探索

OntheRoadwithGPT-4V(ision):EarlyExplorationsofVisual-LanguageModelonAutonomousDrivingGitHub|https://github.com/PJLab-ADG/GPT4V-AD-ExplorationarXiv|https://arxiv.org/abs/2311.05332自动驾驶技术的追求取决于对感知、决策和控制
啥都生·2023-11-29 03:23

用视觉来做Prompt！沈向洋展示IDEA研究院新模型，无需训练或微调，开箱即用

即便是那种GPT-4V都难搞定的数米粒的环节。只需要你手动拉一下框，就能找出所有米粒来。新的目标检测范式，有了！
QbitAl·2023-11-27 09:12

新王加冕，GPT-4V 屠榜视觉问答

本文对MLLM，尤其是近期提出的GPT-4V，从理解、推理和解释等方面进行了综合评估。结果表明，当前开源MLLM的视觉理解能力在很大程度上落后于GPT-4V，尤其
夕小瑶·2023-11-25 01:02

算法实战应用案例精讲-【大模型应用】GPT-4V是怎么开车的

目录1简介1.1动机与概述1.2Guidance2BasicCapabilityofSceneUnderstanding2.1UnderstandingofEnvironment2.2理解交通参与者3高级推理能力3.1CornerCases3.2多视图图像3.3时间序列3.4视觉地图导航4模拟驾驶员的行为4.1在停车场开车4.2交通交叉口转弯4.3在高速公路坡道转弯4.4高速公路合并4.5交通交叉
林聪木·2023-11-24 05:42

草图一键生成静态网页，看看这个开源项目

借助GPT-4V视觉模型，可以轻松的将一张草图生成一个静态页面。现在这已经不是什么稀奇事了。
AI 研习所·2023-11-19 08:08

OpenAI GPT-4视觉API可以玩了，GPT4V，gpt-4-vision-preview，chatgpt

传说中的GPT-4V，终于上线了，虽然还是体验阶段。不过用过OpenAI视觉API的开发者都被惊艳到了。
wgggfiy·2023-11-16 01:44

智谱AI推出第三代基座模型，功能对标GPT-4V，代码解释器随便玩...

衡宇萧箫发自凹非寺量子位|公众号QbitAI国产大模型估值最高创企，为何是智谱AI？仅用4个月时间，这家公司就甩出最新成绩证明了自己——自研大模型ChatGLM3，不止是底层架构，就连模型功能都进行了全方位大升级。性能上，最直观的表现就是“疯狂屠榜”，所有50个大模型公开性能测评数据集中，拿下44个全国第一；产品上，率先搞定了用户关注度MAX的代码解释器功能，能生成甚至直接跑通代码！现在这个新功能
QbitAl·2023-11-16 01:09

gpt-4-turbo、gpt-4v、dall-e-3 api实测！

上周GPT大更新，不仅开放了GPT-4-Turbo、GPT-4-Vision等模型api，还发布了GPTs，使得用户能够根据需要定义自己的GPT应用，OpenAI在这波AI革命上又一次震撼世人。笔者也在上周拿到了几个新模型的api资格，一直盼着可以测试年初就官宣的多模态功能，所以迫不及待的就测了一波。DALL.E3绘图功能测试fromopenaiimportOpenAIclient=OpenAI(
louwill12·2023-11-16 01:08

2.5k的ChatGPT-Java版SDK升级1.1.2-beta0支持GPT-4V、Dall-e-3模型、ToolCalls、微调Job、TTS...

1、项目简介Chatgpt-Java是OpenAI官方Api的JavaSDK，可以快速接入项目使用。支持OpenAI官方全部接口。目前收获将2500+star。开源地址：https://github.com/Grt1228/chatgpt-java官方文档：https://chatgpt-java.unfbx.com/最新版本：1.1.2-beta0com.unfbxchatgpt-java1.1
程序员的黑洞·2023-11-14 08:07

GPT-4V：AI在医疗领域的应用

OpenAI最新发布的GPT-4V模型为ChatGPT增添了语音和图像功能，为用户提供了更多在日常生活中使用ChatGPT的方式。
小文智能·2023-11-07 06:03

微软写了份GPT-4V说明书：166页讲解又全又详细，提示词demo示例一应俱全 | 附下载...

克雷西萧箫发自凹非寺量子位|公众号QbitAI多模态王炸大模型GPT-4V，166页“说明书”重磅发布！而且还是微软团队出品。什么样的论文，能写出166页？
QbitAl·2023-11-06 14:54

ChatGPT升级版本GPT-4V(ision)支持多模态语音和图像

近日，OpenAI发布了名为GPT-4V(ision)的ChatGPT4的多模态语音和图像升级版本。
海天瑞声AI·2023-11-06 14:54

AI界震撼：OpenAI发布GPT-4V，语音图像全能

AI重磅进化：OpenAI发布GPT-4V，语音图像齐飞如果你还没有GPTPLus账号前往：AI意识觉醒|Link3可以领取一个10天左右的GPTPLusOpenAI近期发布的GPT-4V版本引起了广泛关注
GGBOss8·2023-11-06 14:24

GPT-4V：AI在教育领域的应用

OpenAI于9月25日发布了最新的GPT-4V模型，为ChatGPT引入了语音和图像功能，为用户提供更多元化的使用方式。
小文智能·2023-11-06 14:53

别再吹 GPT-4V 了！连北京烤鸭都不认识，你敢信？？

夕小瑶科技说原创作者|智商掉了一地、ZenMooreGPT-4被吹的神乎其神，作为具备视觉能力的GPT-4版本——GPT-4V，也被大众寄于了厚望。
夕小瑶·2023-11-01 12:48
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他