MiniGPT4,开源了。

大家好,我是 Jack。

 

一个月前,我发布过一篇文章,讲解了 GPT4 的发布会。

ChatGPT 的对话能力,想必大家也早已体验过了,无论是文本生成能力,还是写代码的能力,甚至是上下文的关联对话能力,无不一次又一次地震撼着我们。

你还记不记得发布会上,GPT4 的多模态能力,就是输入不仅是可以是文字,还可以是文本和图片。

输入:(看图)手套掉下去会怎样?

输出:它会掉到木板上,并且球会被弹飞。

MiniGPT4,开源了。_第1张图片 甚至画个网站的草图,GPT4 就可以立马生成网站的 HTML 代码。

然而,已经过去一个多月了!OpenAI 至今也没有提供发布会所展示的多模态处理能力!

原本以为还要再等几个月的官方更新,才能体验上这个功能,没想到,我看到了这么一个项目。

该项目名为 MiniGPT-4,是阿卜杜拉国王科技大学的几位博士做的。

最主要的是,完全开源!比如,描述一下这张图片:

MiniGPT4,开源了。_第2张图片

 帮忙写个广告语:

MiniGPT4,开源了。_第3张图片

可以看到,MiniGPT-4 能够支持文本和图片的输入,实现了多模态的输入功能。

GitHub:https://github.com/Vision-CAIR/MiniGPT-4

在线体验:https://minigpt-4.github.io

作者还提供了网页 Demo,可以直接体验:

MiniGPT4,开源了。_第4张图片

MiniGPT-4 是在一些开源大模型基础上训练得到的,fine tune 分为两个阶段,先是在 4 个 A100 上用 500 万图文对训练,然后再用一个一个小的高质量数据集训练,单卡 A100 训练只需要 7 分钟。

MiniGPT4,开源了。_第5张图片

不过目前使用的人数较多,可以错峰使用,或者本地部署一个服务。

MiniGPT4,开源了。_第6张图片

本地部署也不复杂,根据官方教程直接配置环境:

git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4
conda env create -f environment.yml
conda activate minigpt4

然后下载预训练模型:

MiniGPT4,开源了。_第7张图片

输入指令直接运行:

python demo.py --cfg-path eval_configs/minigpt4_eval.yaml

这个过程需要保证有网络,需要下载一些 BLIP 之类的依赖库。

相信不久的将来,不仅仅是可以多模态输入,还可以多模态输出。

我们可以输入:文本、图像、音频、视频

AI 就能根据我们的需求,生成我们需要的文本、图像、音频、甚至是视频。

一起期待一下吧~


最后再送大家一本,帮助我拿到 BAT 等一线大厂 offer 的数据结构刷题笔记,是一位 Google 大神写的,对于算法薄弱或者需要提高的同学都十分受用:

谷歌和BAT大佬的刷题笔记,看完秒杀80%的算法题!

以及我整理的 BAT 算法工程师学习路线,书籍+视频,完整的学习路线和说明,对于想成为算法工程师的,绝对能有所帮助:

我是如何成为算法工程师的,超详细的学习路线

别光收藏,来个赞哦,笔芯~

你可能感兴趣的:(深度学习实战,人工智能,深度学习,算法,python)