今天不聊paper,来聊一些现实的问题,AI科研发展?
这大概是后AlphaGo时代AI第一次这么火出圈,AlphaFold2也就是在圈内大家都知道而已,但是这个大家都在玩,但是对于三四月看到DALLE2和Imagen效果的我来说,完全属于意料之中,没有太在意。
ChatGPT发布后,我没有特别的关注,只是当作NLP圈的一个大新闻而已
几个月后,我发现ChatGPT的热度有点夸张了,居然已经出圈到了一个前无古人的程度,一举成为历史上用户突破0.1 trilion最快的APP
二月,我注册了ChatGPT账号,开始使用,一开始并没有感觉有什么不得了的地方,直到我接了别人的毕业论文,我发现用起来真是如鱼得水,我几乎只需要prompt和排版即可。此时我感觉未来已经来了,但是感觉NLP科研还能做?
用RLHF训练的方法也几乎是RL在NLP领域我所知的唯一成功?并且后来的GPT-4主要靠这项技术来提升性能,虽然被Lecun喷,但是我觉得并不重要,它就是强,并且没有什么方法能一步登天。
GPT-4出来的那天,大家早上起床就被他刷屏,纷纷表示要失业了要转行了,我当时熬夜还没有睡觉。大概是早上6点?我看了一下GPT-4的技术报告,但是当时人已经是傻的没有太在意,当时的我并没有理解在律师考试到人类前10%是一个什么概念
第二天,Quora和知乎全是对GPT-4的讨论,我看了很多回答,并看了官方的演示,然后我马上就跟群友们说我转行了,我的科研就是a kinda shit
19号,我升级了自己的账户到PLUS,开始亲自使用GPT-4,效果真的把我狠狠地惊艳到了,我感觉他能做到一切事情,谁能想象这是一个去年八月就训练出来的模型?Open AI到底领先了整个NLP community多少?我不敢想再过几年GPT-5 GPT-6的效果会有多夸张。
GPT-4作为一个multimodal模型,因为还没有开放图文API,很多人还没意识到时代已经不一样了,感觉CV和多模态还能卷一卷?
CV的(大)模型?仅仅有6亿多参数而已,对比NLP大模型只能算小玩具
构造了一个11M大小的高质量数据集,256块A100跑的。
看到这个的时候现在已经是4月6号下午六点,本来以为只是一个普通的模型,但是看到有人说是跟CLIP一个级别的工作,瞬间就来精神了,去知乎看了很多大佬的评论。
大概CV也快死了
有大佬指出,之后只能做一些worst case的工作了,我不太理解这个方向,但是大概可以感受到这个模型的影响力
虽然大模型非常的强,那科研还有能做的方向吗?
我认为传统的刷榜是没什么好做的了,但是会有一些新的方向可以做
以我熟悉的NLP为例,prompt应该还能做文章的,如何发挥大模型能力是可以研究的,如何压缩模型到小参数模型上是可以做的,如何研究可信大模型是可以做的,但是,这些方向会有多少人去卷呢?你就能保证自己脱颖而出吗?
AI科研或许已经死了,大概交给工业界了,至少大模型是的,因为学术界不可能有那么多钱去买显卡。
不过无论如何,AGI的伟大征程,我是一定要参与的。
在考虑转工程方向,智能系统?may be ,may be not
准备把底层的东西好好学一遍了(比如CS61C?),至少目前看起来是不容易被取代的,然后结合一下AI?
还好今天我才大四,希望我们都有光明的前途。