思考AI科研的未来

今天不聊paper，来聊一些现实的问题，AI科研发展？

Stable Diffusion

这大概是后AlphaGo时代AI第一次这么火出圈，AlphaFold2也就是在圈内大家都知道而已，但是这个大家都在玩，但是对于三四月看到DALLE2和Imagen效果的我来说，完全属于意料之中，没有太在意。

2022年11月30日，ChatGPT发布

ChatGPT发布后，我没有特别的关注，只是当作NLP圈的一个大新闻而已

几个月后，我发现ChatGPT的热度有点夸张了，居然已经出圈到了一个前无古人的程度，一举成为历史上用户突破0.1 trilion最快的APP

二月，我注册了ChatGPT账号，开始使用，一开始并没有感觉有什么不得了的地方，直到我接了别人的毕业论文，我发现用起来真是如鱼得水，我几乎只需要prompt和排版即可。此时我感觉未来已经来了，但是感觉NLP科研还能做？

用RLHF训练的方法也几乎是RL在NLP领域我所知的唯一成功？并且后来的GPT-4主要靠这项技术来提升性能，虽然被Lecun喷，但是我觉得并不重要，它就是强，并且没有什么方法能一步登天。

2023年3月14日，万众期待GPT-4发布

GPT-4出来的那天，大家早上起床就被他刷屏，纷纷表示要失业了要转行了，我当时熬夜还没有睡觉。大概是早上6点？我看了一下GPT-4的技术报告，但是当时人已经是傻的没有太在意，当时的我并没有理解在律师考试到人类前10%是一个什么概念

第二天，Quora和知乎全是对GPT-4的讨论，我看了很多回答，并看了官方的演示，然后我马上就跟群友们说我转行了，我的科研就是a kinda shit

19号，我升级了自己的账户到PLUS，开始亲自使用GPT-4，效果真的把我狠狠地惊艳到了，我感觉他能做到一切事情，谁能想象这是一个去年八月就训练出来的模型？Open AI到底领先了整个NLP community多少？我不敢想再过几年GPT-5 GPT-6的效果会有多夸张。

GPT-4作为一个multimodal模型，因为还没有开放图文API，很多人还没意识到时代已经不一样了，感觉CV和多模态还能卷一卷？

2023年4月5日，SAM正式发布

CV的（大）模型？仅仅有6亿多参数而已，对比NLP大模型只能算小玩具

构造了一个11M大小的高质量数据集，256块A100跑的。

看到这个的时候现在已经是4月6号下午六点，本来以为只是一个普通的模型，但是看到有人说是跟CLIP一个级别的工作，瞬间就来精神了，去知乎看了很多大佬的评论。

大概CV也快死了

有大佬指出，之后只能做一些worst case的工作了，我不太理解这个方向，但是大概可以感受到这个模型的影响力

或许这是CV新时代的开启。

展望

虽然大模型非常的强，那科研还有能做的方向吗？

我认为传统的刷榜是没什么好做的了，但是会有一些新的方向可以做

以我熟悉的NLP为例，prompt应该还能做文章的，如何发挥大模型能力是可以研究的，如何压缩模型到小参数模型上是可以做的，如何研究可信大模型是可以做的，但是，这些方向会有多少人去卷呢？你就能保证自己脱颖而出吗？

AI科研或许已经死了，大概交给工业界了，至少大模型是的，因为学术界不可能有那么多钱去买显卡。

不过无论如何，AGI的伟大征程，我是一定要参与的。

在考虑转工程方向，智能系统？may be ，may be not

准备把底层的东西好好学一遍了（比如CS61C？），至少目前看起来是不容易被取代的，然后结合一下AI？

还好今天我才大四，希望我们都有光明的前途。