「料见」vol25.回顾 | PKU-Beaver开源项目团队:一起来聊首个可复现的RLHF基准

「料见」vol25.回顾 | PKU-Beaver开源项目团队:一起来聊首个可复现的RLHF基准_第1张图片

为了解决复现RLHF技术和基于RLHF技术的大预言模型的不安全问题,北京大学团队开源了名为PKU-Beaver(海狸)开源项目

第25期料见闭门分享会,我“门”非常开心邀请到PKU-Beaver开源项目团队成员——北京大学人工智能研究院助理教授 杨耀东 老师、北京大学在读博士生 吉嘉铭,来与大家分享项目介绍、近期情况,并与线上同学进行QA交流互动。

本次开源SafeRLHF第一轮的20k数据集,如需使用完整数据集,欢迎扫描下方二维码填写申请表。

「料见」vol25.回顾 | PKU-Beaver开源项目团队:一起来聊首个可复现的RLHF基准_第2张图片

在活动的开麦大讨论环节,大家针对RLHF的问题接连不断,我“门”也紧锣密鼓记录下来自PKU-Beaver团队干货满满的问答文字版,稍加编辑整理,呈现给大家~如果希望进一步了解PKU-Beaver团队工作,也欢迎关注项目主页:https://github.com/PKU-Alignment/safe-rlhf

或是添加将门小将(thexiaojiang)微信,加入RLHF交流社群,与更多相关领域小伙伴交流互动!

1. RLHF在数据上需要达到多少的量级,才能对齐人类偏好?

杨耀东(北京大学人工智能研究院助理教授):这个目前没有一个固定的说法。目前根据paper里的一些观点是,它可以使用远小于预训练阶段的数据量。目前预训练的数据量大概都是几百billion的token,无论是我们自己的发现还是做垂直大模型的厂商,我们了解到,对于特定领域,不需要那么大的数据量。

目前大多数人使用RLHF还是希望聚焦在我能否把这个模型变成专业的大模型,也就是想要达到H(Helpful),那几百个billion的token就足够了。对应起来,大概是几百本书的体量规模,就可以达到。但如果想要另两个H(Harmless和Honest),根据我们目前的测试,Harmless至少需要几十万量级的token对应的preference data。

2. RLHF的数据选取有没有什么特殊的地方?是否需要直接采样真实的在线语音助手和用户的对话数据?

杨耀东:RLHF里有三步,第一步是SFT,第二步是reward function learning,第三步是PPO。在数据采集时候收集的prompt还是非常重要的,Facebook的LLaMa大模型发现,如果是非常高质量的prompt,仅用1000条就可以代替RLHF后面两步达到的效果。Prompt非常重要,甚至需要人类标注员的高质量的标注。我们跟产业界的同仁们聊的时候发现,收集真实的在线语音助手和用户对话数据是非常重要的,这也是大家急切开源自己的大模型产品的原因之一。通过收集人类真实数据,然后进行高质量标注,进一步进行RLHF。

3. 人并不需要读取数以亿万计的token就能达到现在的认知水平,那么如何降低大模型成本?包括计算和数据资源?

杨耀东:这个问题非常好,但是没有考虑到的地方是,人本身进化了很久,有很多传承下来的知识,有很多history domain的积累。而大模型是一个人类全新的探索,无法和人脑进行对比。我记忆中人一辈子能看的token数是一个billion,远小于现在大语言模型需要的数据集的数量级水平。

但是大语言模型和人脑认知的关系还没有被研究的那么清晰,我认为也没有必要把大语言模型做成跟人脑一样,以非常低的成本(30、40瓦的水平)来做出非常智能的行为,这个在短期内也并不一定会被实现。但是如何降低大模型成本确实是一个值得思考的问题,类似权重量化等技术,可以帮助你在部署端或微调端以更小的代价,达到更精细的方向上对齐的水平。

4. 如何把除了排序本身以外的排序原因也作为重要反馈信号,反馈回模型进行针对性微调?

杨耀东:这也是个非常好的问题。作为一种高效的对齐模型的算法来说,它本身还是比较粗糙的,并且是比较暴力的——收集人类反馈进行硬对齐。这个技术本身在未来几年内我认为会得到翻天覆地的革新,搜集今年NerulIPS里的文章,大概有700-1000篇文章在做RLHF这件事,这个技术本身会进一步进行提升。新的技术的出现都是在增加、利用intrinsic reward、extrinsic reward,或者是unsupervized behavior learning的方法,来提升preference学习的效率。之前提到的三条技术路线:一条是学policy,一条是学preference function,还有一条是学reward function。如果你有办法去复刻出preference背后的reward的话,我认为reward也能给你更多的信息,至于现在为什么要用preference的原因,是因为从GPT3.5到Chat这一步,主要想要达到类人回答的水平,类人这个事情可能很难以一个具体的公式进行描述,所以会使用preference。但我是相信回来会有更多的反馈信号的,包括内在奖励、外在奖励等等对模型进行微调,甚至还有一些工作是不进行RL,直接拿反馈信号拿来tuning,这些工作都是非常有意义的尝试。

5. 之前,模型参数到一定数量的时候才会出现涌现能力,但是反过来说,我们把一个大模型压缩成为一个小模型之后,涌现能力会不会丢失掉?大模型的小型化或者端侧化的相关方向,有没有未来发展的趋势?

杨耀东:这个我们组没有做,但我纯分享一些个人观点。我认为这个事情是可行的,比方说前些年的“假彩票学说”,就很像是您说的这个观点,用很大的形式训练出模型之后,不代表最有效的表征就是这么大。可以进行量化的方法,最终得到和大模型的效果差不多的小模型。由大到小是可以保持模型的性能的,但是上来直接训练小模型是不可行的。这个和涌现的观点是不相违背的,在技术上是一件非常值得尝试的事情。

6. 随着新技术出现、训练参数的增加,模型能力的上限在哪里?是否会出现超人类的情况出现?

杨耀东:虽然大家都在说大模型,但我个人的观点是:现在的模型还不够大。一,人是有100个trillion的链接,比现在的模型还要大1000倍,这个模型大小的问题,在未来还会有很大发展空间。二,相比于大型科学工程来讲,人类在训练大模型上花的钱还是比较便宜的(相对来看)。所以在把模型变大这个课题上,未来还会出现很多工作,直到我们把世界上所有可以用的数据练完,或者把所有可以调用的算力用完。Anthropic的CEO也曾分享说,未来五到十年,我们会在大模型上看到1000倍的提升。但是能否突破人类的智能,个人看法还是不太可能。因为有一个事情目前还不是很明确,就是大模型目前是怎么做推理的,目前还不具备完整的concept learning的能力。如果这个能力没有的话,离我们真正的人类只能还是会差很多。但在可预期的未来,随着scaling law的发展,还是可以看到可期的增幅空间。

7. 后续会考虑开源中文的数据集吗?

杨耀东:我们目前只是学校的团队,在资金上还不具备开源中文数据集的可能。我们现在做成的事情是把这个背后的pipeline打通了,包括数据的核验,代码的复现等等,我们整个团队不到10人,目前阶段我们对标斯坦福大学Alpaca。中文数据集确实是我们想做的,但中文需要更多的算力、数据标注等等,如果其他公司、机构想做开源的话,我们团队非常乐意把BEAVER项目的这一套经验进行分享,为整个开源社区带来自己的力量。

8. 目前是只在安全上数据上进行训练吗?如果这样的话会不会伤害通用任务的一个性能?

杨耀东:这个问题很重要,如何不去伤害helpful。我们目前是有一些PTX loss这样的机制,就是防止它不要把helpful的能力降低。就这一块的话,HH本质上是互冲的。包括Anthropic他们做的研究显示,helpful和harmless有时候就是会相互影响的。这就是为什么我认为这个trade off能用safeRL能解决好的原因,因为这个算法背后就是一些自适应的调整。但我们肯定也是做了一些quantitive的结果,包括跑了一个big bench等等,这些结果都会release。

9. 您觉得整个中文的评测集,怎么去构建比较好?对大模型整个能力进行评估的时候,有什么用的考虑?

杨耀东:你可以去把我们包括一些其他组织做的这些prompt的数据拿去,进行自我筛查,至少在我们能想到的这些维度上,这些模型的表现大概是怎么样的。然后你可以用GPT4(或者其他大模型)做一个打分,你就大概能感知到目前这个模型的水平大概是什么样的。但我们主要做的是英文的,中文的测评集有清华大学的黄名烈老师的一些工作,你可以关注一下他发布的安全评测的prompt,你可以用起来。

关于moderation API,我们会在6月份把标注的所有的安全数据全部拿来,训练一个moderation的tool出来给大家。

10. 怎么评估数据的多样性和质量?

杨耀东:这个问题非常重要。甚至不在RLHF阶段,就在SFT这个阶段,能构造更高质量的数据确实很重要。我认识到像是MOSS他们在数据多样性上做了非常多的工作。在强化学习领域,尤其是多智能体的强化学习,我们非常关注策略的多样性。比方说你在求解零和博弈的时候,如果策略不多样的话,就很容易被别人打败。多样性的这个维度,包括更科学的多样性的这个评估,我觉得未来会有非常多的研究,慢慢从这个策略多样性到数据端的多样性,或者我直接去衡量这个模型在回答上的这个多样性等等问题。当下很多还是靠工程上的方法进行规避。

11. 无害性数据集的构建,有没有更多经验分享?

杨耀东:一般如果去做Safe的话,一般会想要去做有害数据,因为有害数据会产生cost,或者产生非常低的preference,这样你其实能规避无害变为有害,所以很多时候问题是,反而如何诱导它说出有害的回答,因为现在的模型已经比较安全了,很多问题压根不回答,就过滤掉了,所以你需要做的反而是诱导出有害的问题。这个就需要很多高质量的prompt,能够诱导出它说不好的话的prompt,以及人类的这个标注。也就是你可能对话了两三轮以后,终于经过人类的诱导说出一段不安全的话,你对这个话,可能要进行一个打分。这个反而是一个努力去构建的数据集。大部分你现在标注的这个数据,包括你用人类回答的这个instruction,或者是你用GPT标出来的数据,本身就是高度无害的。因为像是Cloud、GPT,对于安全那一层做的还是蛮严格的,甚至会有些保守。

12. 针对moderation,现在它的建模是类似于OpenAI一样做了一个有监督的多标签分类吗?是在10万数据上建模成一个多标签分类吗?还是有更有效的建模方法?

吉嘉铭(北京大学在读博士生):我们现在标数据是这样的,我们构建了比较多的prompt,后期我们在第一批release的时候,会release2万个会诱导产生一些危害回答的prompt,比如说一些种族歧视、性别歧视、色情内容的言论。我们在做数据标注过程中,对这种prompt进行了多标签分类,这个本身就是一个简单的文本分类任务。我们想测试模型的毒性的话,其实和模型本身吐出的回答有关。我们是针对QA对进行分类的,根据QA对进行moderation。这里的Q是我们构造的Q,A是模型吐出的A。那有的模型,针对当前的问题,可能是安全的回答,也可能是不安全的回答。然后我们把QA对结合起来,看是否是安全的。我们目前只做了一轮的,多轮对话的情况下它可能不是在前面的第一轮、第二轮产生了这种偏见的回答,可能在后面的若干轮产生偏见的回答。这样的话,我们moderation出来之后,比如说我们有13个类,12个类别,每个类别我们塞200个prompt,我们让Alpaca产生对应的回答,通过在特定细粒度下进行约束(色情、歧视、偏见等),看一下他们的QA结合的带有约束的性质,通过这样的方式我们对每个模型的读性进行分析,大概是这样的逻辑。模型大小的话,本身在进行QA分类的话,是需要模型有一些reasoning能力的,我们目前做的是125M和7billion。

大概6月份左右,我们会release文章。

13. 目前的类别可以覆盖到instruct攻击的目标截词吗?

吉嘉铭:GPT,里面第一个机制,通过关键词过滤,比如说你现在在ChatGPT上问一些涉及到黑人歧视的关键词的时候,它是不会给你回答的。第二,以复旦的MOSS举例,本身训练语料,是加入了一个safe的数据集,我问它一个危险性的问题,它也会拒绝回答。有一些网站会公开那些攻击成功的prompt。但是通过上下文来躲避攻击的话,是很难做到的。

如果没有经过RLHF数据集加持的模型,吐出来的可能会有比较危险的言论,这个也是我们做这个初衷。

14. RLHF需要人类标注,对于小公司成本很高,是否有更好泛化能力的工作来做RL的工作?比方说RLAIF等。

杨耀东:这个是可以的。现在有很多self align的工作,大家可以关注一下。尤其是在safe这个问题上,人一定不可能是完全不受控制的。只是用AI去标注的话,很多问题是可以逃逸的。但是AI对于大部分问题我相信已经能符合人类的价值观了,尤其是哪些非常明显的错误。但是用的时候需要小心,一是要注意逃逸问题,二是问题如果太敏感可能会被封号。

15. 介绍一下数据标注的方法论?

杨耀东:数据标注很痛苦。很多炼丹的公司自己就会养数据标注员,不一定会把这项工作外包出去的。我们学校里不一定有能力养这样的团队,所以更多的方法是跟数据标注公司进行合作。那么这个数据标注就要涉及到标注公司的打分系统、打分卡、评判指标,以及验收指标等。这个里面有非常多细节。

16. 如果精调阶段使用大量的安全数据,那么RLHF的收益还有多少?

杨耀东:这是个好问题。如果你精调阶段的数据非常多,你要考虑用SFT是否足够?这个问题非常值得探索。现在有一些非常新的工作是说,如果你大语言模型如果是学了一个非常通用的知识以后,那你其实用一点点SFT数据就能把它调整过来,不一定要对齐,LLaMa就是这么一个例子。但是SFT并不能完全解决3H的问题,毕竟除了我们说的helpless以外,还有幻觉的问题。这个问题来看,目前国内复现RLHF并不是很成功,但是从一些公开的报道和paper里面可以看到,这个方法对于防止幻觉出现还是非常重要的。当然,如果你有高质量的安全数据的话,我相信是可以让你的模型变得非常安全的。

17. RLHF或sate-RLHF可以只通过高效参数微调(如LoRA)实现对齐解决安全问题?还是全量fineture模型参数会更好?

杨耀东:我们团队认为,LoRA技术更适用于类似stable diffusion的东西,对于产品级的可聊天可对话的安全机器人,这个方法可能还是有一些欠缺,因为它毕竟是一个从资源受限角度上考虑出来的一个方法。对于你这个模型的性能方面,我觉得LoRA可能并不是一个非常好的工具。虽然开源的框架里这个有一些不错的效果,但是safe问题上我觉得还是比较困难。

18. 是否有一些理论结果,可以帮助safe-RL训练LLM可以对外推?

杨耀东:首先,我们主页上挂的案例都是可以对外推的,都不是我们traning dataset里面的。第二,theoretical claim 这个东西涉及到了一个机器学习的核心问题,就是你到底能不能做泛化?因为你像我们用的方法论,包括ppo拉格朗日,或者cpo这些方法,还是属于机器学习的方法,拥有泛化性。但是严格来说,未来任何安全问题它都能避免,这个也不一定。但至少在机器人领域,是具有一定的泛化能力的,包括不同的场景、不同环境里的随机因素,这些都能泛化。

-The End-

你可能感兴趣的:(活动上新,人工智能)