开源模型bloomz可以做哪些中文任务?

        Chatgpt很强大,开源的bloomz可以做些什么呢?效果如何?下面使用其70亿参数的模型测试一下效果。

        运行环境:腾讯云P40(24G),deepspeed,transformers

        使用模型:bigscience/bloomz-7b1-mt,支持中文

        推理时GPU占用:14G+

开源模型bloomz可以做哪些中文任务?_第1张图片

1.情感分类-结果是对的

开源模型bloomz可以做哪些中文任务?_第2张图片

 2.实体提取-结果不对

开源模型bloomz可以做哪些中文任务?_第3张图片

3.摘要-效果不佳

开源模型bloomz可以做哪些中文任务?_第4张图片

4.问答提取-效果不佳

开源模型bloomz可以做哪些中文任务?_第5张图片

5.相似问-效果不佳

开源模型bloomz可以做哪些中文任务?_第6张图片

6.翻译-直译?

开源模型bloomz可以做哪些中文任务?_第7张图片

结论:优点是能同时支持多类任务,缺点是效果与chatgpt相差甚远,即便是gpt3与chatgpt也相差甚远。预训练大模型gpt-3+指令微调+人类对齐=chatgpt。

你可能感兴趣的:(人工智能)