MOSS微调数据清洗转换脚本,MOSS微调的便捷小技巧

MOSS微调数据清洗转换脚本

目前市面上的大模型微调开源项目 数据格式都是三段式的,但是不适用于MOSS模型微调,今天给大家分享一个转换脚本


文章目录

  • MOSS微调数据清洗转换脚本
  • 一、原始的数据格式
  • 二、转换后的数据格式
  • 三、数据转换脚本
  • 总结



一、原始的数据格式

MOSS微调数据清洗转换脚本,MOSS微调的便捷小技巧_第1张图片

二、转换后的数据格式

MOSS微调数据清洗转换脚本,MOSS微调的便捷小技巧_第2张图片

三、数据转换脚本

代码如下(示例):

import json

# 读取原始JSON文件(使用UTF-8编码)
with open('原始.json', 'r', encoding='utf-8') as source_file:
    data = json.load(source_file)

# 初始化新的JSON数据列表 
new_data_list = []

# 遍历原始数据并将instruction和output值分别存储到新的JSON数据结构中
for i, item in enumerate(data):
    new_data = {
        "conversation_id": str(i + 1),
        "meta_instruction": "You are an AI assistant...",
        "num_turns": 1,
        "chat": {
            f"turn_1": {
                "Human": item["instruction"] + "\n",
                "Inner Thoughts": "<|Inner Thoughts|>: None\n",
                "Commands": "<|Commands|>: None\n",
                "Tool Responses": "<|Results|>: None\n",
                "MOSS": item["output"] + "\n"
            }
        },
        "category": "advice"
    }
    new_data_list.append(new_data)

# 将新的JSON数据结构写入到新的JSON文件中(使用UTF-8编码)
with open('moss格式的.json', 'w', encoding='utf-8') as new_file:
    json.dump(new_data_list, new_file, ensure_ascii=False, indent=2)


总结

想进入大模型微调,虚拟数字人,声音克隆等最新aigc生成技术讨论群的请私信我,拉你进群,帮助你快速掌握最新的技术,为找工作添砖加瓦

你可能感兴趣的:(chatgpt类对话模型研究,MOSS微调,MOSS训练数据清洗,MOSS微调训练数据转换)