AIGC自动行为采集的文本分类任务——结和上下文情景自动编码(含数据清洗以及提示词和代码)——批量处理

文章目录

  • 数据清洗
  • 二次清洗数据
  • 上下文情景
  • 顺序应该先处算情境
  • 批量操作excel

数据清洗

遍历python脚本所在目录所有excel文件读取所有文件的‘’标注‘’列,遍历读取这一列每行数据,删除所有数据中不包含:1学生回答问题
2出声思考
3学生举手/提问/建议
4学生获得成就时刻
5学生与家长互动
6家长辅导学生
7家长鼓励学生
8家长批评/惩罚学生
这八条中的数据,如果遇到学生回答问题R1,或者学生回答问题R2 学生回答问题R3,统一替换为学生回答问题。
import os
import pandas as pd

# 定义需要检查的关键词列表
keywords = [
    "学生回答问题",
    "出声思考",
    "学生举手/提问/建议",
    "学生获得成就时刻",
    "学生与家长互动",
    "家长辅导学生",
    "家长鼓励学生",
    "家长批评/惩罚学生"
]

# 处理'标注'列中的数据
def process_annotation(annotation):
    if not isinstance(annotation, str):
        return None
    
    annotation = annotation.replace("学生回答问题R1", "学生回答问题")
    annotation = annotation.re

你可能感兴趣的:(学术学习相关,分类,数据挖掘,人工智能)