Python去除文本中非utf8字符

在处理文档相关项目中，经常会碰到utf8的非法字符，例如用户上传一个文件，系统根据用户文件产生相应结果返回。如果用户文件（utf编码的csv文件）中有utf8的非法字符，需要程序能自动去掉这些字符，因为这些字符也是无意义的。

错误信息：
‘utf-8’ codec can’t decode byte 0xa0 in position 1108 invalid start byte

处理方法：
以byte方法打开文件，忽略掉非utf8字符，然后存入一个临时文件

with open(csv_in_path, 'rb') as csv_in:
    with open(csv_temp_path, "w", encoding="utf-8") as csv_temp:
        for line in csv_in:
            if not line:
                break
            else:
                line = line.decode("utf-8", "ignore")
                csv_temp.write(str(line).rstrip() + '\n')