【data processing】数据爬虫、清洗、合并图片文件夹、裁剪、去除小图和下载错误图像、重命名、去除重复图片等处理
1.爬取指定关键字图片'''爬取指定关键字图片'''importre#正则表达式,解析网页importrequests#请求网页importtracebackimportosdefdowmloadPic(html,keyword,startNum):headers={'user-agent':'Mozilla/5.0'}#浏览器伪装,因为有的网站会反爬虫,通过该headers可以伪装成浏览器访问,