微信爬虫（搜狗入口）

1、准备工作
环境配置：

• pyCharm
• python3
• scrapy
• mongoDB服务器一台（或本机）
• 云对象存储（图床）

安装过程不再赘述

2、搜狗搜索公众号
微信搜狗入口
根据公众号ID搜索公众号

search_by_wx_id_url = 'http://weixin.sogou.com/weixin?type=1&s_from=input&query=%s&ie=utf8&_sug_=n&_sug_type_='
url = search_by_wx_id_url % 公众号ID

3、分析公众号首页
公众号首页有两个信息需要收集：公众号信息和文章列表
公众号首页的文章列表是保存在js中的，所以先使用xpath获取该js的代码，然后替换掉首尾

script = response.xpath("//script[@type='text/javascript']")[6].extract()# 获取公众号主页的文章列表
groupIdStart = script.index("""var name=""") + len("""var name=""")
groupIdEnd = script.index("""var msgList""")
#头像
group_url = response.xpath("//span[@class='radius_avatar profile_avatar']/img/@src").extract()[0]
groupIdName = script[groupIdStart:groupIdEnd].replace(";", "").replace('\n', '').replace(' ', '').replace('"','').split('||')

#处理公众号数据
group = GroupItem()
group['group_id'] = groupIdName[0]
group['name'] = groupIdName[1]
profile_desc = response.xpath("//div[@class='profile_desc_value']/node()")
group['desc'] = profile_desc[0].extract()
group['main_body'] = profile_desc[1].extract()
group['logo'] = group_url

# 文章列表
start = script.index("""{"list":[""")
end = script.index("""seajs.use("sougou/profile.js")""")
jsonStr = script[start:end]
jsonStr = jsonStr[0:jsonStr.rindex(";")]
list = json.loads(jsonStr, strict=False)["list"]

4、分析文章详情

print('微信文章详情', response.url)
article = ArticleItem()
# print(response)
article['group_id'] = response.meta['group_id']
article['group_index'] = response.meta['group_index']
article['content'] = response.text.replace('data-src', 'src') #替换data-src为src 暂不使用懒加载
yield article

5、使用打码平台处理验证码

• 使用selenium模拟打开网页

  options = webdriver.ChromeOptions() #使用Chrome 需要下载ChromeDriver自行百度
  options.set_headless() #使用无头模式
  driver = webdriver.Chrome(options=options)
  driver.get(url)
  

• 下载网页截图

   driver.get_screenshot_as_file(screenShotPath) # 获取截图
  

• 获取网页中验证码图片的位置
  使用xpath获取验证码的位置

element = driver.find_element_by_xpath(xpath) # 获取指定元素位置
left = int(element.location['x'])
top = int(element.location['y'])
right = int(element.location['x'] + element.size['width'])
bottom = int(element.location['y'] + element.size['height'])

• 根据验证码图片的坐标截取验证码

im = Image.open(screenShotPath) # 通过Image处理图像
im = im.crop((left, top, right, bottom))

• 发送给打码平台验证
• 找到网页中的输入框输入验证码

elem = driver.find_element_by_name("c") #根据输入框的id/name获取到输入框
elem.clear()
elem.send_keys(code)#输入验证码

• 点击确定继续请求网页

bt = driver.find_element_by_id('submit') #找到确定按钮
bt.send_keys(Keys.ENTER) #确认

这里使用的是 斐斐打码

项目源码整理中