python-41-使用selenium爬取微信公众号下的所有文章列表

文章目录

  • 1 手动操作
    • 1.1 按F12获取链接
    • 1.2 获取Cookie和User-Agent
    • 1.3 爬取文章名称和链接
      • 1.3.1 爬取单个页面的名称列表
      • 1.3.2 爬取所有页面的名称列表
  • 2 自动进入获取链接的页面
    • 2.1 自动获取cookies
    • 2.2 使用cookies
    • 2.3 进入新建图文页面
      • 2.3.1 方式一:自动跳转
      • 2.3.2 方式二:直接拼接URL
    • 2.4 检索公众号
    • 2.5 执行手动操作
  • 3 附录及注意事项
    • 3.1 注意事项
    • 3.2 从给定url中获取指定字段
    • 3.3 参考附录

1 手动操作

1.1 按F12获取链接

准备一个个人公众号,后台获取长期链接。
(1)登录个人公众号,点击内容管理》草稿箱》新的创作》写新图文》点击超链接。
python-41-使用selenium爬取微信公众号下的所有文章列表_第1张图片
(2)选择需要抓取的公众号,按F12获取一个开头为“appmsg”开头的url。
python-41-使用selenium爬取微信公众号下的所有文章列表_第2张图片
(3)解析URL

https://mp.weixin.qq.com/cgi-

你可能感兴趣的:(python3,python,selenium,微信)