Web Scraper统计知乎大V文章标题_2.1

  1. 举例
    ①知乎高冷冷主页标题爬取
    ②https://www.zhihu.com/people/gao-leng-leng-61/posts
  2. 打开Web Scraper,F12/网页右键—审查元素
  3. 创建Sitemap
    Web Scraper统计知乎大V文章标题_2.1_第1张图片
  4. 进入lengleng
    Web Scraper统计知乎大V文章标题_2.1_第2张图片
  5. Add new selector,设置selector抓取规则
    ①Select:爬取规则
    ②Element preview:页面查看爬取规则,是否选中
    ③Data preview:查看爬取的具体数据
    ④Multiple:抓取多个
    ⑤Delay:1000~5000值,一般2000ms即可。(新版没有)可以忽略参数
    Web Scraper统计知乎大V文章标题_2.1_第3张图片
  6. 启动抓取程序Scrape
    Web Scraper统计知乎大V文章标题_2.1_第4张图片
    设置时间
    Web Scraper统计知乎大V文章标题_2.1_第5张图片
    start scraping,执行,弹出要爬去的页面,然后执行后,会自动关闭
  7. 查看页面,点击refresh
    Web Scraper统计知乎大V文章标题_2.1_第6张图片
  8. 查看爬出的数据
    Web Scraper统计知乎大V文章标题_2.1_第7张图片
  9. 导出excel的csv文件到电脑
    Web Scraper统计知乎大V文章标题_2.1_第8张图片
  10. 点击Download now!
    Web Scraper统计知乎大V文章标题_2.1_第9张图片
  11. 下载lengleng.csv,打开查看
    ①web-scraper-order:用于排序
    ②web-scraperstart-url:抓取的URL
    ③title:抓取的数据标题
    Web Scraper统计知乎大V文章标题_2.1_第10张图片
  12. 问题
    ①不全
    ②无顺序
    ③没有翻页
  13. 注意
    ①抓取窗口,可以最小化,不可关闭
    ②可以同时执行启动多个Web Scraper爬虫程序
  14. 练习:抓取知乎评论

你可能感兴趣的:(Web,Scraper)