获取隐藏了部分内容的网页源代码,审查元素可以,查看源代码不行。学习python爬虫

  1. 故事背景:最近一个朋友想批量下载“巨潮资讯网”上有关“股票质押的”的PDF,拜托我之后,我想用python写一个爬虫工具。

原网页如下:
http://www.cninfo.com.cn/new/fulltextSearch?notautosubmit=&keyWord=%E8%82%A1%E7%A5%A8%E8%B4%A8%E6%8A%BC

获取隐藏了部分内容的网页源代码,审查元素可以,查看源代码不行。学习python爬虫_第1张图片

  1. 构想:按照之前的Python爬虫入门经验,获取网页源代码,找出下载链接,再下载就ok。
    好!查看网页源代码。。。放置“搜索结果”的这部分网页代码看不到?!这个“深圳万科”只是个示例

获取隐藏了部分内容的网页源代码,审查元素可以,查看源代码不行。学习python爬虫_第2张图片

  1. 但是审查元素的时候是存在的,“何康新能”“永高股份”。。。:

获取隐藏了部分内容的网页源代码,审查元素可以,查看源代码不行。学习python爬虫_第3张图片

  1. 去研究了一下,怎么获得隐藏的网页代码,网上都说什么F12抓包,抓包。。。
    懵逼,我是一个小白啊,能不能来个手把手教学的? 看到两个有用的网页:

https://zhidao.baidu.com/question/1178494981402265499.html
获取隐藏了部分内容的网页源代码,审查元素可以,查看源代码不行。学习python爬虫_第4张图片
https://www.qqjike.com/qqjishu/2018/0124/5500.html
获取隐藏了部分内容的网页源代码,审查元素可以,查看源代码不行。学习python爬虫_第5张图片

  1. 我回到“巨潮资讯网”,F12审查元素 ——> Network ——> XHR ——> F5 reload,看到这几个东西:
    获取隐藏了部分内容的网页源代码,审查元素可以,查看源代码不行。学习python爬虫_第6张图片

  2. 选择这个full?searchxxxxxxxxxx:
    获取隐藏了部分内容的网页源代码,审查元素可以,查看源代码不行。学习python爬虫_第7张图片

  3. 在进入这个网页后,公告栏是请求了另一个url:

Request URL: http://www.cninfo.com.cn/new/fulltextSearch/full?searchkey=%E8%82%A1%E7%A5%A8%E8%B4%A8%E6%8A%BC&sdate=&edate=&isfulltext=false&sortName=pubdate&sortType=desc&pageNum=1

打开它,得到了返回数据,就是想要的“搜索结果”的数据:
获取隐藏了部分内容的网页源代码,审查元素可以,查看源代码不行。学习python爬虫_第8张图片
8. 这个网页先呈现出一个布局界面,核心内容即搜索结果是异步加载的。
以后如果学习了html、JavaScrip等前端知识,再回来把这里的异步加载讲清楚。

你可能感兴趣的:(html5,python,爬虫)