爬虫过程中获取不到列表页的url

例1：

采集某网站的时候根据网页页面显示的url链接提取的， 最后始终没有数据返回。

主要原因是页面源码中标签的 href 属性值和页面上的不一样。

页面上显示是‘http://www.xxx.org.cn/crs/xhjj/index.jhtml’

源码中显示是‘http://www.xxx.org.cn:80/crs/xhjj/index.jhtml’

对比就发现多了一个80：

所以写正则的时候就一直没有匹配到，不能只看网页，需要在源码中看链接

 

例2：

采集某网站的时候也是根据网页上的信息定位文章内容标签的，

在页面上内容包含在 tr【4】 下面， 用xpath helper也能在页面上显示出来，但是就是打印不出来，

在页面的 tr【3】下面显示的是

<tr>
    <td class="bt_content">
      <div id="zoom" style="text-align:left">
        <meta name="ContentStart">
　　　　div>
　　td>
tr>

原因是在源码中内容是在tr【3】下面显示的， 所以抓取页面信息的时候还是要根据源码来定位。

 

转载于:https://www.cnblogs.com/kenD/p/11243907.html