爬虫crawler

抓取标签一些tips:
引用

1. 查找“打印本页”的link,或手机版网页(或者把你的爬虫伪装成移动设备),他们可能会有更好的html格式
2. 从Javascrpt中查找信息。你应该检查导入的Javascript文件。
3. 关键信息可能就是url本身,这对页面标题更常见
4. 可以通过css文件来获得关联标签


字符编码问题:
引用

1. 90%都是UTF-8编码
2. 大部分时候可以从页面的meta里面发现编码
   例如<meta charset="utf-8" />

你可能感兴趣的:(爬虫crawler)