爬虫crawler

抓取标签一些tips:

引用

1. 查找“打印本页”的link，或手机版网页(或者把你的爬虫伪装成移动设备)，他们可能会有更好的html格式
2. 从Javascrpt中查找信息。你应该检查导入的Javascript文件。
3. 关键信息可能就是url本身，这对页面标题更常见
4. 可以通过css文件来获得关联标签

字符编码问题：

引用

1. 90%都是UTF-8编码
2. 大部分时候可以从页面的meta里面发现编码
   例如<meta charset="utf-8" />