客户端浏览器爬虫在爬取动态生成的img元素及动态设置src属性的问题

问题:

1、img元素的onload设置后,设置/修改其src属性不会触发onload回调,因此你无法知道页面中的动态图片什么时候加载完,暂时只能setTimeout 5秒;

2、页面JS捕获了scroll事件以做到延迟加载,这种情况下可以调用img Element的scrollIntoView,但问题是这个API设计得有问题,W3C那帮人就是白痴,照理说应该和ES6 JavaScript的Promise API相互结合起来,否则你不知道一个异步的UI状态改变的调用什么时候真正完成了

3、PhantomJS倒是可以设置clipRect然后截屏,这样重新编码可以把图片内容取出来,纯JS也可以使用canvas元素中转一下,然后取出Blob或者Data URL。但纯JS居然没有一个可以获取图片元素原始数据的方法?!

4、可以假设一个http(s)代理服务器脚本,将所有的图片请求的响应body数据都存储起来。问题是,目前还真没有一个好用的proxy脚本实现,比方说Node.js倒是有一个http-proxy第3方库,但是Node里的Stream支持pipe很方便,想clone则很麻烦。而且IO操作一般都是异步触发+注册回调函数的风格。Python里面虽然有强大的类库,包括产品级别性能的Twisted,可那都是类库形式,居然就没一个好用的demo演示脚本!

5、如果使用假设本地代理服务器来截获保存图片数据的话,则headless浏览器内的JS爬虫需要一种方法获得此数据,为此需要一个一致的命名风格,比如说,基于原始url重新映射为一个本地文件系统的文件名。不过这个转换算法需要仔细考虑。(/、?等特殊字符映射为什么别的字符呢)

6、图片格式的问题,现在Web上可用的图片格式有:jpg、bmp、png、webp、gif、svg。

你可能感兴趣的:(JavaScript,浏览器,爬虫,python,headless)