之前谈到用puppeteer无头浏览器来转去腾讯漫画资源（puppeteer爬取腾讯漫画资源），这次给出不借助浏览器，分析获取漫画资源的方法。
先上代码：
module.exports = getInfo;
const evalFunc = 'function Base(){_keyStr="ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/=";this.decode=function(c){var a="",b,d,h,f,g,e=0;for(c=c.replace(/[^A-Za-z0-9\\+\\/\\=]/g,"");e>4,d=(d&15)<<4|f>>2,h=(f&3)<<6|g,a+=String.fromCharCode(b),64!=f&&(a+=String.fromCharCode(d)),64!=g&&(a+=String.fromCharCode(h));return a=_utf8_decode(a)};_utf8_decode=function(c){for(var a="",b=0,d=c1=c2=0;bd?(a+=String.fromCharCode(d),b++):191d?(c2=c.charCodeAt(b+1),a+=String.fromCharCode((d&31)<<6|c2&63),b+=2):(c2=c.charCodeAt(b+1),c3=c.charCodeAt(b+2),a+=String.fromCharCode((d&15)<<12|(c2&63)<<6|c3&63),b+=3);return a}}var B=new Base;DATA=(new Function("return "+B.decode(DATA.substring(1))))();';
function request (options) {
return new Promise((resolve, reject) => {
options.Headers = {
'User-Agent': 'User-Agent:Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
'Referer': options.url,
};
require('request')(options, (err, res) => {
if (err) return reject(err);
resolve(res);
});
});
}
async function getInfo(url) {
const res = await request({url});
let DATA = res.body.match(/var DATA.+?= '(.+?)',/)[1];
eval(evalFunc);
return DATA;
}
getInfo('http://ac.qq.com/ComicView/index/id/505430/cid/893')
.then(info => {
console.log(info);
})
.catch(err => {
console.error(err)
});
输出：
{ comic:
{ id: 505430,
title: '航海王',
collect: '2401957',
isJapanComic: true,
isLightNovel: false,
isLightComic: false,
isFinish: false,
isRoastable: true,
eId: 'KlBPSkJAV1ZQBQIfAQUDAwsJHEleXCg=' },
chapter:
{ cid: 915,
cTitle: '第898话 一定会回去',
cSeq: '898',
vipStatus: 1,
prevCid: 914,
nextCid: 0,
blankFirst: 2,
canRead: true },
picture:
[ { pid: '25517',
width: 822,
height: 1200,
url: 'http://ac.tc.qq.com/store_file_download?buid=15017&uin=1521420441&dir_path=/&name=19_08_47_49d8b179d3b33a174c0a2e88fe694c03_25517.jpg' },
{ pid: '25518',
width: 822,
height: 1200,
url: 'http://ac.tc.qq.com/store_file_download?buid=15017&uin=1521420441&dir_path=/&name=19_08_47_ffce200ae6fd6362d62fc668fee04fda_25518.jpg' },
......
],
ads: ......,
artist:
{ avatar: 'http://thirdqq.qlogo.cn/g?b=sdk&k=hMPm8WLLDbcdk0Vs4epHxA&s=100&t=561',
nick: '翻翻动漫',
uinCrypt: 'V1I5UXB2ZE1wSWhRSVZJYzkweE0rdz09' } }
可见，我们直接拿到了包含多项内容的资源信息，不需要从元素上逐个收集了。
过程：
-
首先，我们打开Chrome开发者工具，看看图片url有没有直接存在于哪个文件里。
image.png
可以看到第一张图很快加载出来了，其url就在主页文件中显式存在。
但是，再找别的图的url就找不到了。 -
第二张图后面才加载出来。可以猜想，第一张是直接给出的，后面的url应该是经过某种处理后才出现。这之间，一定有些js代码执行产生了这些url。
筛出js文件看看：
image.png
就这么几个。
有一种方法容易找到图片url产生的位置，但不总是有效。起码在这里可以。我们可以查看第二张图的请求的Initiator属性：
image.png
看到了请求的初始化位置，就在之前看到的几个js里。直接点击，跳转到代码。 - 跳转到了
ac.page.chapter...那个文件的某个位置如下：
image.png
在文件中搜索imgSrcList的生成位置：
3639行
再向上查找_o的生成位置：
3624行
继续找imgobj：
2487行
看来，各种信息都来源于一个对象：DATA
1900行 - 再找这个DATA的初始化位置，我们发现找不到了。但是可以继续搜索
DATA字符。
然后发现：
image.png
image.png
就在上面，有一个自执行的函数，一看就是加密解密相关的，里面还有DATA字符！
- 分析一下: 里面的eval执行的应该是一段解码后的代码，其中就有DATA的初始化部分。
直接把这个自执行函数拿出来执行一下，发现eval执行的语句里有：
...var B=new Base;DATA=(new Function("return "+B.decode(DATA.substring(1))))();
证实了我们的猜想。 -
DATA是DATA本身处理后的结果，那DATA一定在前面声明过，找吧。前面就一个文件里有js，就是主页文件。果然就有：
主页文件5677行
7、那么，只需要做两件事：
(1) 获取主页面上的DATA变量。
(2) 执行刚才自执行函数
然后我们就得到了解码后的DATA。
这一段js代码，如果要改写为别的语言还很麻烦的。好在我们使用node。这确实是node写爬虫的一大优势：可以直接使用前端代码！
于是，就有了最前面展示的代码，打印的结果就是解码的DATA。