【爬虫】巧用 js2py （附带bug解决）
项目地址： https://github.com/PiotrDabkowski/Js2Py
项目介绍：（根据github）此项目完全用Python编写，支持Python2/3。可以在Python中执行JS代码，并获取JS对象值。
目前支持ES5，ES6仍在测试中。
一句话解释：一个纯Python的JS解释器。
推荐指数：四颗星 （博主用过其他的库如execjs, pyv8，多多少少都没有这个库的功能完备）
安装：pip3 install js2py
本文主要介绍js2py的EvalJs对象，因为它是功能最完备的。
1. 执行简单的JS代码
import js2py
js = """
a =1
b =1
function f(x){
return x*x
}
"""
ctx = js2py.EvalJs() # 初始化context对象
ctx.execute(js) # 执行js
print(ctx.a) # >>1 获取js变量
print(ctx.f(9)) # >>81 执行js函数说明：EvalJs对象支持在同一个上下文中执行多次多段js代码，并能通过属性的方式获取js变量，非常好用。
2. Python与JS对象交互
import js2py
js = """
function f(arg1, arg2){
return arg1+arg2
}
end = f(a,b)
"""
ctx = js2py.EvalJs(context={'a':1, 'b':2}) # 初始化context对象,通过字典形式传入python对象与js交互
ctx.execute(js) # 执行js
print(ctx.end) # 33. 在JS代码中引入外部JS库(需要安装nodejs环境)
import js2py
js = """var path = require('path')
p=path.join('/foo/bar', 'file')
"""
ctx = js2py.EvalJs(enable_require=True) # 开启require功能
ctx.execute(js) # 执行js
print(ctx.p) # /foo/bar/file
js = """p = p+p"""
ctx.execute(js) # 执行js
print(ctx.p) # /foo/bar/file/foo/bar/file关于require在js2py中使用有个bug，会在最后说明。
4. Python与JS混编
CryptoJS = js2py.require('crypto-js')
data = [{'id':1}, {'id':2}]
JSON = js2py.eval_js('JSON')
ciphertext = CryptoJS.AES.encrypt(JSON.stringify(data), 'secret key 123')
bytes = CryptoJS.AES.decrypt(ciphertext.toString(), 'secret key 123')
decryptedData = JSON.parse(bytes.toString(CryptoJS.enc.Utf8)).to_list()
print(decryptedData) # [{'id':1}, {'id':2}]5. 最后
在对js2py这个库的摸索使用中，发现了不少的问题(bug)，发现作者最后一次处理issue是在2018年11月了，超过20个issue未处理，博主也把遇到的问题提了两个上去，不知道能不能收到回复。
博主修复的bug：在windows 10 上使用这个库执行带有require语句的JS代码时遇到的错误
Could not link required node_modules解决：经过反复测试与检查，发现是subprocess库在windows上执行shell命令有bug。具体是这样，在Python包安装路径下的js2py/node_import.py的17行有以下代码：
assert subprocess.call(
'cd %s;npm install babel-core babel-cli babel-preset-es2015 babel-polyfill babelify browserify browserify-shim'
% repr(DIRNAME),
shell=True,
cwd=DIRNAME) == 0, 'Could not link required node_modules'这句代码时在windows上安装js依赖包，在cmd下执行时没有问题的，但是通过subprocess执行就有问题，问题在于subprocess不能正确执行带分号的命令，这就导致在执行require JS语句时一直报这个错，但我估计在linux环境是没有问题的。
修改：
assert subprocess.call(
'npm install babel-core babel-cli babel-preset-es2015 babel-polyfill babelify browserify browserify-shim',
shell=True,
cwd=DIRNAME) == 0, 'Could not link required node_modules'其实这里作者的cd命令是多余的，因为cwd参数已经指定了命令的执行路径，无需再cd进入路径。
除了这里，还要修改这个文件第79行，一样的问题。
最后友情提醒，如果你的环境不能科学上网，你最好修改一下npm的源：
npm config set registry https://registry.npm.taobao.org避免网络问题导致不必要的麻烦，因为执行的JS代码依赖外部库时，这个库会在后台执行npm install操作(仅一次)。
其他：
因为博主也是搞爬虫的，所有有时会用到这样的库，这次就做一下完整的记录，助己助人。
本博客欢迎留言 :)