github:https://github.com/PiotrDabkowski/Js2Py
在平时爬虫过程中,我们会遇到网站对js文件加密,无法爬取,现在就让我们来了解一下js2py模块,它可以对js文件进行解密。
js2py
,pyexecjs
pip install js2py
快速入门1:
import js2py
# print('hello world')
js2py.eval_js('console.log("hello world")') # 'hello world' 实现print('hello world')
# func_js 为add()函数
func_js = """
function add(a,b){
return a+b
}
"""
add = js2py.eval_js(func_js) # 实现add()函数
print(add(1, 2)) # 3
print(js2py.eval_js('var a = "python";a')) # python
add = js2py.eval_js('function add(a,b){return a + b}')
print(add(2, 3)) # 5
快速入门2:
import js2py
# 1. 创建js环境
context = js2py.EvalJs()
# 2. 定义js函数
add1 = context.execute('function add(x, y){return x+y}')
print(add1) # None
# 3. 调用js函数
result = context.add(10, 20)
print(result) # 30
# 3. 可以定义变量
context.n = {'class': 'Hello World!'}
print(type(context.n)) #
print(context.n) # {'class': 'Hello World!'}
翻译js文件为py文件
# 翻译js文件为py文件
import js2py
print(js2py.translate_js("console.log('hello world')"))
'''
from js2py.pyjs import *
# setting scope
var = Scope(JS_BUILTINS)
set_global_object(var)
# Code follows:
var.registers([])
var.get('console').callprop('log', Js('hello world'))'''
from js2py.pyjs import *
# setting scope
var = Scope(JS_BUILTINS)
set_global_object(var)
# Code follows:
var.registers([])
var.get('console').callprop('log', Js('hello world'))
'''
'hello world'
'''
将js文件翻译成python脚本
(1)新建test.js
文件,编辑内容:console.log(“hello world”)
(2)写代码,并执行
import js2py
# 将js文件翻译成python脚本
js2py.translate_file('test.js', 'test.py')
(3)生成test.py文件,打开执行
__all__ = ['test']
# Don't look below, you will not understand this Python code :) I don't.
from js2py.pyjs import *
# setting scope
var = Scope(JS_BUILTINS)
set_global_object(var)
# Code follows:
var.registers([])
var.get('console').callprop('log', Js('hello world'))
# Add lib to the module scope
test = var.to_python()
'''
'hello world'
'''
示例1
import js2py
# 执行了一个python代码
print('sum:', sum([1, 2, 3])) # sum: 6
context = js2py.EvalJs({'python_sum': sum})
print(context) #
示例2
import js2py
def add(x, y):
return x+y
# 1. 将python翻译成js
context = js2py.EvalJs({"add": add})
# 2. 调用函数
result = context.add(10, 20)
print(type(result)) #
print(result) # 30
# 3. 或者通过 eval 函数调用
result2 = context.eval('add(10, 20)')
print(result2) # 30
示例3
import js2py
# 在js代码中导入Python模块并使用
# 使用pyimport语法
js_code = """
pyimport requests
console.log('导入成功');
var response = requests.get('http://www.baidu.com');
console.log(response.url);
console.log(response.content);
"""
js2py.eval_js(js_code)
'''
'导入成功'
'http://www.baidu.com/'
PyObjectWrapper(b'\r\n \xe7\x99\xbe\xe5\xba\xa6\xe4\xb8\x80\xe4\xb8\x8b\xef\xbc\x8c\xe4\xbd\xa0\xe5\xb0\xb1\xe7\x9f\xa5\xe9\x81\x93 \xe5\x85\xb3\xe4\xba\x8e\xe7\x99\xbe\xe5\xba\xa6 About Baidu
©2017 Baidu \xe4\xbd\xbf\xe7\x94\xa8\xe7\x99\xbe\xe5\xba\xa6\xe5\x89\x8d\xe5\xbf\x85\xe8\xaf\xbb \xe6\x84\x8f\xe8\xa7\x81\xe5\x8f\x8d\xe9\xa6\x88 \xe4\xba\xacICP\xe8\xaf\x81030173\xe5\x8f\xb7
\r\n')
'''
以一段简单的JS脚本(add.js)为例,计算两个数的和。
// JavaScript 示例代码
function add(a, b) {
return a + b;
}
使用 Python 的os.popen
或subprocess
执行 node
命令,执行 JS 脚本。
首先,确保本地已经安装了 Node.js
环境:
node -v
v18.16.1
修改 JS 脚本,新增一个导出函数 init ,方便内部函数被调用:
// JavaScript 示例代码
function add(a, b) {
return a + b;
}
// 新增一个导出函数(node方式)
module.exports.init = function (arg1, arg2) {
// 调用函数,并返回
console.log(add(arg1, arg2));
};
// 调用 init 方法并传递参数
module.exports.init(parseInt(process.argv[3]), parseInt(process.argv[4]));
使用subprocess模拟node.js命令行调用并获取结果:
import subprocess
from loguru import logger
if __name__ == '__main__':
# 使用 subprocess 模块执行 Node.js 命令
result = subprocess.run(["node", "add.js", "init", "3", "5"], capture_output=True, text=True)
# 输出执行结果
logger.info(f"Node.js 执行结果: {result.stdout.strip()}")
PyExecJS 是使用最多的一种方式,底层实现方式是本地 JS 环境下运行 JS 代码,支持的 JS 环境包含:Node.js、PhantomJS 等。
首先第一步安装:
pip install PyExecJS==1.5.1
安装完成之后,即可以使用其调用 JS 脚本:
#! -*-conding=: UTF-8 -*-
from loguru import logger
import execjs
# 定义 JavaScript 代码
# js_code = """
# function add(a, b) {
# return a + b;
# }
# """
if __name__ == '__main__':
# Python 示例代码
js_code = open("add.js", "r", encoding="utf-8").read()
# 使用 PyExecJS 执行 JavaScript 代码
ctx = execjs.compile(js_code)
# 调用 JavaScript 函数,并计算结果
result = ctx.call("add", 3, 5)
logger.info(f"调用 JavaScript 函数的结果为: {result}")
这款工具既能控制浏览器,也能收发数据包,甚至能把两者合而为一。
首先安装依赖库:
pip install DrissionPage==4.0.4.22
执行 JS 脚本:
#! -*-conding=: UTF-8 -*-
from DrissionPage import ChromiumPage
if __name__ == '__main__':
page = ChromiumPage()
# 打开网页
page.get("about:blank")
# 定义 JavaScript 代码
js_code = """
function add(a, b) {
return a + b;
}
"""
# 在当前页面上执行 JavaScript 代码,并传递参数
result = page.run_js(js_code + " return add(8, 5)")
# 输出执行结果
print("JavaScript 执行结果:", result) # JavaScript 执行结果: 13
page.quit()
Playwright 是一个用于 Web 测试和自动化的框架。
首先安装依赖库:
pip install playwright==1.43.0
playwright install # 安装驱动
执行 JS 脚本:
#! -*-conding=: UTF-8 -*-
from playwright.sync_api import sync_playwright
if __name__ == '__main__':
# 启动 Playwright
with sync_playwright() as p:
# 启动 Chromium 浏览器
browser = p.chromium.launch(headless=False)
# 创建新页面
page = browser.new_page()
# 打开网页
page.goto("https://baidu.com")
# 定义 JavaScript 代码
js_code = """
function add(a, b) {
return a + b;
}
"""
page.add_script_tag(content=js_code) # 使用 page.add_script_tag() 方法将其注入到页面中,然后在页面上执行它
# 在当前页面上执行 JavaScript 代码
result = page.evaluate("add(5, 7)")
# 输出执行结果
print("JavaScript 执行结果:", result) # JavaScript 执行结果: 12
# 关闭浏览器
browser.close()
Selenium是一个用于测试网站的自动化测试工具,支持各种浏览器包括 Chrome、Firefox、Safari 等主流界面浏览器和 phantomJS 无界面浏览器。
首先安装依赖库:
pip install selenium==4.20.0
执行 JS 脚本:
#! -*-conding=: UTF-8 -*-
from selenium import webdriver
# 启动 Chrome 浏览器
driver = webdriver.Chrome()
# 打开网页
driver.get("about:blank")
# 定义 JavaScript 代码
js_code = """
function add(a, b) {
return a + b;
}
"""
# 在当前页面上执行 JavaScript 代码,并传递参数
result = driver.execute_script(js_code + " return add(3, 5)")
# 输出执行结果
print("JavaScript 执行结果:", result)
# 关闭浏览器
driver.quit()
类似的自动化工具还有很多,如果只是单纯的调用 JS 脚本,属实有点杀鸡用牛刀的赶jio。
Js2Py 作为一个纯 Python 实现的 JS 解释器,可以完全脱离 JS 环境,直接将 JS 代码转换为 Python 代码。
首先第一步安装:
pip install Js2Py==0.74
调用 JS 脚本:
#! -*-conding=: UTF-8 -*-
from js2py import eval_js
if __name__ == '__main__':
# JavaScript 示例代码
js_code = """
function add(a, b) {
return a + b;
}
"""
# 执行 JavaScript 代码
result = eval_js(js_code + "add(3, 5)")
# 输出执行结果
print("JavaScript 执行结果:", result)
PyMiniRacer 是一个 Python 模块,它提供了一个轻量级、快速且安全的方式来执行 JavaScript 代码,无需借助完整的 V8 引擎或 Node.js 环境。
不知道佬们用的多不多,据说速度比PyExecJS快不少。
直接安装:
pip install py_mini_racer==0.6.0
运行:
#! -*-conding=: UTF-8 -*-
from py_mini_racer import MiniRacer
if __name__ == '__main__':
# 创建 PyMiniRacer 实例
ctx = MiniRacer()
js_code = """
function add(a, b) {
return a + b;
}
"""
# 在 JavaScript 环境中执行代码并传递参数
ctx.eval(js_code)
result = ctx.call("add", 3, 5)
# 输出执行结果
print("JavaScript 执行结果:", result) # JavaScript 执行结果: 8
Python 中执行和调用 JavaScript 代码有多种方法:
每种工具都有其适用的场景和局限性,选择合适的工具取决于具体的需求和项目要求。
参考:https://blog.csdn.net/yangyusir/article/details/116269003
https://www.kancloud.cn/king_om/py_1/2229558
https://zhuanlan.zhihu.com/p/696522768