Python中的反射功能有四个主要内置函数提供:
一、需求
1、爬虫有很多任务,有一套自己的框架。任务是由一个映射模块,一一指定映射到业务模块上的。
如图:
2、这样写的话,耦合度很高,代码维护起来也比较麻烦。每添加一个任务,都需要来注册,好不麻烦
3、在这个反射过程中,发现以下几点需要注意
1、Python不像Java的那样,类名和文件名一样。Python需要多一个找包的过程(我也不懂java的反射)
2、知道包在哪个位置,然后在动态的把模块导进来
3、获取业务对象的时候,我目前已知的有两个:使用getattr()获取对象或eval()直接调用
二、实现流程
1、根据配置文件,找到指定的业务模块名。
使用os.walk,找出要业务代码所在的模块
2、使用importlib.import_module(path)
动态导入模块
3、取出模块文件类的业务代码类
import importlib
def gen_task(*args,**kwargs):
module_name = kwargs['task_name']
project_path = kwargs['project_path']
for i in os.walk(project_path):
# i是一个元组,分别是(root,dir,file)
# ('Biz/Script/Progress', [], ['__init__.py', 'CoinProgressBroker.py'])
if f'{module_name}.py' in i[-1]:
module_path = f'{i[0].replace('/', '.')}.{module_name}'
code_package = importlib.import_module(module_path)
# getattr()方法 *************
gen_task_fun = getattr(code_package, module_name)
return gen_task_fun(*args, **kwargs)
# eval()方法
return eval(f'code_package.{modeule_name}(*args, **kwargs)')