Python初学者遇到的问题及解决方法

用Python开发爬虫程序初学者遇到的问题及解决方法

快速掌握python网络爬虫

爬虫的关键点及问题解决:

核心1:
爬虫开发环境准备:下载安装python3的最新版本、下载安装开发工具pycharm;

下载相关模块并安装,打开cmd 进入python路径下,运行命令:pip install 所需模块

核心2:
爬虫程序开发,使用模拟浏览器功能,需安装相关浏览器和驱动,支持火狐、谷歌、IE等,浏览器驱动需单独下载安装,并添加到环境变量
path里面;注意浏览器驱动和版本必须对应,否则爬虫程序运行会报错。对应版本信息登录驱动官网查询。

核心3:

确定爬虫的网页是动态还是静态页面,两者使用的方法不一样,否则爬不到内容。

核心4:

爬虫元素的定位,可以下载谷歌插件xpath 安装到谷歌浏览器,利用谷歌浏览器,检查功能,查看页面元素,找到相关信息,点击右键选择
复制到xpath,复制路径

核心5:输出到文件,文件输出的方法很多,可以选择简单的用,定义输出列表、创建文件 、写入列表

初学者遇到的问题基本就这几点,更复杂的内容今后再陆续补充。

1

你可能感兴趣的:(开发学习,python,初学者,问题解决)