福利: 安卓上运行Python爬虫

原文链接： https://my.oschina.net/kcp1104/blog/1612403

1. 安装Termux

在软件市场搜索下载安装即可, 这个软件可以让你把手机当Linux电脑使用, 除了屏幕小点儿.
为了敲命令方便, 建议安装输入法: CodeBoard, 功能键几乎都有了
参考自 安卓手机运行python程序的软件：Termux
注: py是因为用了别名 alias py='python'

2. 安装环境

2.1 安装Python

    pkg update
    pkg upgrade 
    apt update 
    apt upgrade
    apt install python
    pip install bs4  requests 

2.2 安装lxml

    apt install clang     
    apt install libxml2 libxml2-dev libxslt libxslt-dev
    pip install lxml               

下载对应脚本

    apt install git 
    git clone https://github.com/Kuangcp/PythonLearn.git
    cd PythonLearn/learning/Spider/scrpy_learn/55156

• 配置好一个用来存URL的redis数据库
  • 可以是自己远程服务器上
  • 也可以是本地 apt install redis
  • 执行redis-server即可开启服务

运行这两个脚本前先确定redis以及下载目录配置正确, 只有这两个是需要配置的

• 然后就可以直接 py simple.py 或者先 py simple.py -h 先看一下参数说明

  • 就会提示 起始爬取的URL, 例如 http://www.55156.com/gaoqingtaotu/xiuren/204409_22.html
  • 就开始爬取URL了

• 打开 同目录下 的 download.py 配置好下载目录 然后py download.py, 或者直接

    py download.py `pwd`

• 就在脚本旁的目录下不停的下载图片了

为了使用方便, 建议配置别名

vi ~/.bashrc

    alias py='python'
    alias img='py simple_path ' # 替换为simple绝对路径
    alias down='py download_path' # 替换为down绝对路径

或者

    cd 到脚本所在目录然后:
    echo "alias img='python `pwd`/simple.py' " >> ~/.bashrc
    echo "alias down='python `pwd`/download.py `pwd` '" >> ~/.bashrc
    

以后就只要启动termux 然后 img 下载图片url down 下载图片了

又发现一个问题, 因为这个软件的数据是在/data/data/目录下, 而这个目录访问是要 root的, 所以上诉脚本生成别名后, 手动修改为安卓可访问的目录即可

我的手机是 /storge/emulate/0/ 就是存储的根目录

转载于:https://my.oschina.net/kcp1104/blog/1612403