自留备用

  • 本地
          • IDE
          • 创建项目
  • Linux服务器
          • 定时任务
  • python写服务器
  • docker

本地

  • 安装xampps

  • 安装python
    安装python相关支持(数据库啥的,用的时候报错一项一项安装就行)

  • 安装scrapyd

  • 安装scrapyd-client
    查看资料:https://blog.csdn.net/ruoshui_t/article/details/107025586

  • 安裝Crypto 解密使用
    一般安裝完后显示找不见Crypto,找到python\lib\site-packages下的Crypto,把C改为大写C

报错 No module named ‘Crypto.Cipher’”
pip install pycryptodome

IDE
  • python使用PyCharm
  • php使用VSCode
    查看资料:https://blog.csdn.net/ruoshui_t/article/details/106208987
创建项目
  • 创建文件夹
    scrapy startproject wxz 创建文件夹wxz
  • 进入 wxz\wxz>cd spiders
    spiders:是存放你Spider文件,也就是你爬取的py文件
  • 创建爬虫(一个项目可以创建多个)
    scrapy genspider taobaoSpider baidu.com // scrapy genspider 文件名称 需要爬取得域名
  • 运行爬虫
    scrapy crawl maoyanSpider

Linux服务器

默认自带python2 需要安装python3,建议3.6
python2不可删除

服务器使用scrapyd会有问题,因为有两个python版本,
服务器安装程序是全部使用pip3,执行程序使用python3

安装web
安装apache
安装mysql
安装php

apache配置,默认项目在www下(配置文件中有具体路径),如果换目录需要权限
我不会给权限,不会开端口
所以我全给关掉了

关闭权限控制器 使用setenforce 0
关闭关闭防火强 service iptables stop
以上重启无效

定时任务

查看资料:https://blog.csdn.net/ruoshui_t/article/details/107025713

python写服务器

1、安装Django
pip install Django

2、创建项目
django-admin startproject 项目名称

3、创建应用
python manage.py startapp 应用名

4、运行项目
python manage.py runserver 8081

docker

你可能感兴趣的:(CentOS)