手撕包菜BT搜索引擎带爬虫自动抓取安装

看过网络上各种各样的BT搜索网站,但是最喜欢的还是手撕菜包(bt.shousicaibao.com),目前这个网站好像已经打不开了,也许作者无心经营,但是他(xiaoxia)给我们留下了开源的源码,这是极好的。

目测此源码是基于python+mariadb/mysql写的,django做web服务器,我没有测试过,因为服务器不给力,但是有人给出了搭建方法:

1.linux系统。

2.安装mysql

3.安装python2.7

4.安装pip

 
    
  1. wget https://bootstrap.pypa.io/get-pip.py
  2. python get-pip.py

5.创建job用户并进入/home/job

6.用git来clone源

 
    
  1. git clone https://github.com/78/ssbc.git

7.安装virtualenv

 
    
  1. pip install virtualenv

8.创建环境

 
    
  1. virtualenv ssbc

9.进入ssbc目录

10.启动环境

 
    
  1. source bin/activate

11.安装

 
    
  1. pip install -r requirements.txt

12.修改sphinx.conf里面的mysql信息

13.运行

 
    
  1. echo_supervisord_conf > /etc/supervisord.conf
  2. echo '[include]' >> /etc/supervisord.conf
  3. echo 'files = /home/job/ssbc/super.conf' >> /etc/supervisord.conf
  4. supervisord

如果顺利的话,访问8002端口,可以使用nginx反代到80端口。

你可能感兴趣的:(爬虫与搜索引擎)