Ubuntu 14.04 64bit上磁力链爬虫dht部署指南
首先声明：
下面的源码包改编来自github上老太太写的一个"史上最简单的DHT爬虫“项目：
https://github.com/laomayi/simDHT
相关源码在附件源码包dht这个文件夹中,这个源码使用python实现,需要使用到mysql数据库.
下面是源码目录下的文件,比较简洁,log文件是刚才运行时创建的.
源码包位于http://download.csdn.net/detail/tao_627/7682169
从dht.py源码我们得知爬虫会将爬取结构输入到mysql中,为此我们先要在mysql中
创建一个bt数据库,在其中创建两个InnoDB数据表bt_main_new,torrentdetail,
数据库的用户名是bt_user,密码是5MKDfxmhmQDbSf,我们可以根据自己的需要在dht.py中的Master类中修改为我们的用户名和密码,为了简单,我这里都改为root好了,
因为搭建LNMP时,我的MySQL用户名和密码就都设为root了.同时将数据库名由bt改为dht.
vim dht.py
修改上述3处地方,改数据库为dht, 用户名和密码为root.
为了后续管理数据库方便,我们可以是Navicat for MySQL linux版本来访问数据库.
create database dht;
use bt;
show tables;
使用dht目录下面的sql脚本来分别创建这两个数据表
source /home/taoyx/program_develop/dht/bt_main_new.sql;
source /home/taoyx/program_develop/dht/TorrentDetail.sql;
exit;
接着安装python下面的MySQL模块
在python环境下面,默认没有安装MySQLdb包,为此下面开始安装.
从官网下面MySQL for Python源码包
wget http://sourceforge.net/projects/mysql-python/files/latest/
或者
git clone https://github.com/farcepest/MySQLdb1.git
从源码编译,详见下面的参考文献.这里不详述了.
或者为了快速方便直接在Ubuntu下面使用
sudo apt-get install python-mysqldb
sudo yum install MySQL-python
然后,在命令行终端开启脚本开始在dht网络中搜集磁力链
python dht.py
下面是软件截图:
当然,这里有些小warning或是error之类的,考虑是demo,可以忽略,因为原理是通的,我们也可以在开源的基础上继续修改完善.
下面是爬取日志记录的infohash值
为了理解dht爬虫原理,下面附了几篇不错的文章,可以结合python代码和dht协议进行理解.
参考文献
[1].http://www.cnblogs.com/rollenholt/archive/2012/05/07/2487137.html
[2].http://blog.csdn.net/samxx8/article/details/6285013
[3].http://blog.csdn.net/wklken/article/details/7271019
[4].http://www.cppblog.com/kevinlynx/archive/2013/05/19/200410.html
[5].http://blog.csdn.net/mergerly/article/details/7989281