Python抓取优酷视频（上）：爬虫使用及数据处理

缘起：

上篇因为工作需要（就是把腾讯新闻copy到单位自己网站上去每天15条更新）所以写了一个抓取腾讯新闻的python小脚本

这次是因为想用手机看youku视频，比如xiaoy的魔兽解说，但是打开浏览器输入game.youku.com的时候，三星9003太不

给力，因而需要一个打开速度快的目录小网站。

思路：

1.数据表设计：

　　id(int),                    //主键自增

　　title(varchar 50),    //速度优先，只需要title，不需要图片

　　href(varchar 50),   //视频播放地址

　　date(varchar 25),  //采集的date中有如“1小时前”，因此也设计成varchar

2.采集函数设计：

　　视频列表页url = http://i.youku.com/u/UMTE0NDEzOTky/videos/order_1_view_1_page_id (id =1,2...)

　　每页视频个数为20，采集内容为title,href,date，优酷的html很规整，因此正则提取很好写，详见代码。

3.采集流程及入库：

　　采用多线程采集，开9个进程，每个进程提取一个列表页20个视频，总共采集180个视频，如果想全站采集的话修改即可。

　　数据库采用mysql，如何使python支持mysql详见Python网站建设，因为是多线程所以在插入数据的时候需要资源锁。

　　关于python多线程thread以及资源锁，可以参照Python模块学习。

代码：

 1 #!/usr/bin/env python

 2 #coding=utf-8

 3 import urllib2

 4 import re

 5 import MySQLdb

 6 import thread

 7 import time

 8 #创建锁，用于访问数据库

 9 lock = thread.allocate_lock()

10 #抓取函数

11 def fetch(id=1,debug=False):

12     urlbase = 'http://i.youku.com/u/UMTE0NDEzOTky/videos/'

13     url = urlbase + 'order_1_view_1_page_' + str(id) + '/'

14     res = urllib2.urlopen(url).read()

15     abstarct = re.compile(r'<ul class="v".*?</ul>',re.DOTALL).findall(res)

16     

17     vid_list = []

18     for i in range(0,len(abstarct)):

19         title = re.compile(r'title="(.*?)"',re.DOTALL).findall(abstarct[i])

20         href = re.compile(r'href="(.*?)"',re.DOTALL).findall(abstarct[i])

21         date = re.compile(r'<span>(.*?)</span>',re.DOTALL).findall(abstarct[i])

22         if debug == True:

23             print title[0]+href[0]+date[0]

24         vid = {

25             'title' : title[0],

26             'href'  : href[0],

27             'date'  : date[0]

28         }

29         vid_list.append(vid)

30     #print thread.get_ident()    

31     return vid_list

32 #插入数据库

33 def insert_db(page):

34     global lock

35     #执行抓取函数

36     vid_date = fetch(page,False)

37     sql = "insert into ykgame (title,href,date) values (%s,%s,%s)"

38     #插入数据，一页20条

39     for i in range(0,len(vid_date)):

40         param = (vid_date[i]['title'],vid_date[i]['href'],

41                     vid_date[i]['date'])

42         lock.acquire() #创建锁

43         cursor.execute(sql,param)

44         conn.commit()

45         lock.release() #释放锁

46                 

47 if __name__ == "__main__":

48     #连接数据库

49     conn = MySQLdb.connect(host="localhost",user="root",

50             passwd="root",db="python_test",charset="utf8")

51     cursor = conn.cursor()

52     conn.select_db('python_test')

53     #创建表

54     sql = "CREATE TABLE IF NOT EXISTS \

55         ykgame(id int PRIMARY KEY AUTO_INCREMENT, title varchar(50), \

56         href varchar(50), date varchar(25))"        

57     cursor.execute(sql)

58     #插入数据库

59     for i in range(1,10):

60         thread.start_new_thread(insert_db,(i,))

61         print '采集中...'

62     time.sleep(3)

63     #关闭数据库

64     cursor.close()

65     conn.close()

说明：

　　urllib2模块：进行网页内容抓取

　　re模块：进行正则表达式提取

　　MySQLdb模块：mysql操作

　　thread模块：多线程操作

　　time模块：time.sleep(3)

遇到的问题：

1.mysql中文乱码：问题比较复杂，通用解决办法如下

　　程序中只要在开头写好：#coding=utf-8

　　连接数据库的时候设置编码方式：conn=MySQLdb.connect(host="127.0.0.1",user="webdb",passwd="web123",db="web",charset="utf8")

      对于采集来的中文字符串，可以编码转换后插入str = str.decode("gbk").encode("utf-8")

 

2.Warning: Data truncated for column 'href' at row 1

　　原因：href 数据库中为 varchar(25)，而实际长度>25

　　解决办法：将href 数库中改为 varchar(50)

 

3.多线程问题：现象混乱有时候无报错，注意事项如下

　　使用相同资源是需要用资源锁，不然出现异常

　　线程处理时间短时，启用线程后加time.sleep(3)

 

下篇预告：使用web.py搭建网站框架