简单的Python爬虫抓数据

说实话,大概两个月之前就打算整理一下近期掌握的知识、技能——C++的socket,sql server结合Dreamweaver以及godaddy的个人建站,stm32结合液晶显示,Multisim等的仿真……
一想起这么多东西就觉得头大,这次先把最近一两天写的一个简单的Python爬虫记录一下

承一位朋友之邀,要求统计一下伦敦、里约两届奥运会微博来源情况,是从网页上发微博的多还是用移动客户端的多呢?

对此,我考虑用Python通过正则表达式来实现。

首先在新浪微博上搜索伦敦奥运会,发现每条消息下面总会有
这里写图片描述

右键查看元素(顺便说一下,不管是写网页或者是爬虫哪怕是黑客等等跟网页有关的东西,都推荐装一下firfox随时查看代码什么的,非常方便)如下:
微博 weibo.com

因此决定将pattern写为patternw = r'weibo.com'

通过
h = urllib.request.urlopen(url)
return h.read()

可以实现将页面内容读取为字符串。这样查找整个网页的字符串一一比对,即可找到有多少微博是发自“weibo.com”的。

具体实现代码如下:

#coding=utf-8
#从新浪微博中抓取数据判断新浪客户端的使用情况
#只简单示意,找出了发自网页、iPhone和vivo的数量
#copyright@穆沛

#微博 weibo.com
#晴小编iPhone 6s Plus

import urllib.request
import re

 #将网页转为字符串
def downloadPage(url):
    h = urllib.request.urlopen(url)
    return h.read()

def getData(content):
    content = content.decode('utf-8')
    i = 0
    w = 0
    e = 0
    #来自微博网页的数量
    patternw = r'weibo.com'
    web = re.compile(patternw)
    wurls = re.findall(web, content)
    for url in wurls:
            w += 1
    print("w = %d"%w)

    #来自iPhone的数量
    patterni = r'iPhone'
    iph = re.compile(patterni)
    iurls = re.findall(iph, content)
    for url in iurls:
            i += 1
    print("i = %d"%i)

    #来自vivo的数量
    patterne = r'vivo'
    oth = re.compile(patterne)
    eurls = re.findall(oth, content)
    for url in eurls:
            e += 1
    print("e = %d"%e)


content = downloadPage("http://s.weibo.com/weibo/%E4%BC%A6%E6%95%A6%E5%A5%A5%E8%BF%90%E4%BC%9A")
getData(content)

写的有点简单粗暴,我相信有更好的写法,欢迎与我交流。

你可能感兴趣的:(Python)