最近突然有所松懈，突然间变得好累。早上起不来，上午没精神，下午没体力，晚上没效率。学习的动力似乎突然消失。我怎么了？
似乎是休息方面除了问题，持续一个多月的学习，没有运动过，更别说出去走走，散散心。好不容易来的清明假期，也没有出去玩，我似乎失去了活力、激情。记得当年学习时除了精力不允许时，我总是很活跃，上了大学以后不知怎么了，失去了活力，失去了激情，失去了那种冲动。很怀念那个想什么做什么的我。
不说了，进入正题。接着昨天的文，今天写获取模块，从各大网站上获取代理。
我选了代理66、快代理、旗云代理这三个代理网站，作为代理的来源。
这次我跟着书上做的，遇到了点问题。由于我基础不太好，对与面对对象编程的掌握不到位，并不能理解抽象基类的使用。总之先给代码：
from pyquery import PyQuery as pq
import requests
class ProxyMetaclass(type):
"""定义一个抽象基类，来获取以crawler_开头的方法"""
def __new__(cls, name, bases, attrs):
count = 0
attrs['__CrawlFunc__'] = []
for k, v in attrs.items():
if 'crawl_' in k:
attrs['__CrawlFunc__'].append(k)
count +=1
attrs['__CrawlFuncCount__'] = count
return type.__new__(cls, name, bases, attrs)
class Crawler(object, metaclass=ProxyMetaclass):
"""从各大网站提取代理"""
def get_proxies(self, callback):
"""获取代理
:param callback: 调用的方法名称
:return: 返回得到的代理列表"""
proxies = []
for proxy in eval("self.{}()").format(callback):
print('成功获取到代理', proxy)
proxies.append(proxy)
return proxies
def crawl_daili66(self, page_count=4):
"""从代理66上获取代理
:param page_count:页码
:return: 代理"""
start_url = 'http://www.66ip.cn/{}.html'
urls = [start_url.format(page) for page in range(1, page_count + 1)]
for url in urls:
print('Crawling', url)
html = requests.get(url)
if html:
doc = pq(html.text)
trs = doc('.containerbox table tr:gt(0)').items()
for tr in trs:
ip = tr.find('td:nth-child(1)').text()
port = tr.find('td:nth-child(2)').text()
yield ':'.join([ip, port])
def crawl_kuaidaili(self,page_count=4):
"""从快代理上获取代理
:param page_count:页码
:return: 代理"""
start_url = 'https://www.kuaidaili.com/free/inha/{}/'
urls = [start_url.format(page) for page in range(1, page_count + 1)]
for url in urls:
print('Crawling', url)
html = requests.get(url)
if html.status_code == 200:
doc = pq(html.text)
trs = doc('tbody tr')
for tr in trs:
ip = tr.find('td:nth-child(1)').text()
port = tr.find('td:nth-child(2)').text()
yield ':'.join([ip, port])
def crawl_qiyundaili(self, page_count=4):
"""从旗云代理上获取代理
:param page_count:页码
:return: 代理"""
start_url = 'http://www.qydaili.com/free/?action=china&page={}'
urls = [start_url.format(page) for page in range(1, page_count + 1)]
for url in urls:
print('Crawling', url)
html = requests.get(url)
if html.status_code == 200:
doc = pq(html.text)
trs = doc('tbody tr').items()
for tr in trs:
ip = tr.find('td:nth-child(1)').text()
port = tr.find('td:nth-child(2)').text()
yield ':'.join([ip, port])
首先我定义了一个ProxyMetaclass的元类，也就是抽象基类。这是为了获取所有以‘crawl_’开头的方法定义的，虽然我现在看不懂，但是书上这么说的。
先过这里，下面的三个方法就是我们获取代理的函数。我就不讲了，太简单了。三个页面源码差不多。唯一注意的地方，就是你用的requests还是urllib，这两个源码的烈性不一样，一个要调用text属性，一个要调用read()方法。还有就是pyquery的使用，说实话很好用。我觉的比beautifulsoup好使。
现在不知道怎么了，写完了这个水之又水的文，我就不想学了，想睡了。不行啊!!!
昨天投了6份简历，只有一份被查看了。。。。然后就没然后了。。。。。还是学的不够好，简历也不够吸引人。
我发现所有的书，越写越烂，我看书也是越来越没动力。