python爬虫实战：利用pyquery爬取猫眼电影TOP100榜单内容-1
上次使用beautifulsoup 爬取了猫眼电影TOP100，这次利用最近学习的pyquery再次实战了，感觉比bs4比较好用。
下面分享代码如下，欢迎交流。
from pyquery import PyQuery as pq
import requests
import os
import time
begin = time.clock() # 添加程序运行计时功能。
file_path = 'D:\python3.6\scrapy\猫眼' # 定义文件夹，方便后续check文件夹是否存在
file_name = 'maoyan.txt' # 自定义命名文件名称，
file = file_path+'\\'+file_name # 创建文件全地址，方便后续引用
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}
start = "http://maoyan.com/board/4" # 获取url的开始页
flage='?offset=' # url 变化的标志
node='dd' # 目标url 对应html 中目标节点
step=10 # url 变化的步进长度
length=100 # url 变化的max
def create_file(file_path,file): # 定义 检查和创建目标文件夹和文件的函数
if os.path.exists(file_path)== False: # check文件夹不存在
os.makedirs(file_path) # 创建新的自定义文件夹
fp = open(file,'w') # 创建新的自定义文件
# "w" 以写方式打开，只能写文件，如果文件不存在，创建该文件；如果文件已存在，先清空，再打开文件
elif os.path.exists(file_path)== True: # check文件夹存在
with open(file, 'w', encoding='utf-8') as f: # 打开目标文件夹中的文件
f.seek(0)
# f.seek(offset[,where])把文件指针移动到相对于where的offset位置。where为0表示文件开始处，这是默认值 ；1表示当前位置；2表示文件结尾
f.truncate()
#清空文件内容，注意：仅当以 "r+" "rb+" "w" "wb" "wb+"等以可写模式打开的文件才可以执行该功能
create_file(file_path,file)
for n in range(0,length,step): #安装url步进变化爬取每页目标内容， 并存储到本地
dict ={} #创建空字典，用于存储爬取的内容
if n==0: # 获取首页url
url=start
i=n+1 # 自定义 i 表示爬取页数页
else : # 首页以外url定义
url=start+flage+str(n)
i=(n/10)+1
r = requests.get(url,headers=headers) # 获取每页的html
doc=pq(r.text) # 利用ququery类进行解析
page=doc.find(node) # 查找所有node的内容
for data in page.items(): # 遍历该页所有node的内容，并获取对应的目标值，然后写入本地
# print(data,type(data)) # 检验data类型
# print('1'*50)
index = data.children('i').text()
name = data.find('.name').text()
star = data.find('.star').text()
releasetime = data.find('.releasetime').text()
score = data.find('.score').text()
dict['index']=index
dict['name']=name
dict['star']=star
dict['releasetime']=releasetime
dict['score']=score
with open(file, 'a', encoding='utf-8') as f: # 打开目标file文件
f.write(str(dict)+'\n') # 注意添加 换行符 '\n',实现每个dict自动换行写入txt中
print('第%d页爬取完毕!'%(i))
end = time.clock() # 添加程序运行计时功能。
print("爬取完毕，耗时：%f"%(end-begin))