python环境搭建
因为我是学iOS的，所以现在所做的环境配置以及编译器的搭建都是基于Mac OS系统所做的搭建
-
- 需要去官网python->download->macOS 下载python最新版3.6
-
- 个人比较喜欢使用pyCharm作为python编译器
python下载地址
pyCharm下载地址 直接点击 [direct link]
python安装库
- 安装插件命令：
$ pip3 install jupyter #（jupyter）是库的名字
- 在命令行行打开插件：
$ jupyter notebook
- 初学者可以看此段大牛自动省略
1. 在打开jupyter之后， New -> Python3 创建一个新的python文件
2. 创建完之后你就可以敲基本的代码了， jupyter当前创建的python文件是支持Markdown语法的， 便于笔记
- 因为我也是初学， 基础语法可以自己寻找资料查看：仿写一个豆瓣小电影爬虫
关注的人查看:
-
- 网页的解析
-
- 网页链接的节点的定位
-
- 数据的保存
import re # 正则表达式
import requests # 请求网络
import math # 构造网页 使用函数ceil(2.5) 返回3
import csv # 保存数据
import time # 限制访问时间
from bs4 import BeautifulSoup # 数据解析
from collections import deque #
# 首先建造一个收集数据的csv文件
path = '/Users/tangwenbin/Desktop/jianshu.csv' # csv存储地址(我的是在本地创建的一个jianshu.csv的文件)
csvFile = open(path,'a+',newline='',encoding='UTF-8') # 编译以及添加到csv中
writer = csv.writer(csvFile) # 写入到csv文件
writer.writerow(('id','name','following','follower','article','articlegroup','word','like')) # 写入的内容
# 全局变量dict用来存储userid与following关注的人数， 后面会用来判断
ID_container = set()
# 用来收集用户网址的队列 ， 这里我们的网址是（id，following）
Deque = deque()
# Python通过re模块提供对正则表达式的支持。使用re的一般步骤是先使用re.compile()函数，
# 将正则表达式的字符串形式编译为Pattern实例，然后使用Pattern实例处理文本并获得匹配结果（一个Match实例），
# 最后使用Match实例获得信息，进行其他的操作。
# 创建初始化函数定义一个类
class Jianshu(object):
def __init__(self):
self.user_url = 'http://www.jianshu.com/users/{userid}/following?page={page}'
# 用户ID与name的匹配规律
self.IdName_pattern = re.compile('(.*?)')
# 用户的关注、粉丝、文章、文集的匹配规律
self.meta1_pattern = re.compile(
'关注 (\d+)粉丝 (\d+)文章 (\d+)文集 (\d+)')
# 用户写的字数，获得的喜欢的匹配模式
self.meta2_pattern = re.compile('写了 (\d+) 字，获得了 (\d+) 个喜欢')
#headers
self.headers = {'Connection':'keep-alive','User-Agent':'Mozilla/5.0(Macintosh; Intel Mac OS X 10.12.4; rv:51.0) Gecko/20100101Firefox/51.0'}
# 发起请求
def creat_request(self, userid, page):
url = self.user_url.format(userid=userid, page=page)
resp = requests.get(url, headers=self.headers).text
return resp
# 解析用户列表
def parse_response(self, resp):
bsObj = BeautifulSoup(resp, 'lxml')
user_List_Container = bsObj.findAll('ul', {'class': 'user-list'})[0]
user_List = user_List_Container.contents
user_List = [str(user) for user in user_List if user != '\n']
return user_List
# 解析单个用户的信息
def parser_user_info(self, user):
Id, Name = re.findall(self.IdName_pattern, user)[0]
try:
followingNum, followerNum, articleNum, articleGroupNum = re.findall(self.meta1_pattern, user)[0]
except:
followingNum, followerNum, articleNum, articleGroupNum = ('', '', '', '')
try:
wordNum, likeNum = re.findall(self.meta2_pattern, user)[0]
except:
wordNum, likeNum = ('', '')
Content = (Id, Name, followingNum, followerNum, articleNum, articleGroupNum, wordNum, likeNum)
writer.writerow(Content)
print(Content)
return Content
def get_userlist(self,userid,following):
ID_container.add((userid,following))
if following != '':
num = int(following) / 10
Page = math.ceil(num) #ceil(1.8)返回2，ceil(27.8)返回28
for page in range(1, Page + 1, 1):
resp = self.creat_request(userid,page)
user_List = self.parse_response(resp)
for user in user_List:
content = self.parser_user_info(user)
Deque.append((content[0],content[2]))
time.sleep(1)
for deq in Deque:
if deq not in ID_container:
self.get_userlist(deq[0],deq[1])
print('hello world')
jianshu = Jianshu().get_userlist('474cab0bba76',52) # 这里增添的是自己的id与关注的人数
- python 之文件写入
// 函数:
os.getcwd() # 使用import os 时; 获取到os所在的地址
os.chdir(r'/Users/phantom_zj/Desktop/python_file') # 修改os地址到自定义地址下
course = open('course.txt','w',encoding='utf8') # 使用open打开函数的时候需要注意几点: 1. 需要写入.xxx文件名, 2. 需要加入写入的方式, 3.需要进行编码方式进行存储
course.write('wozhenshijizhi') # 将数据写入链接
course.close() # 写完后关闭链接
f.writelines(names) #函数是批量写入数据
注意: 在调用write函数之后,数据刽立马写入文件中, 现在数据还是在内存中, 只有调用 close()函数或者flush()函数之后, 内存中的数据才会写入到文件中
- python 之 使用上下文方式存储数据 以及获取数据
// 获取数据
with open('test.txt', 'r', encoding='utf8') as f:
for line in f:
print(line)
// 写入数据
with open('test1.txt', 'w', encoding='utf8') as f:
f.write('hello liuzhanjun \n')
f.write('cheer')
- python 之 元素推导
names = ['tom','tom','tom','tom'] # 元数据
names = [name+'\n' for name in names] # 将元数据遍历出来进行加换行; 返回出新的数组
- python 之 流程控制
if...else... # 同其他编程语言使用方式类似， 如swift等
for...in... # 同其他编程语言使用方式类似， 如swift等
小知识点:
这里我要简单的说一下一个函数 range() 函数:
range() 在输出某个区间的时候，range(1,6) 只是输出1~5的数字， 本身是不包含6的
python中如果要表示输出某个值的平方值入 i 的平方值: 可以直接使用 i ** 2 这种书写方式求平方值， 如果求立方值同理可得
- python 之 转换函数
# 猜数字
while True:
txt = input('请输入一个数字:') # 此函数imput是用来在控制台输入一个值时使用， 默认类型是string类型， 可以墙砖自定义类型等
if txt == 'stop':
break
elif not txt.isdigit(): # isdigit() 函数用来判断一个值是否是基本数据类型
print('您输入的不是数值！！！')
else:
num = int(txt)
if num < 20:
print('您输入的数值太小！！！')
elif num > 20:
print('您输入的数值太大！！！')
else:
print('恭喜您答对了')
- python 之赋值语句注意事项
# python 之 多值赋值处理
a,*b,c = '刘战军你好' # 这里处理的是多值赋值的时候由于变量比字面量少或者多的情况下赋值， 需要进行同时赋值截取方式， 加* 进行测试可以得到
print(a)
print(b)
print(c)
得到的答案 :
# 刘
# ['战', '军', '你']
# 好
- python 之 输入输出注意事项
python之输入输出.png
- python 之 默认参数使用注意
一是必选参数在前， 默认参数在后， 否则Python的解释器会报错
二是如果设置默认参数
当函数有多个参数时，把变化大的参数放前面，变化小的参数放后面。变化小的参数就可以作为默认参数
- python 之递归函数注意事项
使用这种简单的方式进行递归函数的调用操作，这是使用尾递归的方式进行计算的，解决递归调用栈溢出的方法是通过尾递归优化，事实上尾递归和循环的效果是一样的，所以，把循环看成是一种特殊的尾递归函数也是可以的。
__尾递归是指，在函数返回的时候，调用自身本身，并且，return语句不能包含表达式。这样，编译器或者解释器就可以把尾递归做优化，使递归本身无论调用多少次，都只占用一个栈帧，不会出现栈溢出的情况。
__fact(n)函数由于return n * fact(n - 1)引入了乘法表达式，所以就不是尾递归了。要改成尾递归方式，需要多一点代码，主要是要把每一步的乘积传入到递归函数中：
def fact(x):
if x == 1 :
return 1
return x * fact(x - 1)
print(fact(1000))
使用了尾递归的优化方式，栈不会增长，因此，无论多少次调用也不会导致栈溢出。
- python 之 list 或者 tuple 切片操作
切片操作， 就是取list或者tuple中的部分元素
# L = ['jock', 'jenney', 'jack']
print(L[1:3])
# /** ['jenney', 'jack'] */