一 存储
1.1文件
在Python中,我们可以通过内置函数open来创建对象。
>>>f=open(文件名.方式)
文件名时存在于磁盘中的名字,打开文件的常用方式有:
“r” #读取已经存在的文件
“w” #新建文件,并写入
“a” #如果文件存在,那么写入文件的结尾。如果文件不存在,则新建文件不写入
>>> f= open("test.txt","r") #通过只读的方式,打开一个名为test.txt的文件
通过上面返回的对象,我们可以读取文件
>>> content=f.read(10) #只读取10个字节的数据
>>> content=f.readline() #读取一行
>>>content=f.realines() #读取所有行,储存在列表中,每个元素是一行
如果是以“w”或“a”方式打开,那我们可以写入文本:
f=open("test.txt","w")
f.write("I like apple") #将” I like apple" 写入文件
如果想要写入一行,则需要在字符串末尾加上换行符。
f.write("I like apple\r\n")
打开文件端口将栈用计算机资源,因此读写完成后,应该及时的用文件对象的close方法关闭文件:
f.close()
1.2 上下文管理器
上下文管理器(context manager)用于规定某个对象的使用范围。一旦进入还活着离开该使用范围,则会有特殊操作被调用。上下文管理器可用于文件操作,可以在不需要文件的时候,自动关闭文件。
1.3 pickle 包
1.3.1储存对象
利用Python中的pickle包就可以把对象保存在磁盘上
对象存储分为两步。
第一步,我们将对象在内存中的数据直接抓取出来,,转换成一个有序的文本,即所有序列化(Serialization)
第二步,将文本存入文件。
等到需要时,我们从文件中读出文本,再放入内存,就可以获得原有的对象。
第一步:
第二步:
我们也可以使用dump()的方法,一次完成两步:
1.3.2 读取对象
读取对象于存储对象的过程正好相反。首先,我们从文件中读出文本,然后使用pickle的loads()方法,将上面两步合并。
二 一些关于时间的包
2.1time包
2.1.1 一些时间概念
挂钟时间(Wall Clock Time) :从某个固定时间起点到现在的时间间隔
处理器时间(Processor Clock Time) :CPU的实际运行时间
2.1.2 time包的运用
①time包还定义了struct_time对象
下面几种方法可以将挂钟时间转换为struct_time对象
st=time.gmtime() #返回struct_time格式的UTC时间
st=time.localtime() #返回struct_time格式的当地时间,当地时区根据系统环境决定
②我们亦可以反过来,把一个struct_time对象转换为time对象:
s=time.mktime(st) #将struct_time格式转换为挂钟时间
2.2 datetime包
2.2.1 datetime概念
datetime包是基于time包的一个高级包,用起来更加便利。datetime可以理解为由date 和 time两个部分组成。date是指年、月、日构成的日期,相当于日历。time是指时、分、秒、毫秒构成的一听啊24小时中的具体时间。
2.2.2 datetime包的运用
借助datetime包我们还可以进行时间间隔的运算,它包含一个专门代表时间间隔对象的类,即timedelta。一个datetime.datetime的时间加上一个时间间隔,就可以得到一个新的时间点。
2.3 日期格式
对于包含时间信息的字符串来说,我们可以借助datetime包,把它转换成datetime类的对象
法一:使用strptime方法
法二:使用strftime方法
三 那些看起来像样的东西
3.1 正则表达式
3.1.1 定义
正则表达式(Regular Expression) 的主要功能就是从字符串中通过特定的模式,搜索希望找到的内容。
3.2.1 运用
①在python中可以使用包re来处理正则表达式
除了search的方法外,re包还提供别的搜索方法:
m=re.search(pattern,string) #pattern就是搜索得到的目标,string是搜索范围。搜索整个字符串,直到发现符合的字符串。
m=re.match(pattern,string)#从头开始检查字符串是否符合正则表达式,必须从字符串的第一个字符开始就相符
str=re.sub(pattern,replacement,string) #利用正则pattern在字符串string中进行搜索,对于搜索到的字符串,用另一个字符串replacement进行替换,函数将返回替换后的字符串。
re.split() #根据正则表达式分割字符串,将分割后的所有字符串放在一个表(list)中返回
re.findall() #根据正则表达式搜索字符串,将所有符合条件的字符串放在一个表(list)中返回
3.2.3 正则表达式的常用语法
. #任意的一个字符
a|b #字符a或字符b
[afg] #a或f或g的一个字符
[0-4] #0-4范围内的一个字符
[a-f] #a-f范围内的一个字符
[^m] #不是m的一个字符
\s #一个空格
\S #一个非空格
\d #一个数字,相当于[0-9]
\D #一个非数字,相当于[^0-9]
\w #数字或字母,相当于[0-9a-zA-Z]
\W #非数字或非字母,相当于[^0-9a-zA-Z]
* #重复超过0次或更多次
+#重复1次或超过1次
?#重复0次或1次
{m} #重复m次
{m,n} #重复m次到n次
^ #字符串的起始位置
$ #字符串的结尾位置
3.2.4 进一步提取
content="abcd_output_1994_abcd_1912_abcd"
可以把正则表达式写成: "output_\d{4}" #提取output_1994
output_(\d{4}) #提取1994本身,()可以进一步筛选信息,()是正则表达式的一部分,称为群
其中group(0)是整个正则表达的搜索结果,group(1)是第一个群
我们还可以将群命名,以便更好地使用group查询:
四 python有网瘾
4.1 HTTP 通信简介
HTTP协议是最常见的一种网络协议,即超文本传输协议,能够实现文件,特别是超文本的传输。在互联网时代,它是应用最广的互联网协议之一。
工作方式
1)请求(request)
计算机发出请求会遵照下面的格式:
GET/index.html HTTP/1.1
Host: www.example.com
在请求起始行中有三段信息:
·GET方法,用于说明想要服务器执行的操作
·/index.html 资源的路径
·HTTP/1.1 协议的版本
2)回复(response)
HTTP/1.1 200 OK
Content-type:text/plain
Content-length:12
Hello World!
回复的起始行包含三段信息:
·HTTP/1.1 :协议版本
·200:状态码(status code)
·OK:状态描述
·Content-type:资源类型
·Content-length 说明主体部分的长度,以字节(byte)为单位
·最后一行是回复的主体部分,包含主要的文本数据。
拓展:常见的状态码:200一切OK 302重新定向 404无法找到
常见的资源类型:type/plain:普通文本 type/html:HTML文本 image/jpeg:jpeg图片 image/gif:gif图片
4.2 http.client包
HTTP请求最重要的一些信息就是主机地址、请求方法和资源路径。只要明确这些信息,加上http.client包的宝珠,就可以发出HTTP请求了。
五 写一个爬虫
接下来这段程序,可以自动浏览网页,并从网页上抓取我们想要的信息
如果我们想要提取时间和与度量,且向前在一串文字中,我们可以使用下面的正则表达式: