本节大纲
迭代器
迭代器是访问集合元素的一种方式。迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束。迭代器只能往前不会后退,不过这也没什么,因为人们很少在迭代途中往后退。另外,迭代器的一大优点是不要求事先准备好整个迭代过程中所有的元素。迭代器仅仅在迭代到某个元素时才计算该元素,而在这之前或之后,元素可以不存在或者被销毁。这个特点使得它特别适合用于遍历一些巨大的或是无限的集合,比如几个G的文件
特点:
生成一个迭代器:
1 __author__ = 'Administrator' 2 # *-* coding:utf-8 -*- 3 #生成一个列表 4 name = ['abc','jack','list'] 5 #生成一个迭代器 6 name = iter(['abc','jack','list']) 7 print(name,type(name)) 8 #取第一次 9 print("取第一次",name.__next__()) 10 #取第二次 11 print("取第二次",name.__next__()) 12 #取第三次 13 print("取第三次",name.__next__()) 14 #取第四次 15 print("取第四次",name.__next__()) 16 ----------------------------------------------- 17 输出: 18 <list_iterator object at 0x000000000117EF60> <class 'list_iterator'> 19 取第一次 abc 20 取第二次 jack 21 取第三次 list 22 Traceback (most recent call last): 23 File "F:/python/day4/迭代器.py", line 16, in <module> 24 print("取第四次",name.__next__()) 25 StopIteration
生成器generator
定义:一个函数调用时返回一个迭代器,那这个函数就叫做生成器(generator),如果函数中包含yield语法,那这个函数就会变成生成器
1 def cash_out(amount): 2 while amount >0: 3 amount -= 1 4 yield 1<br> print("擦,又来取钱了。。。败家子!") 5 6 7 8 ATM = cash_out(5) 9 10 print("取到钱 %s 万" % ATM.__next__()) 11 print("花掉花掉!") 12 print("取到钱 %s 万" % ATM.__next__()) 13 print("取到钱 %s 万" % ATM.__next__()) 14 print("花掉花掉!") 15 print("取到钱 %s 万" % ATM.__next__()) 16 print("取到钱 %s 万" % ATM.__next__()) 17 print("取到钱 %s 万" % ATM.__next__()) #到这时钱就取没了,再取就报错了 18 print("取到钱 %s 万" % ATM.__next__())
作用:
这个yield的主要效果呢,就是可以使函数中断,并保存中断状态,中断后,代码可以继续往下执行,过一段时间还可以再重新调用这个函数,从上次yield的下一句开始执行。
另外,还可通过yield实现在单线程的情况下实现并发运算的效果
1 __author__ = 'Administrator' 2 # -*- coding:utf-8 -*- 3 ''' 4 #生成一个列表 5 name = ['abc','jack','list'] 6 #生成一个迭代器 7 name = iter(['abc','jack','list']) 8 print(name,type(name)) 9 #取第一次 10 print("取第一次",name.__next__()) 11 #取第二次 12 print("取第二次",name.__next__()) 13 #取第三次 14 print("取第三次",name.__next__()) 15 16 #取第四次 17 print("取第四次",name.__next__()) 18 ''' 19 ''' 20 def cash_out(amount): 21 while amount >0: 22 amount -= 1 23 yield 1 24 print("擦,又来取钱了。。。败家子!") 25 26 ATM = cash_out(5) 27 28 print("取到钱 %s 万" % ATM.__next__()) 29 print("花掉花掉!") 30 print("取到钱 %s 万" % ATM.__next__()) 31 print("取到钱 %s 万" % ATM.__next__()) 32 print("花掉花掉!") 33 print("取到钱 %s 万" % ATM.__next__()) 34 print("取到钱 %s 万" % ATM.__next__()) 35 print("取到钱 %s 万" % ATM.__next__()) #到这时钱就取没了,再取就报错了 36 print("取到钱 %s 万" % ATM.__next__()) 37 ''' 38 ''' 39 def cash_mony(amount): 40 while amount >0: 41 amount -=100 42 yield 100 43 print("又来取钱了...") 44 atm = cash_mony(500) 45 # print(type(atm)) 46 print(atm.__next__()) 47 print(atm.__next__()) 48 print(atm.__next__()) 49 print(atm.__next__()) 50 print(atm.__next__()) 51 52 ''' 53 import time 54 def consumer(name): 55 print("%s 准备吃包子啦!" %name) 56 while True: 57 baozi = yield 58 59 print("包子[%s]来了,被[%s]吃了!" %(baozi,name)) 60 61 def producer(name): 62 c = consumer('A') 63 c2 = consumer('B') 64 c.__next__() 65 c2.__next__() 66 print("老子开始准备做包子啦!") 67 for i in range(10): 68 time.sleep(1) 69 print("做了2个包子!") 70 c.send(i) 71 c2.send(i) 72 73 #producer("alex")
装饰器
作用:给已经存在的功能扩展新的功能
传统写法:
1 def login(func): 2 def inner(atg): 3 print("passwed user verification...") 4 func(atg) 5 return inner 6 7 8 def home(name): 9 print("Welcome [%s] to home page" % name) 10 def tv(name): 11 print("Welcome [%s] to TV page" %name) 12 13 def movie(name): 14 print("Welcome [%s] to movie page" % name) 15 tv = login(tv) 16 tv(123) 17 print(50*"-+") 18 home = login(home) 19 home(456) 20 print(50*"-+") 21 movie = login(movie) 22 movie(999) 23 24 25 ---------------------------------------------- 26 输出: 27 passwed user verification... 28 Welcome [123] to TV page 29 -------------------------------------------------- 30 passwed user verification... 31 Welcome [456] to home page 32 -------------------------------------------------- 33 passwed user verification... 34 Welcome [999] to movie page
装饰器写法:
1 __author__ = 'Administrator' 2 #-*- coding:utf-8 -*- 3 def login(func): 4 def inner(atg): 5 print("passwed user verification...") 6 func(atg) 7 return inner 8 9 @login 10 def tv(name): 11 print("Welcome [%s] to TV page" %name) 12 tv(123) 13 14 --------------------------------- 15 输出: 16 passwed user verification... 17 Welcome [123] to TV page
实现复杂带多个参数装饰器
1 def login(func): 2 def inner(*atg,**arg): 3 print("passwed user verification...") 4 func(*atg,**arg) 5 return inner 6 7 #装饰器,也可以称之为语法堂 8 #@装饰符 程序已执行就会扫描装饰器并且执行 9 @login 10 def tv(name,passwd=''): 11 print("Welcome [%s] to TV page" %name) 12 tv(123,passwd = 321) 13 -------------------------------------- 14 输出; 15 passwed user verification... 16 Welcome [123] to TV page
装饰器返回值
1 __author__ = 'Administrator' 2 #-*- coding:utf-8 -*- 3 #定义一个装饰器 4 def login(func): 5 def inner(*atg,**arg): 6 print("passwed user verification...") 7 return func(*atg,**arg) 8 return inner 9 10 #装饰器,也可以称之为语法堂 11 #@装饰符 程序已执行就会扫描装饰器并且执行 12 @login 13 def tv(name,passwd=''): 14 print("Welcome [%s] to TV page" %name) 15 return 4 16 t = tv(123,passwd = 321) 17 print(t) 18 ------------------------------------- 19 输出: 20 passwed user verification... 21 Welcome [123] to TV page 22 4
定义一个默认装饰器,然后给装饰器传入函数,因为写一个装饰器的成本要高于写一个函数
#!/usr/bin/env python #coding:utf-8 def Before(request,kargs): print 'before' def After(request,kargs): print 'after' def Filter(before_func,after_func): def outer(main_func): def wrapper(request,kargs): before_result = before_func(request,kargs) if(before_result != None): return before_result; main_result = main_func(request,kargs) if(main_result != None): return main_result; after_result = after_func(request,kargs) if(after_result != None): return after_result; return wrapper return outer @Filter(Before, After) def Index(request,kargs): print 'index'
递归
1 def digui(coun): 2 print(coun) 3 if coun/2 > 1: 4 res = digui(coun/2) 5 print("res:",res) 6 print("None11111:",coun) 7 return coun 8 digui(10) 9 ------------------------ 10 输出: 11 #递归运算过程 12 10 13 5.0 14 2.5 15 @递归运算最终结果 16 1.25 17 #递归运算退出过程,运算过程中就如多少层,退出的时候就会退出多少层, 18 None11111: 1.25 19 res: 1.25 20 None11111: 2.5 21 res: 2.5 22 None11111: 5.0 23 res: 5.0 24 None11111: 10
利用函数编写如下数列:
斐波那契数列指的是这样一个数列 0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233,377,610,987,1597,2584,4181,6765,10946,17711,28657,46368
1 __author__ = 'Administrator' 2 #-*- coding:utf-8 -*- 3 def func(arg1,arg2,stop): 4 if arg1 == 0: 5 print(arg1, arg2) 6 arg3 = arg1 + arg2 7 print(arg3) 8 if arg3 < stop: 9 func(arg2,arg3,stop) 10 print("退出过程:",arg3) 11 12 func(0,1,30) 13 --------------------------------- 14 输出: 15 0 1 16 1 17 2 18 3 19 5 20 8 21 13 22 21 23 34 24 退出过程: 21 25 退出过程: 13 26 退出过程: 8 27 退出过程: 5 28 退出过程: 3 29 退出过程: 2 30 退出过程: 1
二分算法:
二分查找1 __author__ = 'Administrator' 2 #-*- coding:utf-8 -*- 3 def binary_search(data_source,find_n): 4 #定义有多少数据除以2,找到中间值 5 mid = int(len(data_source)/2) 6 if len(data_source) >1: 7 #定义 data_source中的[mid]值如果大于要找的find_n值,就证明要找的值在中间值[mid]的左边 8 if data_source[mid] > find_n: 9 #既然在左边了,然后切片 10 print("data in left of [%s]" % data_source[mid]) 11 #这里的意思是指,从 1到6000000中 的 起始值开始一直到中间值[mid]切片 12 binary_search(data_source[:mid],find_n) 13 #定义 data_source中的[mid]值如果小于要找的find_n值,就证明要找的值在中间值[mid]的右边 14 elif data_source[mid] < find_n: 15 print("data in right of [%s]" % data_source[mid]) 16 #这里的意思是指,从 1到6000000中 的 [mid]中间值开始一直到最后的值切片 17 binary_search(data_source[mid:],find_n) 18 else: 19 #这里表示如果找到了打印如下信息 20 print("found find_s",data_source[mid]) 21 else: 22 #这里表示如果没有找到打印如下信息 23 print("cannot find....") 24 if __name__ == '__main__': 25 #定义一个有序列表,并且设置步长 26 data = list(range(1,6000000,3)) 27 #给函数binary_search 传入上边定义的 有序且带有步长的有序列表,和传入需要找到的数值 28 binary_search(data,65536) 29 -------------------------------------------------------------- 30 data in left of [3000001] 31 data in left of [1500001] 32 data in left of [750001] 33 data in left of [375001] 34 data in left of [187501] 35 data in left of [93751] 36 data in right of [46876] 37 data in left of [70312] 38 data in right of [58594] 39 data in right of [64453] 40 data in left of [67381] 41 data in left of [65917] 42 data in right of [65185] 43 data in left of [65551] 44 data in right of [65368] 45 data in right of [65458] 46 data in right of [65503] 47 data in right of [65527] 48 data in left of [65539] 49 data in right of [65533] 50 found find_s 65536
算法基础
要求:生成一个4*4的2维数组并将其顺时针旋转90度1 __author__ = 'Administrator' 2 #注意这里的写法等同于下面的写法 3 print([i for i in range(10)]) 4 5 print(20*"-") 6 7 #注意这里的写法等同于上面的写法 8 a = [] 9 for i in range(10): 10 a.append(i) 11 print(a) 12 ----------------------------------------------------- 13 输出: 14 [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] 15 -------------------- 16 [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
#生成一个二维数组
w = [[col for col in range(4)] for i in range(4)] for i in w:print(i) ---------------------------- 输出: [0, 1, 2, 3] [0, 1, 2, 3] [0, 1, 2, 3] [0, 1, 2, 3]#旋转90度
__author__ = 'Administrator' #-*- coding:utf-8 -*- array=[[col for col in range(5)] for row in range(5)] #初始化一个4*4数组 #array=[[col for col in 'abcde'] for row in range(5)] for row in array: #旋转前先看看数组长啥样 print(row) print('-------------') for i,row in enumerate(array): for index in range(i,len(row)): tmp = array[index][i] #get each rows' data by column's index array[index][i] = array[i][index] # print(tmp,array[i][index]) #= tmp array[i][index] = tmp for r in array: print(r) print('--one big loop --') ------------------------------------------------------------------------------ 输出: [0, 1, 2, 3, 4] [0, 1, 2, 3, 4] [0, 1, 2, 3, 4] [0, 1, 2, 3, 4] [0, 1, 2, 3, 4] ------------- 0 0 0 1 0 2 0 3 0 4 [0, 0, 0, 0, 0] [1, 1, 2, 3, 4] [2, 1, 2, 3, 4] [3, 1, 2, 3, 4] [4, 1, 2, 3, 4] --one big loop -- 1 1 1 2 1 3 1 4 [0, 0, 0, 0, 0] [1, 1, 1, 1, 1] [2, 2, 2, 3, 4] [3, 3, 2, 3, 4] [4, 4, 2, 3, 4] --one big loop -- 2 2 2 3 2 4 [0, 0, 0, 0, 0] [1, 1, 1, 1, 1] [2, 2, 2, 2, 2] [3, 3, 3, 3, 4] [4, 4, 4, 3, 4] --one big loop -- 3 3 3 4 [0, 0, 0, 0, 0] [1, 1, 1, 1, 1] [2, 2, 2, 2, 2] [3, 3, 3, 3, 3] [4, 4, 4, 4, 4] --one big loop -- 4 4 [0, 0, 0, 0, 0] [1, 1, 1, 1, 1] [2, 2, 2, 2, 2] [3, 3, 3, 3, 3] [4, 4, 4, 4, 4] --one big loop --
正则表达式
语法:import re #导入模块名 p = re.compile("^[0-9]") #生成要匹配的正则对象 , ^代表从开头匹配,[0-9]代表匹配0至9的任意一个数字, 所以这里的意思是对传进来的字符串进行匹配,如果这个字符串的开头第一个字符是数字,就代表匹配上了 m = p.match('14534Abc') #按上面生成的正则对象 去匹配 字符串, 如果能匹配成功,这个m就会有值, 否则m为None<br><br>if m: #不为空代表匹配上了 print(m.group()) #m.group()返回匹配上的结果,此处为1,因为匹配上的是1这个字符<br>else:<br> print("doesn't match.")上面的第2 和第3行也可以合并成一行来写:
m = p.match("^[0-9]",'14534Abc')效果是一样的,区别在于,第一种方式是提前对要匹配的格式进行了编译(对匹配公式进行解析),这样再去匹配的时候就不用在编译匹配的格式,第2种简写是每次匹配的时候 都 要进行一次匹配公式的编译,所以,如果你需要从一个5w行的文件中匹配出所有以数字开头的行,建议先把正则公式进行编译再匹配,这样速度会快点。
匹配格式
模式 描述 ^ 匹配字符串的开头 $ 匹配字符串的末尾。 . 匹配任意字符,除了换行符,当re.DOTALL标记被指定时,则可以匹配包括换行符的任意字符。 [...] 用来表示一组字符,单独列出:[amk] 匹配 'a','m'或'k' [^...] 不在[]中的字符:[^abc] 匹配除了a,b,c之外的字符。 re* 匹配0个或多个的表达式。 re+ 匹配1个或多个的表达式。 re? 匹配0个或1个由前面的正则表达式定义的片段,非贪婪方式 re{ n} re{ n,} 精确匹配n个前面表达式。 re{ n, m} 匹配 n 到 m 次由前面的正则表达式定义的片段,贪婪方式 a| b 匹配a或b (re) G匹配括号内的表达式,也表示一个组 (?imx) 正则表达式包含三种可选标志:i, m, 或 x 。只影响括号中的区域。 (?-imx) 正则表达式关闭 i, m, 或 x 可选标志。只影响括号中的区域。 (?: re) 类似 (...), 但是不表示一个组 (?imx: re) 在括号中使用i, m, 或 x 可选标志 (?-imx: re) 在括号中不使用i, m, 或 x 可选标志 (?#...) 注释. (?= re) 前向肯定界定符。如果所含正则表达式,以 ... 表示,在当前位置成功匹配时成功,否则失败。但一旦所含表达式已经尝试,匹配引擎根本没有提高;模式的剩余部分还要尝试界定符的右边。 (?! re) 前向否定界定符。与肯定界定符相反;当所含表达式不能在字符串当前位置匹配时成功 (?> re) 匹配的独立模式,省去回溯。 \w 匹配字母数字 \W 匹配非字母数字 \s 匹配任意空白字符,等价于 [\t\n\r\f]. \S 匹配任意非空字符 \d 匹配任意数字,等价于 [0-9]. \D 匹配任意非数字 \A 匹配字符串开始 \Z 匹配字符串结束,如果是存在换行,只匹配到换行前的结束字符串。c \z 匹配字符串结束 \G 匹配最后匹配完成的位置。 \b 匹配一个单词边界,也就是指单词和空格间的位置。例如, 'er\b' 可以匹配"never" 中的 'er',但不能匹配 "verb" 中的 'er'。 \B 匹配非单词边界。'er\B' 能匹配 "verb" 中的 'er',但不能匹配 "never" 中的 'er'。 \n, \t, 等. 匹配一个换行符。匹配一个制表符。等 \1...\9 匹配第n个分组的子表达式。 \10 匹配第n个分组的子表达式,如果它经匹配。否则指的是八进制字符码的表达式。
正则表达式常用5种操作
re.match(pattern, string) # 从头匹配
re.search(pattern, string) # 匹配整个字符串,直到找到一个匹配
re.split() # 将匹配到的格式当做分割点对字符串分割成列表
>>>m = re.split("[0-9]", "alex1rain2jack3helen rachel8") >>>print(m)输出: ['alex', 'rain', 'jack', 'helen rachel', '']
re.findall() # 找到所有要匹配的字符并返回列表格式
>>>m = re.findall("[0-9]", "alex1rain2jack3helen rachel8") >>>print(m)<br>输出:['1', '2', '3', '8'] re.sub(pattern, repl, string, count,flag) # 替换匹配到的字符m=re.sub("[0-9]","|", "alex1rain2jack3helen rachel8",count=2 ) print(m)输出:alex|rain|jack3helen rachel8
正则表达式实例
字符匹配
实例 描述 python 匹配 "python". 字符类
实例 描述 [Pp]ython 匹配 "Python" 或 "python" rub[ye] 匹配 "ruby" 或 "rube" [aeiou] 匹配中括号内的任意一个字母 [0-9] 匹配任何数字。类似于 [0123456789] [a-z] 匹配任何小写字母 [A-Z] 匹配任何大写字母 [a-zA-Z0-9] 匹配任何字母及数字 [^aeiou] 除了aeiou字母以外的所有字符 [^0-9] 匹配除了数字外的字符 特殊字符类
实例 描述 . 匹配除 "\n" 之外的任何单个字符。要匹配包括 '\n' 在内的任何字符,请使用象 '[.\n]' 的模式。 \d 匹配一个数字字符。等价于 [0-9]。 \D 匹配一个非数字字符。等价于 [^0-9]。 \s 匹配任何空白字符,包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。 \S 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。 \w 匹配包括下划线的任何单词字符。等价于'[A-Za-z0-9_]'。 \W 匹配任何非单词字符。等价于 '[^A-Za-z0-9_]'。
re.match与re.search的区别
re.match只匹配字符串的开始,如果字符串开始不符合正则表达式,则匹配失败,函数返回None;而re.search匹配整个字符串,直到找到一个匹配。
Regular Expression Modifiers: Option Flags
Regular expression literals may include an optional modifier to control various aspects of matching. The modifiers are specified as an optional flag. You can provide multiple modifiers using exclusive OR (|), as shown previously and may be represented by one of these −
Modifier Description re.I Performs case-insensitive matching. re.L Interprets words according to the current locale. This interpretation affects the alphabetic group (\w and \W), as well as word boundary behavior (\b and \B). re.M Makes $ match the end of a line (not just the end of the string) and makes ^ match the start of any line (not just the start of the string). re.S Makes a period (dot) match any character, including a newline. re.U Interprets letters according to the Unicode character set. This flag affects the behavior of \w, \W, \b, \B. re.X Permits "cuter" regular expression syntax. It ignores whitespace (except inside a set [] or when escaped by a backslash) and treats unescaped # as a comment marker.
几个常见正则例子:
匹配手机号
import re
phone_str = "hey my name is alex, and my phone number is 13651054607, please call me if you are pretty!" phone_str2 = "hey my name is alex, and my phone number is 18651054604, please call me if you are pretty!" m = re.search("(1)([358]\d{9})",phone_str2) if m: print(m.group())匹配IP V4
ip_addr = "inet 192.168.60.223 netmask 0xffffff00 broadcast 192.168.60.255" m = re.search("\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}", ip_addr) print(m.group())分组匹配地址
contactInfo = 'Oldboy School, Beijing Changping Shahe: 010-8343245' match = re.search(r'(\w+), (\w+): (\S+)', contactInfo) #分组 """ >>> match.group(1) 'Doe' >>> match.group(2) 'John' >>> match.group(3) '555-1212' """ match = re.search(r'(?P<last>\w+), (?P<first>\w+): (?P<phone>\S+)', contactInfo) """ >>> match.group('last') 'Doe' >>> match.group('first') 'John' >>> match.group('phone') '555-1212' """匹配email
email = "[email protected] http://www.oldboyedu.com" m = re.search(r"[0-9.a-z]{0,26}@[0-9.a-z]{0,20}.[0-9a-z]{0,8}", email) print(m.group())