python2

sorted()也是一个高阶函数。用sorted()排序的关键在于实现一个映射函数。

函数作为返回值

高阶函数除了可以接受函数作为参数外,还可以把函数作为结果值返回。

我们来实现一个可变参数的求和。通常情况下,求和的函数是这样定义的:

defcalc_sum(*args):ax =0forninargs:        ax = ax + nreturnax

但是,如果不需要立刻求和,而是在后面的代码中,根据需要再计算怎么办?可以不返回求和的结果,而是返回求和的函数:

deflazy_sum(*args):defsum():ax =0forninargs:            ax = ax + nreturnaxreturnsum

当我们调用lazy_sum()时,返回的并不是求和结果,而是求和函数:

>>> f = lazy_sum(1,3,5,7,9)>>> f.sumat0x101c6ed90>

调用函数f时,才真正计算求和的结果:

>>> f()25

在这个例子中,我们在函数lazy_sum中又定义了函数sum,并且,内部函数sum可以引用外部函数lazy_sum的参数和局部变量,当lazy_sum返回函数sum时,相关参数和变量都保存在返回的函数中,这种称为“闭包(Closure)”的程序结构拥有极大的威力。

请再注意一点,当我们调用lazy_sum()时,每次调用都会返回一个新的函数,即使传入相同的参数:

>>> f1 = lazy_sum(1,3,5,7,9)>>> f2 = lazy_sum(1,3,5,7,9)>>> f1==f2False

f1()和f2()的调用结果互不影响。

闭包

注意到返回的函数在其定义内部引用了局部变量args,所以,当一个函数返回了一个函数后,其内部的局部变量还被新函数引用,所以,闭包用起来简单,实现起来可不容易。

另一个需要注意的问题是,返回的函数并没有立刻执行,而是直到调用了f()才执行。我们来看一个例子:

defcount():fs = []foriinrange(1,4):deff():returni*i        fs.append(f)returnfsf1, f2, f3 = count()

在上面的例子中,每次循环,都创建了一个新的函数,然后,把创建的3个函数都返回了。

你可能认为调用f1(),f2()和f3()结果应该是1,4,9,但实际结果是:

>>> f1()9>>> f2()9>>> f3()9

全部都是9!原因就在于返回的函数引用了变量i,但它并非立刻执行。等到3个函数都返回时,它们所引用的变量i已经变成了3,因此最终结果为9。

 返回闭包时牢记一点:返回函数不要引用任何循环变量,或者后续会发生变化的变量。

如果一定要引用循环变量怎么办?方法是再创建一个函数,用该函数的参数绑定循环变量当前的值,无论该循环变量后续如何更改,已绑定到函数参数的值不变:

defcount():deff(j):defg():returnj*jreturng    fs = []foriinrange(1,4):        fs.append(f(i))# f(i)立刻被执行,因此i的当前值被传入f()returnfs

再看看结果:

>>> f1, f2, f3 = count()>>> f1()1>>> f2()4>>> f3()9

缺点是代码较长,可利用lambda函数缩短代码。

当我们在传入函数时,有些时候,不需要显式地定义函数,直接传入匿名函数更方便。

在Python中,对匿名函数提供了有限支持。还是以map()函数为例,计算f(x)=x2时,除了定义一个f(x)的函数外,还可以直接传入匿名函数:

>>>list(map(lambdax:x*x,[1, 2, 3, 4, 5, 6, 7, 8, 9]))[1, 4, 9, 16, 25, 36, 49, 64, 81]

通过对比可以看出,匿名函数lambda x: x * x实际上就是:

deff(x):returnx * x

关键字lambda表示匿名函数,冒号前面的x表示函数参数。

匿名函数有个限制,就是只能有一个表达式,不用写return,返回值就是该表达式的结果。

用匿名函数有个好处,因为函数没有名字,不必担心函数名冲突。此外,匿名函数也是一个函数对象,也可以把匿名函数赋值给一个变量,再利用变量来调用该函数:

>>> f = lambda x: x * x>>> fat0x101c6ef28>>>>f(5)25

同样,也可以把匿名函数作为返回值返回,比如:

defbuild(x, y):returnlambda: x * x + y * y

练习

请用匿名函数改造下面的代码:

# -*- coding: utf-8 -*-

print(L)

由于函数也是一个对象,而且函数对象可以被赋值给变量,所以,通过变量也能调用该函数。

>>> defnow():... print('2015-3-25')...>>> f = now>>> f()2015-3-25

函数对象有一个__name__属性,可以拿到函数的名字:

>>> now.__name__'now'>>> f.__name__'now'

现在,假设我们要增强now()函数的功能,比如,在函数调用前后自动打印日志,但又不希望修改now()函数的定义,这种在代码运行期间动态增加功能的方式,称之为“装饰器”(Decorator)。

本质上,decorator就是一个返回函数的高阶函数。所以,我们要定义一个能打印日志的decorator,可以定义如下:

deflog(func):defwrapper(*args, **kw):print('call %s():'% func.__name__)returnfunc(*args, **kw)returnwrapper

观察上面的log,因为它是一个decorator,所以接受一个函数作为参数,并返回一个函数。我们要借助Python的@语法,把decorator置于函数的定义处:

@logdefnow():print('2015-3-25')

调用now()函数,不仅会运行now()函数本身,还会在运行now()函数前打印一行日志:

>>> now()callnow():2015-3-25

把@log放到now()函数的定义处,相当于执行了语句:

now =log(now)

由于log()是一个decorator,返回一个函数,所以,原来的now()函数仍然存在,只是现在同名的now变量指向了新的函数,于是调用now()将执行新函数,即在log()函数中返回的wrapper()函数。

wrapper()函数的参数定义是(*args, **kw),因此,wrapper()函数可以接受任意参数的调用。在wrapper()函数内,首先打印日志,再紧接着调用原始函数。

如果decorator本身需要传入参数,那就需要编写一个返回decorator的高阶函数,写出来会更复杂。比如,要自定义log的文本:

deflog(text):defdecorator(func):defwrapper(*args, **kw):print('%s %s():'% (text, func.__name__))returnfunc(*args, **kw)returnwrapperreturndecorator

这个3层嵌套的decorator用法如下:

@log('execute')defnow():print('2015-3-25')

执行结果如下:

>>> now()execute now():2015-3-25

和两层嵌套的decorator相比,3层嵌套的效果是这样的:

>>> now = log('execute')(now)

我们来剖析上面的语句,首先执行log('execute'),返回的是decorator函数,再调用返回的函数,参数是now函数,返回值最终是wrapper函数。

以上两种decorator的定义都没有问题,但还差最后一步。因为我们讲了函数也是对象,它有__name__等属性,但你去看经过decorator装饰之后的函数,它们的__name__已经从原来的'now'变成了'wrapper':

>>> now.__name__'wrapper'

因为返回的那个wrapper()函数名字就是'wrapper',所以,需要把原始函数的__name__等属性复制到wrapper()函数中,否则,有些依赖函数签名的代码执行就会出错。

不需要编写wrapper.__name__ = func.__name__这样的代码,Python内置的functools.wraps就是干这个事的,所以,一个完整的decorator的写法如下:

importfunctoolsdeflog(func):@functools.wraps(func)defwrapper(*args, **kw):print('call %s():'% func.__name__)returnfunc(*args, **kw)returnwrapper

或者针对带参数的decorator:

importfunctoolsdeflog(text):defdecorator(func):@functools.wraps(func)defwrapper(*args, **kw):print('%s %s():'% (text, func.__name__))returnfunc(*args, **kw)returnwrapperreturndecorator

import functools是导入functools模块。模块的概念稍候讲解。现在,只需记住在定义wrapper()的前面加上@functools.wraps(func)即可。

Python的functools模块提供了很多有用的功能,其中一个就是偏函数(Partial function)。要注意,这里的偏函数和数学意义上的偏函数不一样。

在介绍函数参数的时候,我们讲到,通过设定参数的默认值,可以降低函数调用的难度。而偏函数也可以做到这一点。举例如下:

int()函数可以把字符串转换为整数,当仅传入字符串时,int()函数默认按十进制转换:

>>>int('12345')12345

但int()函数还提供额外的base参数,默认值为10。如果传入base参数,就可以做N进制的转换:

>>>int('12345', base=8)5349>>>int('12345',16)74565

假设要转换大量的二进制字符串,每次都传入int(x, base=2)非常麻烦,于是,我们想到,可以定义一个int2()的函数,默认把base=2传进去:

defint2(x, base=2):returnint(x, base)

这样,我们转换二进制就非常方便了:

>>> int2('1000000')64>>> int2('1010101')85

functools.partial就是帮助我们创建一个偏函数的,不需要我们自己定义int2(),可以直接使用下面的代码创建一个新的函数int2:

>>> importfunctools>>> int2 = functools.partial(int, base=2)>>> int2('1000000')64>>> int2('1010101')85

所以,简单总结functools.partial的作用就是,把一个函数的某些参数给固定住(也就是设置默认值),返回一个新的函数,调用这个新函数会更简单。

注意到上面的新的int2函数,仅仅是把base参数重新设定默认值为2,但也可以在函数调用时传入其他值:

>>> int2('1000000', base=10)1000000

最后,创建偏函数时,实际上可以接收函数对象、*args和**kw这3个参数,当传入:

int2 =functools.partial(int, base=2)

实际上固定了int()函数的关键字参数base,也就是:

int2('10010')

相当于:

kw = {'base':2}int('10010', **kw)

当传入:

max2 =functools.partial(max,10)

实际上会把10作为*args的一部分自动加到左边,也就是:

max2(5, 6, 7)

相当于:

args = (10, 5, 6, 7)

max(*args)

结果为10。

在计算机程序的开发过程中,随着程序代码越写越多,在一个文件里代码就会越来越长,越来越不容易维护。

为了编写可维护的代码,我们把很多函数分组,分别放到不同的文件里,这样,每个文件包含的代码就相对较少,很多编程语言都采用这种组织代码的方式。在Python中,一个.py文件就称之为一个模块(Module)。

使用模块有什么好处?

最大的好处是大大提高了代码的可维护性。其次,编写代码不必从零开始。当一个模块编写完毕,就可以被其他地方引用。我们在编写程序的时候,也经常引用其他模块,包括Python内置的模块和来自第三方的模块。

使用模块还可以避免函数名和变量名冲突。相同名字的函数和变量完全可以分别存在不同的模块中,因此,我们自己在编写模块时,不必考虑名字会与其他模块冲突。但是也要注意,尽量不要与内置函数名字冲突。点这里查看Python的所有内置函数。

你也许还想到,如果不同的人编写的模块名相同怎么办?为了避免模块名冲突,Python又引入了按目录来组织模块的方法,称为包(Package)。

举个例子,一个abc.py的文件就是一个名字叫abc的模块,一个xyz.py的文件就是一个名字叫xyz的模块。

现在,假设我们的abc和xyz这两个模块名字与其他模块冲突了,于是我们可以通过包来组织模块,避免冲突。方法是选择一个顶层包名,比如mycompany,按照如下目录存放:

mycompany

├─ __init__.py

├─ abc.py

└─ xyz.py

引入了包以后,只要顶层的包名不与别人冲突,那所有模块都不会与别人冲突。现在,abc.py模块的名字就变成了mycompany.abc,类似的,xyz.py的模块名变成了mycompany.xyz。

请注意,每一个包目录下面都会有一个__init__.py的文件,这个文件是必须存在的,否则,Python就把这个目录当成普通目录,而不是一个包。__init__.py可以是空文件,也可以有Python代码,因为__init__.py本身就是一个模块,而它的模块名就是mycompany。

类似的,可以有多级目录,组成多级层次的包结构。比如如下的目录结构:

mycompany

├─ web

│  ├─ __init__.py

│  ├─ utils.py

│  └─ www.py

├─ __init__.py

├─ abc.py

└─ utils.py

文件www.py的模块名就是mycompany.web.www,两个文件utils.py的模块名分别是mycompany.utils和mycompany.web.utils。

 自己创建模块时要注意命名,不能和Python自带的模块名称冲突。例如,系统自带了sys模块,自己的模块就不可命名为sys.py,否则将无法导入系统自带的sys模块。

mycompany.web也是一个模块,请指出该模块对应的.py文件。

ython本身就内置了很多非常有用的模块,只要安装完毕,这些模块就可以立刻使用。

我们以内建的sys模块为例,编写一个hello的模块:

#!/usr/bin/env python3# -*- coding: utf-8 -*-' a test module '__author__ ='Michael Liao'importsysdeftest():args = sys.argviflen(args)==1:        print('Hello, world!')eliflen(args)==2:        print('Hello, %s!'% args[1])else:        print('Too many arguments!')if__name__=='__main__':    test()

第1行和第2行是标准注释,第1行注释可以让这个hello.py文件直接在Unix/Linux/Mac上运行,第2行注释表示.py文件本身使用标准UTF-8编码;

第4行是一个字符串,表示模块的文档注释,任何模块代码的第一个字符串都被视为模块的文档注释;

第6行使用__author__变量把作者写进去,这样当你公开源代码后别人就可以瞻仰你的大名;

以上就是Python模块的标准文件模板,当然也可以全部删掉不写,但是,按标准办事肯定没错。

后面开始就是真正的代码部分。

你可能注意到了,使用sys模块的第一步,就是导入该模块:

importsys

导入sys模块后,我们就有了变量sys指向该模块,利用sys这个变量,就可以访问sys模块的所有功能。

sys模块有一个argv变量,用list存储了命令行的所有参数。argv至少有一个元素,因为第一个参数永远是该.py文件的名称,例如:

运行python3 hello.py获得的sys.argv就是['hello.py'];

运行python3 hello.py Michael获得的sys.argv就是['hello.py', 'Michael]。

最后,注意到这两行代码:

if__name__=='__main__':test()

当我们在命令行运行hello模块文件时,Python解释器把一个特殊变量__name__置为__main__,而如果在其他地方导入该hello模块时,if判断将失败,因此,这种if测试可以让一个模块通过命令行运行时执行一些额外的代码,最常见的就是运行测试。

我们可以用命令行运行hello.py看看效果:

$ python3 hello.pyHello, world!$ python hello.pyMichaelHello,Michael!

如果启动Python交互环境,再导入hello模块:

$python3Python3.4.3(v3.4.3:9b73f1c3e601,Feb23 2015, 02:52:03)[GCC 4.2.1 (Apple Inc. build 5666) (dot 3)]ondarwinType"help", "copyright", "credits"or"license"formoreinformation.>>>importhello>>>

导入时,没有打印Hello, word!,因为没有执行test()函数。

调用hello.test()时,才能打印出Hello, word!:

>>> hello.test()Hello, world!

作用域

在一个模块中,我们可能会定义很多函数和变量,但有的函数和变量我们希望给别人使用,有的函数和变量我们希望仅仅在模块内部使用。在Python中,是通过_前缀来实现的。

正常的函数和变量名是公开的(public),可以被直接引用,比如:abc,x123,PI等;

类似__xxx__这样的变量是特殊变量,可以被直接引用,但是有特殊用途,比如上面的__author__,__name__就是特殊变量,hello模块定义的文档注释也可以用特殊变量__doc__访问,我们自己的变量一般不要用这种变量名;

类似_xxx和__xxx这样的函数或变量就是非公开的(private),不应该被直接引用,比如_abc,__abc等;

之所以我们说,private函数和变量“不应该”被直接引用,而不是“不能”被直接引用,是因为Python并没有一种方法可以完全限制访问private函数或变量,但是,从编程习惯上不应该引用private函数或变量。

private函数或变量不应该被别人引用,那它们有什么用呢?请看例子:

def_private_1(name):return'Hello, %s'% namedef_private_2(name):return'Hi, %s'% namedefgreeting(name):iflen(name) >3:return_private_1(name)else:return_private_2(name)

我们在模块里公开greeting()函数,而把内部逻辑用private函数隐藏起来了,这样,调用greeting()函数不用关心内部的private函数细节,这也是一种非常有用的代码封装和抽象的方法,即:

外部不需要引用的函数全部定义成private,只有外部需要引用的函数才定义为public。

在Python中,安装第三方模块,是通过包管理工具pip完成的。

如果你正在使用Mac或Linux,安装pip本身这个步骤就可以跳过了。

如果你正在使用Windows,请参考安装Python一节的内容,确保安装时勾选了pip和Add python.exe to Path。

在命令提示符窗口下尝试运行pip,如果Windows提示未找到命令,可以重新运行安装程序添加pip。

注意:Mac或Linux上有可能并存Python 3.x和Python 2.x,因此对应的pip命令是pip3。

例如,我们要安装一个第三方库——Python Imaging Library,这是Python下非常强大的处理图像的工具库。不过,PIL目前只支持到Python 2.7,并且有年头没有更新了,因此,基于PIL的Pillow项目开发非常活跃,并且支持最新的Python 3。

一般来说,第三方库都会在Python官方的pypi.python.org网站注册,要安装一个第三方库,必须先知道该库的名称,可以在官网或者pypi上搜索,比如Pillow的名称叫Pillow,因此,安装Pillow的命令就是:

pip install Pillow

耐心等待下载并安装后,就可以使用Pillow了。

安装常用模块

在使用Python时,我们经常需要用到很多第三方库,例如,上面提到的Pillow,以及MySQL驱动程序,Web框架Flask,科学计算Numpy等。用pip一个一个安装费时费力,还需要考虑兼容性。我们推荐直接使用Anaconda,这是一个基于Python的数据处理和科学计算平台,它已经内置了许多非常有用的第三方库,我们装上Anaconda,就相当于把数十个第三方模块自动安装好了,非常简单易用。

可以从Anaconda官网下载GUI安装包,安装包有500~600M,所以需要耐心等待下载。网速慢的同学请移步国内镜像。下载后直接安装,Anaconda会把系统Path中的python指向自己自带的Python,并且,Anaconda安装的第三方模块会安装在Anaconda自己的路径下,不影响系统已安装的Python目录。

安装好Anaconda后,重新打开命令行窗口,输入python,可以看到Anaconda的信息:

┌────────────────────────────────────────────────────────┐

│Command Prompt - python                          - □ x │

├────────────────────────────────────────────────────────┤

│Microsoft Windows [Version 10.0.0]                      │

│(c) 2015 Microsoft Corporation. All rights reserved.    │

│                                                        │

│C:\> python                                            │

│Python 3.6.3 |Anaconda, Inc.| ... on win32              │

│Type "help", ... for more information.                  │

│>>> import numpy                                        │

│>>> _                                                  │

│                                                        │

│                                                        │

│                                                        │

└────────────────────────────────────────────────────────┘

可以尝试直接import numpy等已安装的第三方模块。

模块搜索路径

当我们试图加载一个模块时,Python会在指定的路径下搜索对应的.py文件,如果找不到,就会报错:

>>> import mymoduleTraceback (most recentcalllast):  File"", line1,inImportError:Nomodulenamed mymodule

默认情况下,Python解释器会搜索当前目录、所有已安装的内置模块和第三方模块,搜索路径存放在sys模块的path变量中:

>>> importsys>>> sys.path['','/Library/Frameworks/Python.framework/Versions/3.6/lib/python36.zip','/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6', ...,'/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages']

如果我们要添加自己的搜索目录,有两种方法:

一是直接修改sys.path,添加要搜索的目录:

>>> importsys>>> sys.path.append('/Users/michael/my_py_scripts')

这种方法是在运行时修改,运行结束后失效。

第二种方法是设置环境变量PYTHONPATH,该环境变量的内容会被自动添加到模块搜索路径中。设置方式与设置Path环境变量类似。注意只需要添加你自己的搜索路径,Python自己本身的搜索路径不受影响。

面向对象编程——Object Oriented Programming,简称OOP,是一种程序设计思想。OOP把对象作为程序的基本单元,一个对象包含了数据和操作数据的函数。

面向过程的程序设计把计算机程序视为一系列的命令集合,即一组函数的顺序执行。为了简化程序设计,面向过程把函数继续切分为子函数,即把大块函数通过切割成小块函数来降低系统的复杂度。

而面向对象的程序设计把计算机程序视为一组对象的集合,而每个对象都可以接收其他对象发过来的消息,并处理这些消息,计算机程序的执行就是一系列消息在各个对象之间传递。

在Python中,所有数据类型都可以视为对象,当然也可以自定义对象。自定义的对象数据类型就是面向对象中的类(Class)的概念。

我们以一个例子来说明面向过程和面向对象在程序流程上的不同之处。

假设我们要处理学生的成绩表,为了表示一个学生的成绩,面向过程的程序可以用一个dict表示:

std1 ={ 'name': 'Michael', 'score':98}std2 ={ 'name': 'Bob', 'score':81}

而处理学生成绩可以通过函数实现,比如打印学生的成绩:

defprint_score(std):print('%s: %s'% (std['name'], std['score']))

如果采用面向对象的程序设计思想,我们首选思考的不是程序的执行流程,而是Student这种数据类型应该被视为一个对象,这个对象拥有name和score这两个属性(Property)。如果要打印一个学生的成绩,首先必须创建出这个学生对应的对象,然后,给对象发一个print_score消息,让对象自己把自己的数据打印出来。

classStudent(object):def__init__(self, name, score):self.name = name        self.score = scoredefprint_score(self):print('%s: %s'% (self.name, self.score))

给对象发消息实际上就是调用对象对应的关联函数,我们称之为对象的方法(Method)。面向对象的程序写出来就像这样:

bart = Student('Bart Simpson', 59)

lisa = Student('Lisa Simpson', 87)

bart.print_score()

lisa.print_score()

面向对象的设计思想是从自然界中来的,因为在自然界中,类(Class)和实例(Instance)的概念是很自然的。Class是一种抽象概念,比如我们定义的Class——Student,是指学生这个概念,而实例(Instance)则是一个个具体的Student,比如,Bart Simpson和Lisa Simpson是两个具体的Student。

所以,面向对象的设计思想是抽象出Class,根据Class创建Instance。

面向对象的抽象程度又比函数要高,因为一个Class既包含数据,又包含操作数据的方法。

面向对象最重要的概念就是类(Class)和实例(Instance),必须牢记类是抽象的模板,比如Student类,而实例是根据类创建出来的一个个具体的“对象”,每个对象都拥有相同的方法,但各自的数据可能不同。

仍以Student类为例,在Python中,定义类是通过class关键字:

classStudent(object):pass

class后面紧接着是类名,即Student,类名通常是大写开头的单词,紧接着是(object),表示该类是从哪个类继承下来的,继承的概念我们后面再讲,通常,如果没有合适的继承类,就使用object类,这是所有类最终都会继承的类。

定义好了Student类,就可以根据Student类创建出Student的实例,创建实例是通过类名+()实现的:

>>> bart = Student()>>> bart<__main__.Studentobjectat0x10a67a590>>>> Student

可以看到,变量bart指向的就是一个Student的实例,后面的0x10a67a590是内存地址,每个object的地址都不一样,而Student本身则是一个类。

可以自由地给一个实例变量绑定属性,比如,给实例bart绑定一个name属性:

>>> bart.name ='Bart Simpson'>>> bart.name'Bart Simpson'

由于类可以起到模板的作用,因此,可以在创建实例的时候,把一些我们认为必须绑定的属性强制填写进去。通过定义一个特殊的__init__方法,在创建实例的时候,就把name,score等属性绑上去:

classStudent(object):def__init__(self, name, score):self.name = name        self.score = score

 注意:特殊方法“__init__”前后分别有两个下划线!!!

注意到__init__方法的第一个参数永远是self,表示创建的实例本身,因此,在__init__方法内部,就可以把各种属性绑定到self,因为self就指向创建的实例本身。

有了__init__方法,在创建实例的时候,就不能传入空的参数了,必须传入与__init__方法匹配的参数,但self不需要传,Python解释器自己会把实例变量传进去:

>>> bart = Student('Bart Simpson',59)>>> bart.name'Bart Simpson'>>> bart.score59

和普通的函数相比,在类中定义的函数只有一点不同,就是第一个参数永远是实例变量self,并且,调用时,不用传递该参数。除此之外,类的方法和普通函数没有什么区别,所以,你仍然可以用默认参数、可变参数、关键字参数和命名关键字参数。

数据封装

面向对象编程的一个重要特点就是数据封装。在上面的Student类中,每个实例就拥有各自的name和score这些数据。我们可以通过函数来访问这些数据,比如打印一个学生的成绩:

>>> defprint_score(std):... print('%s: %s'% (std.name, std.score))...>>> print_score(bart)Bart Simpson:59

但是,既然Student实例本身就拥有这些数据,要访问这些数据,就没有必要从外面的函数去访问,可以直接在Student类的内部定义访问数据的函数,这样,就把“数据”给封装起来了。这些封装数据的函数是和Student类本身是关联起来的,我们称之为类的方法:

classStudent(object):def__init__(self, name, score):self.name = name        self.score = scoredefprint_score(self):print('%s: %s'% (self.name, self.score))

要定义一个方法,除了第一个参数是self外,其他和普通函数一样。要调用一个方法,只需要在实例变量上直接调用,除了self不用传递,其他参数正常传入:

>>> bart.print_score()Bart Simpson:59

这样一来,我们从外部看Student类,就只需要知道,创建实例需要给出name和score,而如何打印,都是在Student类的内部定义的,这些数据和逻辑被“封装”起来了,调用很容易,但却不用知道内部实现的细节。

封装的另一个好处是可以给Student类增加新的方法,比如get_grade:

classStudent(object):...defget_grade(self):ifself.score >=90:return'A'elifself.score >=60:return'B'else:return'C'

同样的,get_grade方法可以直接在实例变量上调用,不需要知道内部实现细节:

# -*- coding: utf-8 -*-

lisa = Student('Lisa', 99)

bart = Student('Bart', 59)

print(lisa.name, lisa.get_grade())

print(bart.name, bart.get_grade())

在Class内部,可以有属性和方法,而外部代码可以通过直接调用实例变量的方法来操作数据,这样,就隐藏了内部的复杂逻辑。

但是,从前面Student类的定义来看,外部代码还是可以自由地修改一个实例的name、score属性:

>>> bart = Student('Bart Simpson',59)>>> bart.score59>>> bart.score =99>>> bart.score99

如果要让内部属性不被外部访问,可以把属性的名称前加上两个下划线__,在Python中,实例的变量名如果以__开头,就变成了一个私有变量(private),只有内部可以访问,外部不能访问,所以,我们把Student类改一改:

classStudent(object):def__init__(self, name, score):self.__name = name        self.__score = scoredefprint_score(self):print('%s: %s'% (self.__name, self.__score))

改完后,对于外部代码来说,没什么变动,但是已经无法从外部访问实例变量.__name和实例变量.__score了:

>>> bart = Student('Bart Simpson', 59)>>> bart.__nameTraceback (most recent call last):  File "", line 1, inAttributeError: 'Student' object has no attribute '__name'

这样就确保了外部代码不能随意修改对象内部的状态,这样通过访问限制的保护,代码更加健壮。

但是如果外部代码要获取name和score怎么办?可以给Student类增加get_name和get_score这样的方法:

classStudent(object):...defget_name(self):returnself.__namedefget_score(self):returnself.__score

如果又要允许外部代码修改score怎么办?可以再给Student类增加set_score方法:

classStudent(object):...defset_score(self, score):self.__score = score

你也许会问,原先那种直接通过bart.score = 99也可以修改啊,为什么要定义一个方法大费周折?因为在方法中,可以对参数做检查,避免传入无效的参数:

classStudent(object):...defset_score(self, score):if0<= score <=100:            self.__score = scoreelse:raiseValueError('bad score')

需要注意的是,在Python中,变量名类似__xxx__的,也就是以双下划线开头,并且以双下划线结尾的,是特殊变量,特殊变量是可以直接访问的,不是private变量,所以,不能用__name__、__score__这样的变量名。

有些时候,你会看到以一个下划线开头的实例变量名,比如_name,这样的实例变量外部是可以访问的,但是,按照约定俗成的规定,当你看到这样的变量时,意思就是,“虽然我可以被访问,但是,请把我视为私有变量,不要随意访问”。

双下划线开头的实例变量是不是一定不能从外部访问呢?其实也不是。不能直接访问__name是因为Python解释器对外把__name变量改成了_Student__name,所以,仍然可以通过_Student__name来访问__name变量:

>>> bart._Student__name'Bart Simpson'

但是强烈建议你不要这么干,因为不同版本的Python解释器可能会把__name改成不同的变量名。

总的来说就是,Python本身没有任何机制阻止你干坏事,一切全靠自觉。

最后注意下面的这种错误写法

>>> bart = Student('Bart Simpson',59)>>> bart.get_name()'Bart Simpson'>>> bart.__name ='New Name'# 设置__name变量!>>> bart.__name'New Name'

表面上看,外部代码“成功”地设置了__name变量,但实际上这个__name变量和class内部的__name变量不是一个变量!内部的__name变量已经被Python解释器自动改成了_Student__name,而外部代码给bart新增了一个__name变量。不信试试:

>>> bart.get_name()# get_name()内部返回self.__name'Bart Simpson'

在OOP程序设计中,当我们定义一个class的时候,可以从某个现有的class继承,新的class称为子类(Subclass),而被继承的class称为基类、父类或超类(Base class、Super class)。

比如,我们已经编写了一个名为Animal的class,有一个run()方法可以直接打印:

classAnimal(object):defrun(self):print('Animal is running...')

当我们需要编写Dog和Cat类时,就可以直接从Animal类继承:

classDog(Animal):passclassCat(Animal):pass

对于Dog来说,Animal就是它的父类,对于Animal来说,Dog就是它的子类。Cat和Dog类似。

继承有什么好处?最大的好处是子类获得了父类的全部功能。由于Animial实现了run()方法,因此,Dog和Cat作为它的子类,什么事也没干,就自动拥有了run()方法:

dog = Dog()

dog.run()

cat = Cat()

cat.run()

运行结果如下:

Animalisrunning...Animalisrunning...

当然,也可以对子类增加一些方法,比如Dog类:

classDog(Animal):defrun(self):print('Dog is running...')defeat(self):print('Eating meat...')

继承的第二个好处需要我们对代码做一点改进。你看到了,无论是Dog还是Cat,它们run()的时候,显示的都是Animal is running...,符合逻辑的做法是分别显示Dog is running...和Cat is running...,因此,对Dog和Cat类改进如下:

classDog(Animal):defrun(self):print('Dog is running...')classCat(Animal):defrun(self):print('Cat is running...')

再次运行,结果如下:

Dogisrunning...Catisrunning...

当子类和父类都存在相同的run()方法时,我们说,子类的run()覆盖了父类的run(),在代码运行的时候,总是会调用子类的run()。这样,我们就获得了继承的另一个好处:多态。

要理解什么是多态,我们首先要对数据类型再作一点说明。当我们定义一个class的时候,我们实际上就定义了一种数据类型。我们定义的数据类型和Python自带的数据类型,比如str、list、dict没什么两样:

a =list() # a是list类型b =Animal() # b是Animal类型c =Dog() # c是Dog类型

判断一个变量是否是某个类型可以用isinstance()判断:

>>> isinstance(a, list)True>>> isinstance(b, Animal)True>>> isinstance(c, Dog)True

看来a、b、c确实对应着list、Animal、Dog这3种类型。

但是等等,试试:

>>> isinstance(c, Animal)True

看来c不仅仅是Dog,c还是Animal!

不过仔细想想,这是有道理的,因为Dog是从Animal继承下来的,当我们创建了一个Dog的实例c时,我们认为c的数据类型是Dog没错,但c同时也是Animal也没错,Dog本来就是Animal的一种!

所以,在继承关系中,如果一个实例的数据类型是某个子类,那它的数据类型也可以被看做是父类。但是,反过来就不行:

>>> b = Animal()>>> isinstance(b, Dog)False

Dog可以看成Animal,但Animal不可以看成Dog。

要理解多态的好处,我们还需要再编写一个函数,这个函数接受一个Animal类型的变量:

defrun_twice(animal):animal.run()    animal.run()

当我们传入Animal的实例时,run_twice()就打印出:

>>> run_twice(Animal())Animalisrunning...Animalisrunning...

当我们传入Dog的实例时,run_twice()就打印出:

>>> run_twice(Dog())Dogisrunning...Dogisrunning...

当我们传入Cat的实例时,run_twice()就打印出:

>>> run_twice(Cat())Catisrunning...Catisrunning...

看上去没啥意思,但是仔细想想,现在,如果我们再定义一个Tortoise类型,也从Animal派生:

classTortoise(Animal):defrun(self):print('Tortoise is running slowly...')

当我们调用run_twice()时,传入Tortoise的实例:

>>> run_twice(Tortoise())Tortoiseisrunning slowly...Tortoiseisrunning slowly...

你会发现,新增一个Animal的子类,不必对run_twice()做任何修改,实际上,任何依赖Animal作为参数的函数或者方法都可以不加修改地正常运行,原因就在于多态。

多态的好处就是,当我们需要传入Dog、Cat、Tortoise……时,我们只需要接收Animal类型就可以了,因为Dog、Cat、Tortoise……都是Animal类型,然后,按照Animal类型进行操作即可。由于Animal类型有run()方法,因此,传入的任意类型,只要是Animal类或者子类,就会自动调用实际类型的run()方法,这就是多态的意思:

对于一个变量,我们只需要知道它是Animal类型,无需确切地知道它的子类型,就可以放心地调用run()方法,而具体调用的run()方法是作用在Animal、Dog、Cat还是Tortoise对象上,由运行时该对象的确切类型决定,这就是多态真正的威力:调用方只管调用,不管细节,而当我们新增一种Animal的子类时,只要确保run()方法编写正确,不用管原来的代码是如何调用的。这就是著名的“开闭”原则:

对扩展开放:允许新增Animal子类;

对修改封闭:不需要修改依赖Animal类型的run_twice()等函数。

继承还可以一级一级地继承下来,就好比从爷爷到爸爸、再到儿子这样的关系。而任何类,最终都可以追溯到根类object,这些继承关系看上去就像一颗倒着的树。比如如下的继承树:

                ┌───────────────┐

                │    object    │

                └───────────────┘

                        │

          ┌────────────┴────────────┐

          │                        │

          ▼                        ▼

    ┌─────────────┐          ┌─────────────┐

    │  Animal    │          │    Plant    │

    └─────────────┘          └─────────────┘

          │                        │

    ┌─────┴──────┐            ┌─────┴──────┐

    │            │            │            │

    ▼            ▼            ▼            ▼

┌─────────┐  ┌─────────┐  ┌─────────┐  ┌─────────┐

│  Dog  │  │  Cat  │  │  Tree  │  │ Flower  │

└─────────┘  └─────────┘  └─────────┘  └─────────┘

静态语言 vs 动态语言

对于静态语言(例如Java)来说,如果需要传入Animal类型,则传入的对象必须是Animal类型或者它的子类,否则,将无法调用run()方法。

对于Python这样的动态语言来说,则不一定需要传入Animal类型。我们只需要保证传入的对象有一个run()方法就可以了:

classTimer(object):defrun(self):print('Start...')

这就是动态语言的“鸭子类型”,它并不要求严格的继承体系,一个对象只要“看起来像鸭子,走起路来像鸭子”,那它就可以被看做是鸭子。

Python的“file-like object“就是一种鸭子类型。对真正的文件对象,它有一个read()方法,返回其内容。但是,许多对象,只要有read()方法,都被视为“file-like object“。许多函数接收的参数就是“file-like object“,你不一定要传入真正的文件对象,完全可以传入任何实现了read()方法的对象。

当我们拿到一个对象的引用时,如何知道这个对象是什么类型、有哪些方法呢?

使用type()

首先,我们来判断对象类型,使用type()函数:

基本类型都可以用type()判断:

>>> type(123)>>>type('str')>>>type(None)

如果一个变量指向函数或者类,也可以用type()判断:

>>> type(abs)>>>type(a)

但是type()函数返回的是什么类型呢?它返回对应的Class类型。如果我们要在if语句中判断,就需要比较两个变量的type类型是否相同:

>>> type(123)==type(456)True>>> type(123)==intTrue>>> type('abc')==type('123')True>>> type('abc')==strTrue>>> type('abc')==type(123)False

判断基本数据类型可以直接写int,str等,但如果要判断一个对象是否是函数怎么办?可以使用types模块中定义的常量:

>>> importtypes>>> deffn():... pass...>>> type(fn)==types.FunctionTypeTrue>>> type(abs)==types.BuiltinFunctionTypeTrue>>> type(lambdax: x)==types.LambdaTypeTrue>>> type((xforxinrange(10)))==types.GeneratorTypeTrue

使用isinstance()

对于class的继承关系来说,使用type()就很不方便。我们要判断class的类型,可以使用isinstance()函数。

我们回顾上次的例子,如果继承关系是:

object -> Animal -> Dog -> Husky

那么,isinstance()就可以告诉我们,一个对象是否是某种类型。先创建3种类型的对象:

>>> a = Animal()>>> d = Dog()>>> h = Husky()

然后,判断:

>>> isinstance(h, Husky)True

没有问题,因为h变量指向的就是Husky对象。

再判断:

>>> isinstance(h, Dog)True

h虽然自身是Husky类型,但由于Husky是从Dog继承下来的,所以,h也还是Dog类型。换句话说,isinstance()判断的是一个对象是否是该类型本身,或者位于该类型的父继承链上。

因此,我们可以确信,h还是Animal类型:

>>> isinstance(h, Animal)True

同理,实际类型是Dog的d也是Animal类型:

>>> isinstance(d, Dog)andisinstance(d, Animal)True

但是,d不是Husky类型:

>>> isinstance(d, Husky)False

能用type()判断的基本类型也可以用isinstance()判断:

>>> isinstance('a', str)True>>> isinstance(123, int)True>>> isinstance(b'a', bytes)True

并且还可以判断一个变量是否是某些类型中的一种,比如下面的代码就可以判断是否是list或者tuple:

>>> isinstance([1,2,3], (list, tuple))True>>> isinstance((1,2,3), (list, tuple))True

 总是优先使用isinstance()判断类型,可以将指定类型及其子类“一网打尽”。

使用dir()

如果要获得一个对象的所有属性和方法,可以使用dir()函数,它返回一个包含字符串的list,比如,获得一个str对象的所有属性和方法:

>>> dir('ABC')['__add__','__class__',...,'__subclasshook__','capitalize','casefold',...,'zfill']

类似__xxx__的属性和方法在Python中都是有特殊用途的,比如__len__方法返回长度。在Python中,如果你调用len()函数试图获取一个对象的长度,实际上,在len()函数内部,它自动去调用该对象的__len__()方法,所以,下面的代码是等价的:

>>> len('ABC')3>>> 'ABC'.__len__()3

我们自己写的类,如果也想用len(myObj)的话,就自己写一个__len__()方法:

>>> classMyDog(object):... def__len__(self):... return100...>>> dog = MyDog()>>> len(dog)100

剩下的都是普通属性或方法,比如lower()返回小写的字符串:

>>> 'ABC'.lower()'abc'

仅仅把属性和方法列出来是不够的,配合getattr()、setattr()以及hasattr(),我们可以直接操作一个对象的状态:

>>> classMyObject(object):... def__init__(self):... self.x =9... defpower(self):... returnself.x * self.x...>>> obj = MyObject()

紧接着,可以测试该对象的属性:

>>> hasattr(obj,'x')# 有属性'x'吗?True>>> obj.x9>>> hasattr(obj,'y')# 有属性'y'吗?False>>> setattr(obj,'y',19)# 设置一个属性'y'>>> hasattr(obj,'y')# 有属性'y'吗?True>>> getattr(obj,'y')# 获取属性'y'19>>> obj.y# 获取属性'y'19

如果试图获取不存在的属性,会抛出AttributeError的错误:

>>> getattr(obj, 'z') # 获取属性'z'Traceback (most recent call last):  File "", line 1, inAttributeError: 'MyObject' object has no attribute 'z'

可以传入一个default参数,如果属性不存在,就返回默认值:

>>> getattr(obj,'z',404)# 获取属性'z',如果不存在,返回默认值404404

也可以获得对象的方法:

>>> hasattr(obj,'power')# 有属性'power'吗?True>>> getattr(obj,'power')# 获取属性'power'>>>> fn = getattr(obj,'power')# 获取属性'power'并赋值到变量fn>>> fn# fn指向obj.power>>>> fn()# 调用fn()与调用obj.power()是一样的81

小结

通过内置的一系列函数,我们可以对任意一个Python对象进行剖析,拿到其内部的数据。要注意的是,只有在不知道对象信息的时候,我们才会去获取对象信息。如果可以直接写:

sum =obj.x + obj.y

就不要写:

sum =getattr(obj, 'x') + getattr(obj, 'y')

一个正确的用法的例子如下:

defreadImage(fp):ifhasattr(fp,'read'):returnreadData(fp)returnNone

假设我们希望从文件流fp中读取图像,我们首先要判断该fp对象是否存在read方法,如果存在,则该对象是一个流,如果不存在,则无法读取。hasattr()就派上了用场。

请注意,在Python这类动态语言中,根据鸭子类型,有read()方法,不代表该fp对象就是一个文件流,它也可能是网络流,也可能是内存中的一个字节流,但只要read()方法返回的是有效的图像数据,就不影响读取图像的功能。

由于Python是动态语言,根据类创建的实例可以任意绑定属性。

给实例绑定属性的方法是通过实例变量,或者通过self变量:

classStudent(object):def__init__(self, name):self.name = names = Student('Bob')s.score =90

但是,如果Student类本身需要绑定一个属性呢?可以直接在class中定义属性,这种属性是类属性,归Student类所有:

classStudent(object):name ='Student'

当我们定义了一个类属性后,这个属性虽然归类所有,但类的所有实例都可以访问到。来测试一下:

>>> classStudent(object):... name ='Student'...>>> s = Student()# 创建实例s>>> print(s.name)# 打印name属性,因为实例并没有name属性,所以会继续查找class的name属性Student>>> print(Student.name)# 打印类的name属性Student>>> s.name ='Michael'# 给实例绑定name属性>>> print(s.name)# 由于实例属性优先级比类属性高,因此,它会屏蔽掉类的name属性Michael>>> print(Student.name)# 但是类属性并未消失,用Student.name仍然可以访问Student>>> dels.name# 如果删除实例的name属性>>> print(s.name)# 再次调用s.name,由于实例的name属性没有找到,类的name属性就显示出来了Student

从上面的例子可以看出,在编写程序的时候,千万不要对实例属性和类属性使用相同的名字,因为相同名称的实例属性将屏蔽掉类属性,但是当你删除实例属性后,再使用相同的名称,访问到的将是类属性。

正常情况下,当我们定义了一个class,创建了一个class的实例后,我们可以给该实例绑定任何属性和方法,这就是动态语言的灵活性。先定义class:

classStudent(object):pass

然后,尝试给实例绑定一个属性:

>>> s = Student()>>> s.name ='Michael'# 动态给实例绑定一个属性>>> print(s.name)Michael

还可以尝试给实例绑定一个方法:

>>> defset_age(self, age):# 定义一个函数作为实例方法... self.age = age...>>> fromtypesimportMethodType>>> s.set_age = MethodType(set_age, s)# 给实例绑定一个方法>>> s.set_age(25)# 调用实例方法>>> s.age# 测试结果25

但是,给一个实例绑定的方法,对另一个实例是不起作用的:

>>> s2 = Student() # 创建新的实例>>> s2.set_age(25) # 尝试调用方法Traceback (most recent call last):  File "", line 1, inAttributeError: 'Student' object has no attribute 'set_age'

为了给所有实例都绑定方法,可以给class绑定方法:

>>> defset_score(self, score):... self.score = score...>>> Student.set_score = set_score

给class绑定方法后,所有实例均可调用:

>>> s.set_score(100)>>> s.score100>>> s2.set_score(99)>>> s2.score99

通常情况下,上面的set_score方法可以直接定义在class中,但动态绑定允许我们在程序运行的过程中动态给class加上功能,这在静态语言中很难实现。

使用__slots__

但是,如果我们想要限制实例的属性怎么办?比如,只允许对Student实例添加name和age属性。

为了达到限制的目的,Python允许在定义class的时候,定义一个特殊的__slots__变量,来限制该class实例能添加的属性:

classStudent(object):__slots__ = ('name','age')# 用tuple定义允许绑定的属性名称

然后,我们试试:

>>> s = Student()# 创建新的实例>>> s.name ='Michael'# 绑定属性'name'>>> s.age =25# 绑定属性'age'>>> s.score =99# 绑定属性'score'Traceback (most recent call last):  File"", line1,inAttributeError:'Student'object has no attribute'score'

由于'score'没有被放到__slots__中,所以不能绑定score属性,试图绑定score将得到AttributeError的错误。

使用__slots__要注意,__slots__定义的属性仅对当前类实例起作用,对继承的子类是不起作用的:

>>> classGraduateStudent(Student):... pass...>>> g = GraduateStudent()>>> g.score =9999

除非在子类中也定义__slots__,这样,子类实例允许定义的属性就是自身的__slots__加上父类的__slots__。

在绑定属性时,如果我们直接把属性暴露出去,虽然写起来很简单,但是,没办法检查参数,导致可以把成绩随便改:

s = Student()

s.score = 9999

这显然不合逻辑。为了限制score的范围,可以通过一个set_score()方法来设置成绩,再通过一个get_score()来获取成绩,这样,在set_score()方法里,就可以检查参数:

classStudent(object):defget_score(self):returnself._scoredefset_score(self, value):ifnotisinstance(value, int):raiseValueError('score must be an integer!')ifvalue <0orvalue >100:raiseValueError('score must between 0 ~ 100!')        self._score = value

现在,对任意的Student实例进行操作,就不能随心所欲地设置score了:

>>> s = Student()>>> s.set_score(60)# ok!>>> s.get_score()60>>> s.set_score(9999)Traceback (most recent call last):  ...ValueError: score must between0~100!

但是,上面的调用方法又略显复杂,没有直接用属性这么直接简单。

有没有既能检查参数,又可以用类似属性这样简单的方式来访问类的变量呢?对于追求完美的Python程序员来说,这是必须要做到的!

还记得装饰器(decorator)可以给函数动态加上功能吗?对于类的方法,装饰器一样起作用。Python内置的@property装饰器就是负责把一个方法变成属性调用的:

classStudent(object):@propertydefscore(self):[email protected](self, value):ifnotisinstance(value, int):raiseValueError('score must be an integer!')ifvalue <0orvalue >100:raiseValueError('score must between 0 ~ 100!')        self._score = value

@property的实现比较复杂,我们先考察如何使用。把一个getter方法变成属性,只需要加上@property就可以了,此时,@property本身又创建了另一个装饰器@score.setter,负责把一个setter方法变成属性赋值,于是,我们就拥有一个可控的属性操作:

>>> s = Student()>>> s.score =60# OK,实际转化为s.set_score(60)>>> s.score# OK,实际转化为s.get_score()60>>> s.score =9999Traceback (most recent call last):  ...ValueError: score must between0~100!

注意到这个神奇的@property,我们在对实例属性操作的时候,就知道该属性很可能不是直接暴露的,而是通过getter和setter方法来实现的。

还可以定义只读属性,只定义getter方法,不定义setter方法就是一个只读属性:

classStudent(object):@propertydefbirth(self):[email protected](self, value):self._birth = value@propertydefage(self):return2015- self._birth

上面的birth是可读写属性,而age就是一个只读属性,因为age可以根据birth和当前时间计算出来。

继承是面向对象编程的一个重要的方式,因为通过继承,子类就可以扩展父类的功能。

回忆一下Animal类层次的设计,假设我们要实现以下4种动物:

Dog - 狗狗;

Bat - 蝙蝠;

Parrot - 鹦鹉;

Ostrich - 鸵鸟。

如果按照哺乳动物和鸟类归类,我们可以设计出这样的类的层次:

                ┌───────────────┐

                │    Animal    │

                └───────────────┘

                        │

          ┌────────────┴────────────┐

          │                        │

          ▼                        ▼

    ┌─────────────┐          ┌─────────────┐

    │  Mammal    │          │    Bird    │

    └─────────────┘          └─────────────┘

          │                        │

    ┌─────┴──────┐            ┌─────┴──────┐

    │            │            │            │

    ▼            ▼            ▼            ▼

┌─────────┐  ┌─────────┐  ┌─────────┐  ┌─────────┐

│  Dog  │  │  Bat  │  │ Parrot  │  │ Ostrich │

└─────────┘  └─────────┘  └─────────┘  └─────────┘

但是如果按照“能跑”和“能飞”来归类,我们就应该设计出这样的类的层次:

                ┌───────────────┐

                │    Animal    │

                └───────────────┘

                        │

          ┌────────────┴────────────┐

          │                        │

          ▼                        ▼

    ┌─────────────┐          ┌─────────────┐

    │  Runnable  │          │  Flyable  │

    └─────────────┘          └─────────────┘

          │                        │

    ┌─────┴──────┐            ┌─────┴──────┐

    │            │            │            │

    ▼            ▼            ▼            ▼

┌─────────┐  ┌─────────┐  ┌─────────┐  ┌─────────┐

│  Dog  │  │ Ostrich │  │ Parrot  │  │  Bat  │

└─────────┘  └─────────┘  └─────────┘  └─────────┘

如果要把上面的两种分类都包含进来,我们就得设计更多的层次:

哺乳类:能跑的哺乳类,能飞的哺乳类;

鸟类:能跑的鸟类,能飞的鸟类。

这么一来,类的层次就复杂了:

                ┌───────────────┐

                │    Animal    │

                └───────────────┘

                        │

          ┌────────────┴────────────┐

          │                        │

          ▼                        ▼

    ┌─────────────┐          ┌─────────────┐

    │  Mammal    │          │    Bird    │

    └─────────────┘          └─────────────┘

          │                        │

    ┌─────┴──────┐            ┌─────┴──────┐

    │            │            │            │

    ▼            ▼            ▼            ▼

┌─────────┐  ┌─────────┐  ┌─────────┐  ┌─────────┐

│  MRun  │  │  MFly  │  │  BRun  │  │  BFly  │

└─────────┘  └─────────┘  └─────────┘  └─────────┘

    │            │            │            │

    │            │            │            │

    ▼            ▼            ▼            ▼

┌─────────┐  ┌─────────┐  ┌─────────┐  ┌─────────┐

│  Dog  │  │  Bat  │  │ Ostrich │  │ Parrot  │

└─────────┘  └─────────┘  └─────────┘  └─────────┘

如果要再增加“宠物类”和“非宠物类”,这么搞下去,类的数量会呈指数增长,很明显这样设计是不行的。

正确的做法是采用多重继承。首先,主要的类层次仍按照哺乳类和鸟类设计:

classAnimal(object):pass# 大类:classMammal(Animal):passclassBird(Animal):pass# 各种动物:classDog(Mammal):passclassBat(Mammal):passclassParrot(Bird):passclassOstrich(Bird):pass

现在,我们要给动物再加上Runnable和Flyable的功能,只需要先定义好Runnable和Flyable的类:

classRunnable(object):defrun(self):print('Running...')classFlyable(object):deffly(self):print('Flying...')

对于需要Runnable功能的动物,就多继承一个Runnable,例如Dog:

classDog(Mammal, Runnable):pass

对于需要Flyable功能的动物,就多继承一个Flyable,例如Bat:

classBat(Mammal, Flyable):pass

通过多重继承,一个子类就可以同时获得多个父类的所有功能。

MixIn

在设计类的继承关系时,通常,主线都是单一继承下来的,例如,Ostrich继承自Bird。但是,如果需要“混入”额外的功能,通过多重继承就可以实现,比如,让Ostrich除了继承自Bird外,再同时继承Runnable。这种设计通常称之为MixIn。

为了更好地看出继承关系,我们把Runnable和Flyable改为RunnableMixIn和FlyableMixIn。类似的,你还可以定义出肉食动物CarnivorousMixIn和植食动物HerbivoresMixIn,让某个动物同时拥有好几个MixIn:

classDog(Mammal, RunnableMixIn, CarnivorousMixIn):pass

MixIn的目的就是给一个类增加多个功能,这样,在设计类的时候,我们优先考虑通过多重继承来组合多个MixIn的功能,而不是设计多层次的复杂的继承关系。

Python自带的很多库也使用了MixIn。举个例子,Python自带了TCPServer和UDPServer这两类网络服务,而要同时服务多个用户就必须使用多进程或多线程模型,这两种模型由ForkingMixIn和ThreadingMixIn提供。通过组合,我们就可以创造出合适的服务来。

比如,编写一个多进程模式的TCP服务,定义如下:

classMyTCPServer(TCPServer, ForkingMixIn):pass

编写一个多线程模式的UDP服务,定义如下:

classMyUDPServer(UDPServer, ThreadingMixIn):pass

如果你打算搞一个更先进的协程模型,可以编写一个CoroutineMixIn:

classMyTCPServer(TCPServer, CoroutineMixIn):pass

这样一来,我们不需要复杂而庞大的继承链,只要选择组合不同的类的功能,就可以快速构造出所需的子类

看到类似__slots__这种形如__xxx__的变量或者函数名就要注意,这些在Python中是有特殊用途的。

__slots__我们已经知道怎么用了,__len__()方法我们也知道是为了能让class作用于len()函数。

除此之外,Python的class中还有许多这样有特殊用途的函数,可以帮助我们定制类。

__str__

我们先定义一个Student类,打印一个实例:

>>> classStudent(object):... def__init__(self, name):... self.name = name...>>> print(Student('Michael'))<__main__.Student object at0x109afb190>

打印出一堆<__main__.Student object at 0x109afb190>,不好看。

怎么才能打印得好看呢?只需要定义好__str__()方法,返回一个好看的字符串就可以了:

>>> classStudent(object):... def__init__(self, name):... self.name = name... def__str__(self):... return'Student object (name: %s)'% self.name...>>> print(Student('Michael'))Student object (name: Michael)

这样打印出来的实例,不但好看,而且容易看出实例内部重要的数据。

但是细心的朋友会发现直接敲变量不用print,打印出来的实例还是不好看:

>>> s = Student('Michael')>>> s<__main__.Studentobjectat0x109afb310>

这是因为直接显示变量调用的不是__str__(),而是__repr__(),两者的区别是__str__()返回用户看到的字符串,而__repr__()返回程序开发者看到的字符串,也就是说,__repr__()是为调试服务的。

解决办法是再定义一个__repr__()。但是通常__str__()和__repr__()代码都是一样的,所以,有个偷懒的写法:

classStudent(object):def__init__(self, name):self.name = namedef__str__(self):return'Student object (name=%s)'% self.name    __repr__ = __str__

__iter__

如果一个类想被用于for ... in循环,类似list或tuple那样,就必须实现一个__iter__()方法,该方法返回一个迭代对象,然后,Python的for循环就会不断调用该迭代对象的__next__()方法拿到循环的下一个值,直到遇到StopIteration错误时退出循环。

我们以斐波那契数列为例,写一个Fib类,可以作用于for循环:

classFib(object):def__init__(self):self.a, self.b =0,1# 初始化两个计数器a,bdef__iter__(self):returnself# 实例本身就是迭代对象,故返回自己def__next__(self):self.a, self.b = self.b, self.a + self.b# 计算下一个值ifself.a >100000:# 退出循环的条件raiseStopIteration()returnself.a# 返回下一个值

现在,试试把Fib实例作用于for循环:

>>> forninFib():... print(n)...11235...4636875025

__getitem__

Fib实例虽然能作用于for循环,看起来和list有点像,但是,把它当成list来使用还是不行,比如,取第5个元素:

>>> Fib()[5]Traceback (most recent call last):  File "", line 1, inTypeError: 'Fib' object does not support indexing

要表现得像list那样按照下标取出元素,需要实现__getitem__()方法:

classFib(object):def__getitem__(self, n):a, b =1,1forxinrange(n):            a, b = b, a + breturna

现在,就可以按下标访问数列的任意一项了:

>>> f = Fib()>>> f[0]1>>> f[1]1>>> f[2]2>>> f[3]3>>> f[10]89>>> f[100]573147844013817084101

但是list有个神奇的切片方法:

>>>list(range(100))[5:10][5, 6, 7, 8, 9]

对于Fib却报错。原因是__getitem__()传入的参数可能是一个int,也可能是一个切片对象slice,所以要做判断:

classFib(object):def__getitem__(self, n):ifisinstance(n, int):# n是索引a, b =1,1forxinrange(n):                a, b = b, a + breturnaifisinstance(n, slice):# n是切片start = n.start            stop = n.stopifstartisNone:                start =0a, b =1,1L = []forxinrange(stop):ifx >= start:                    L.append(a)                a, b = b, a + breturnL

现在试试Fib的切片:

>>> f = Fib()>>> f[0:5][1,1,2,3,5]>>> f[:10][1,1,2,3,5,8,13,21,34,55]

但是没有对step参数作处理:

>>>f[:10:2][1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89]

也没有对负数作处理,所以,要正确实现一个__getitem__()还是有很多工作要做的。

此外,如果把对象看成dict,__getitem__()的参数也可能是一个可以作key的object,例如str。

与之对应的是__setitem__()方法,把对象视作list或dict来对集合赋值。最后,还有一个__delitem__()方法,用于删除某个元素。

总之,通过上面的方法,我们自己定义的类表现得和Python自带的list、tuple、dict没什么区别,这完全归功于动态语言的“鸭子类型”,不需要强制继承某个接口。

__getattr__

正常情况下,当我们调用类的方法或属性时,如果不存在,就会报错。比如定义Student类:

classStudent(object):def__init__(self):self.name ='Michael'

调用name属性,没问题,但是,调用不存在的score属性,就有问题了:

>>> s = Student()>>> print(s.name)Michael>>> print(s.score)Traceback (most recent call last):  ...AttributeError:'Student'object has no attribute'score'

错误信息很清楚地告诉我们,没有找到score这个attribute。

要避免这个错误,除了可以加上一个score属性外,Python还有另一个机制,那就是写一个__getattr__()方法,动态返回一个属性。修改如下:

classStudent(object):def__init__(self):self.name ='Michael'def__getattr__(self, attr):ifattr=='score':return99

当调用不存在的属性时,比如score,Python解释器会试图调用__getattr__(self, 'score')来尝试获得属性,这样,我们就有机会返回score的值:

>>> s = Student()>>> s.name'Michael'>>> s.score99

返回函数也是完全可以的:

classStudent(object):def__getattr__(self, attr):ifattr=='age':returnlambda:25

只是调用方式要变为:

>>> s.age()25

注意,只有在没有找到属性的情况下,才调用__getattr__,已有的属性,比如name,不会在__getattr__中查找。

此外,注意到任意调用如s.abc都会返回None,这是因为我们定义的__getattr__默认返回就是None。要让class只响应特定的几个属性,我们就要按照约定,抛出AttributeError的错误:

classStudent(object):def__getattr__(self, attr):ifattr=='age':returnlambda:25raiseAttributeError('\'Student\' object has no attribute \'%s\''% attr)

这实际上可以把一个类的所有属性和方法调用全部动态化处理了,不需要任何特殊手段。

这种完全动态调用的特性有什么实际作用呢?作用就是,可以针对完全动态的情况作调用。

举个例子:

现在很多网站都搞REST API,比如新浪微博、豆瓣啥的,调用API的URL类似:

http://api.server/user/friends

http://api.server/user/timeline/list

如果要写SDK,给每个URL对应的API都写一个方法,那得累死,而且,API一旦改动,SDK也要改。

利用完全动态的__getattr__,我们可以写出一个链式调用:

classChain(object):def__init__(self, path=''):self._path = pathdef__getattr__(self, path):returnChain('%s/%s'% (self._path, path))def__str__(self):returnself._path    __repr__ = __str__

试试:

>>> Chain().status.user.timeline.list'/status/user/timeline/list'

这样,无论API怎么变,SDK都可以根据URL实现完全动态的调用,而且,不随API的增加而改变!

还有些REST API会把参数放到URL中,比如GitHub的API:

GET/users/:user/repos

调用时,需要把:user替换为实际用户名。如果我们能写出这样的链式调用:

Chain().users('michael').repos

就可以非常方便地调用API了。有兴趣的童鞋可以试试写出来。

__call__

一个对象实例可以有自己的属性和方法,当我们调用实例方法时,我们用instance.method()来调用。能不能直接在实例本身上调用呢?在Python中,答案是肯定的。

任何类,只需要定义一个__call__()方法,就可以直接对实例进行调用。请看示例:

classStudent(object):def__init__(self, name):self.name = namedef__call__(self):print('My name is %s.'% self.name)

调用方式如下:

>>> s = Student('Michael')>>> s()# self参数不要传入My nameisMichael.

__call__()还可以定义参数。对实例进行直接调用就好比对一个函数进行调用一样,所以你完全可以把对象看成函数,把函数看成对象,因为这两者之间本来就没啥根本的区别。

如果你把对象看成函数,那么函数本身其实也可以在运行期动态创建出来,因为类的实例都是运行期创建出来的,这么一来,我们就模糊了对象和函数的界限。

那么,怎么判断一个变量是对象还是函数呢?其实,更多的时候,我们需要判断一个对象是否能被调用,能被调用的对象就是一个Callable对象,比如函数和我们上面定义的带有__call__()的类实例:

>>> callable(Student())True>>> callable(max)True>>> callable([1,2,3])False>>> callable(None)False>>> callable('str')False

通过callable()函数,我们就可以判断一个对象是否是“可调用”对象。

当我们需要定义常量时,一个办法是用大写变量通过整数来定义,例如月份:

JAN = 1

FEB = 2

MAR = 3

...

NOV = 11

DEC = 12

好处是简单,缺点是类型是int,并且仍然是变量。

更好的方法是为这样的枚举类型定义一个class类型,然后,每个常量都是class的一个唯一实例。Python提供了Enum类来实现这个功能:

fromenumimportEnumMonth = Enum('Month', ('Jan','Feb','Mar','Apr','May','Jun','Jul','Aug','Sep','Oct','Nov','Dec'))

这样我们就获得了Month类型的枚举类,可以直接使用Month.Jan来引用一个常量,或者枚举它的所有成员:

forname, memberinMonth.__members__.items():    print(name,'=>', member,',', member.value)

value属性则是自动赋给成员的int常量,默认从1开始计数。

如果需要更精确地控制枚举类型,可以从Enum派生出自定义类:

fromenumimportEnum, unique@uniqueclassWeekday(Enum):Sun =0# Sun的value被设定为0Mon =1Tue =2Wed =3Thu =4Fri =5Sat =6

@unique装饰器可以帮助我们检查保证没有重复值。

访问这些枚举类型可以有若干种方法:

>>> day1 = Weekday.Mon>>> print(day1)Weekday.Mon>>> print(Weekday.Tue)Weekday.Tue>>> print(Weekday['Tue'])Weekday.Tue>>> print(Weekday.Tue.value)2>>> print(day1 == Weekday.Mon)True>>> print(day1 == Weekday.Tue)False>>> print(Weekday(1))Weekday.Mon>>> print(day1 == Weekday(1))True>>> Weekday(7)Traceback (most recent call last):  ...ValueError:7isnota valid Weekday>>> forname, memberinWeekday.__members__.items():... print(name,'=>', member)...Sun => Weekday.SunMon => Weekday.MonTue => Weekday.TueWed => Weekday.WedThu => Weekday.ThuFri => Weekday.FriSat => Weekday.Sat

可见,既可以用成员名称引用枚举常量,又可以直接根据value的值获得枚举常量。

type()

动态语言和静态语言最大的不同,就是函数和类的定义,不是编译时定义的,而是运行时动态创建的。

比方说我们要定义一个Hello的class,就写一个hello.py模块:

classHello(object):defhello(self, name='world'):print('Hello, %s.'% name)

当Python解释器载入hello模块时,就会依次执行该模块的所有语句,执行结果就是动态创建出一个Hello的class对象,测试如下:

>>> from helloimportHello>>> h = Hello()>>> h.hello()Hello, world.>>> print(type(Hello))>>>print(type(h))

type()函数可以查看一个类型或变量的类型,Hello是一个class,它的类型就是type,而h是一个实例,它的类型就是class Hello。

我们说class的定义是运行时动态创建的,而创建class的方法就是使用type()函数。

type()函数既可以返回一个对象的类型,又可以创建出新的类型,比如,我们可以通过type()函数创建出Hello类,而无需通过class Hello(object)...的定义:

>>> def fn(self, name='world'): # 先定义函数...    print('Hello, %s.'% name)...>>> Hello = type('Hello', (object,), dict(hello=fn)) # 创建Helloclass>>>h=Hello()>>>h.hello()Hello,world.>>>print(type(Hello))>>>print(type(h))

要创建一个class对象,type()函数依次传入3个参数:

class的名称;

继承的父类集合,注意Python支持多重继承,如果只有一个父类,别忘了tuple的单元素写法;

class的方法名称与函数绑定,这里我们把函数fn绑定到方法名hello上。

通过type()函数创建的类和直接写class是完全一样的,因为Python解释器遇到class定义时,仅仅是扫描一下class定义的语法,然后调用type()函数创建出class。

正常情况下,我们都用class Xxx...来定义类,但是,type()函数也允许我们动态创建出类来,也就是说,动态语言本身支持运行期动态创建类,这和静态语言有非常大的不同,要在静态语言运行期创建类,必须构造源代码字符串再调用编译器,或者借助一些工具生成字节码实现,本质上都是动态编译,会非常复杂。

metaclass

除了使用type()动态创建类以外,要控制类的创建行为,还可以使用metaclass。

metaclass,直译为元类,简单的解释就是:

当我们定义了类以后,就可以根据这个类创建出实例,所以:先定义类,然后创建实例。

但是如果我们想创建出类呢?那就必须根据metaclass创建出类,所以:先定义metaclass,然后创建类。

连接起来就是:先定义metaclass,就可以创建类,最后创建实例。

所以,metaclass允许你创建类或者修改类。换句话说,你可以把类看成是metaclass创建出来的“实例”。

metaclass是Python面向对象里最难理解,也是最难使用的魔术代码。正常情况下,你不会碰到需要使用metaclass的情况,所以,以下内容看不懂也没关系,因为基本上你不会用到。

我们先看一个简单的例子,这个metaclass可以给我们自定义的MyList增加一个add方法:

定义ListMetaclass,按照默认习惯,metaclass的类名总是以Metaclass结尾,以便清楚地表示这是一个metaclass:

# metaclass是类的模板,所以必须从`type`类型派生:classListMetaclass(type):def__new__(cls, name, bases, attrs):attrs['add'] =lambdaself, value: self.append(value)returntype.__new__(cls, name, bases, attrs)

有了ListMetaclass,我们在定义类的时候还要指示使用ListMetaclass来定制类,传入关键字参数metaclass:

classMyList(list, metaclass=ListMetaclass):pass

当我们传入关键字参数metaclass时,魔术就生效了,它指示Python解释器在创建MyList时,要通过ListMetaclass.__new__()来创建,在此,我们可以修改类的定义,比如,加上新的方法,然后,返回修改后的定义。

__new__()方法接收到的参数依次是:

当前准备创建的类的对象;

类的名字;

类继承的父类集合;

类的方法集合。

测试一下MyList是否可以调用add()方法:

>>> L = MyList()>>> L.add(1)>> L[1]

而普通的list没有add()方法:

>>> L2 = list()>>> L2.add(1)Traceback (most recent call last):  File "", line 1, inAttributeError: 'list' object has no attribute 'add'

动态修改有什么意义?直接在MyList定义中写上add()方法不是更简单吗?正常情况下,确实应该直接写,通过metaclass修改纯属变态。

但是,总会遇到需要通过metaclass修改类定义的。ORM就是一个典型的例子。

ORM全称“Object Relational Mapping”,即对象-关系映射,就是把关系数据库的一行映射为一个对象,也就是一个类对应一个表,这样,写代码更简单,不用直接操作SQL语句。

要编写一个ORM框架,所有的类都只能动态定义,因为只有使用者才能根据表的结构定义出对应的类来。

让我们来尝试编写一个ORM框架。

编写底层模块的第一步,就是先把调用接口写出来。比如,使用者如果使用这个ORM框架,想定义一个User类来操作对应的数据库表User,我们期待他写出这样的代码:

classUser(Model):# 定义类的属性到列的映射:id = IntegerField('id')    name = StringField('username')    email = StringField('email')    password = StringField('password')# 创建一个实例:u = User(id=12345, name='Michael', email='[email protected]', password='my-pwd')# 保存到数据库:u.save()

其中,父类Model和属性类型StringField、IntegerField是由ORM框架提供的,剩下的魔术方法比如save()全部由metaclass自动完成。虽然metaclass的编写会比较复杂,但ORM的使用者用起来却异常简单。

现在,我们就按上面的接口来实现该ORM。

首先来定义Field类,它负责保存数据库表的字段名和字段类型:

classField(object):def__init__(self, name, column_type):self.name = name        self.column_type = column_typedef__str__(self):return'<%s:%s>'% (self.__class__.__name__, self.name)

在Field的基础上,进一步定义各种类型的Field,比如StringField,IntegerField等等:

classStringField(Field):def__init__(self, name):super(StringField, self).__init__(name,'varchar(100)')classIntegerField(Field):def__init__(self, name):super(IntegerField, self).__init__(name,'bigint')

下一步,就是编写最复杂的ModelMetaclass了:

classModelMetaclass(type):def__new__(cls, name, bases, attrs):ifname=='Model':returntype.__new__(cls, name, bases, attrs)        print('Found model: %s'% name)        mappings = dict()fork, vinattrs.items():ifisinstance(v, Field):                print('Found mapping: %s ==> %s'% (k, v))                mappings[k] = vforkinmappings.keys():            attrs.pop(k)        attrs['__mappings__'] = mappings# 保存属性和列的映射关系attrs['__table__'] = name# 假设表名和类名一致returntype.__new__(cls, name, bases, attrs)

以及基类Model:

classModel(dict, metaclass=ModelMetaclass):def__init__(self, **kw):super(Model, self).__init__(**kw)def__getattr__(self, key):try:returnself[key]exceptKeyError:raiseAttributeError(r"'Model' object has no attribute '%s'"% key)def__setattr__(self, key, value):self[key] = valuedefsave(self):fields = []        params = []        args = []fork, vinself.__mappings__.items():            fields.append(v.name)            params.append('?')            args.append(getattr(self, k,None))        sql ='insert into %s (%s) values (%s)'% (self.__table__,','.join(fields),','.join(params))        print('SQL: %s'% sql)        print('ARGS: %s'% str(args))

当用户定义一个class User(Model)时,Python解释器首先在当前类User的定义中查找metaclass,如果没有找到,就继续在父类Model中查找metaclass,找到了,就使用Model中定义的metaclass的ModelMetaclass来创建User类,也就是说,metaclass可以隐式地继承到子类,但子类自己却感觉不到。

在ModelMetaclass中,一共做了几件事情:

排除掉对Model类的修改;

在当前类(比如User)中查找定义的类的所有属性,如果找到一个Field属性,就把它保存到一个__mappings__的dict中,同时从类属性中删除该Field属性,否则,容易造成运行时错误(实例的属性会遮盖类的同名属性);

把表名保存到__table__中,这里简化为表名默认为类名。

在Model类中,就可以定义各种操作数据库的方法,比如save(),delete(),find(),update等等。

我们实现了save()方法,把一个实例保存到数据库中。因为有表名,属性到字段的映射和属性值的集合,就可以构造出INSERT语句。

编写代码试试:

u = User(id=12345, name='Michael', email='[email protected]', password='my-pwd')

u.save()

输出如下:

Found model: UserFound mapping: email ==>Found mapping: password ==>Found mapping: id ==>Found mapping: name ==>SQL: insert into User (password,email,username,id) values (?,?,?,?)ARGS: ['my-pwd', '[email protected]', 'Michael', 12345]

可以看到,save()方法已经打印出了可执行的SQL语句,以及参数列表,只需要真正连接到数据库,执行该SQL语句,就可以完成真正的功能。

不到100行代码,我们就通过metaclass实现了一个精简的ORM框架,是不是非常简单?

你可能感兴趣的:(python2)