PYTHON学习总结

升级 python 版本的问题

升级 python 一般会建立软连接，使系统默认的python指向高版本的 python，如：

mv /usr/bin/python /usr/bin/python2.6.6      

ln -s /usr/local/bin/python2.7 /usr/bin/python 


但由于 yum 命令是基于原版本的 python 来执行的，为解决修改软链接后，yum 不能正常工作的问题（可能版本不兼容，尤其是3.X）：

编辑 /usr/bin/yum：

#!/usr/bin/python     =>    #!/usr/bin/python2.6.6    即可

 

 

IDE:

不建议直接使用 IDLE 写代码，如果出现 TAB 和 SPACE 混用很难排查，可以使用 sublime_text 编写代码，ctrl + a 全选后，TAB 键为实线，空格为虚线标识。

建议直接使用 PyCharm ，windows、linux、mac 版本都有。还有 ulipad 也不错。另外推荐 Eclipse + PyDev 的组合，也很不错。

这三款IDE都可跨平台。

 

 

编码问题：

在使用 python2.x 时，将字符串写入文件时报错：UnicodeEncodeError: 'ascii' codec can't encode character u'\uff1a'，即ascii码无法被转换成unicode码（在读取MYSQL数据库中的中文数据时，也可能出现此问题）。如果使用 python3.x ，则无此编码问题。

默认 python2.x 的编码是 ascii ，可以使用 print sys.getdefaultencoding() 查看，修改方法有两种：

1、在代码中加入：

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

2、在安装目录的 Lib\site-packages\ 目录下新建 sitecustomize.py

import sys

sys.setdefaultencoding('utf-8') 

在 python 文件中有中文的话（即使是注释），则需要在文件头加上如下代码，否则会运行出错：

#coding:utf-8

 3、有时候会遇到中文输出时变成类似于 “\u5929\u6d25\u5546\u573a” 情况，此时只要把它转换成 unicode 对应的字符就可以了。

如： mystr = "\u5929\u6d25\u5546\u573a"

newstr = mystr.decode("unicode-escape")


　　

 

模块安装工具：

1、easy_install

一般随 python 自带。

2、pip

easy_install 的增强版，需要自行下载安装：

https://pypi.python.org/pypi/pip#downloads

使用方法如：

pip install MySQL-python

pip install xlrd

pip install xlwt

 

如果有错误，可能是缺少python头文件，yum install python-devel 即可。

 

基本语法：

零散：

a**b    ==  pow(a,b)

raw_input   &&  input

str && repr && ``

obj == eval(repr(obj))

eval(repr(type(type)))     #error

# 尽管str()和repr()运算在特性和功能方面都非常相似，事实上repr返回的是一个对象的“官方”字符串表示，也就是说绝大多数情况下可以通过求 值运算（使用内建函数eval()）重新得到该对象，但str()则有所不同。str()致力于生成一个对象的可读性好的字符串表示，它的返回结果通常无 法用于eval()求值，但很适合用于print语句输出。需要再次提醒的是，并不是所有repr()返回的字符串都能够用 eval()内建函数得到原来的对象。也就是说 repr() 输出对 Python比较友好，而str()的输出对用户比较友好。虽然如此，很多情况下这三者的输出仍然都是完全一样的。

r"C:\Program Files\fnord""\\"  == "C:\\Program Files\\fnord\\"

u"Hello,World!"    #python3.0中，所有字符串都是 Unicode 字符串。

python内建有6种序列：列表，元组，字符串，Unicode字符串，buffer对象和xrange对象。

元组不可修改，在几乎所有情况下列表都可以替换元组。（例外如，使用元组作为字典的键，因为键不可修改）

os.system("ls")    linux下可用来调用 shell 命令

 

通用序列操作：

1、索引访问：从0开始，并支持负数索引，表示从右边开始，最后1个元素的位置编号是 -1，这个要注意，因为无法为 -0

2、分片：[i:j]，包括 i 索引，不包括 j 索引。  [-3:] 最后三个元素。  [:3] 前三个元素。  [:] 所有元素。 通用版本： [i : j: step] 之前的版本 step==1，若 step>0 表示从左到右提取元素(即 j >= i)，反之则从右到左提取(即 j<=i)。切片需要大量练习以达到熟练。

3、序列相加：直接可以使用 + 符号连接两个序列。

4、序列相乘：使用数字 n 乘以一个序列会生成一个新序列，原来的序列会被重复 n 次。如：[0]*10 && [None]*10 ：初始化10个空元素的列表。　　

5、判断元素是否存在：in 运算符，返回值为 True 或 False。如  ("s" in "string") == True，从 python2.3 开始，支持子字符串判断，如：("st" in "string") == True，但是这只是字符串序列的特例。

6、长度(len)，最大值(max)，最小值(min)：如 len([1,2,3])

 

列表操作：

1、list 函数可以把所有序列转换成 list。可以通过 "".join(somelist) 来把字符组成的列表转换为字符串。

2、删除元素： del lt[0] ，del 还可以删除某个变量。

3、分片赋值，这个比较强大，可以使用与原序列不等长的序列将分片替换，也可以实现在任意一个位置直接插入一段新序列，同样的可以实现删除元素（分片替换为空序列，效果等同于 del lt[1:4]），更复杂的是加上步长，甚至是负数步长的分片赋值操作。

4、常用成员方法：append(element), count(element), entend(list2), index(element), insert(index,element), pop(index = last), remove(element), reverse(), sort(cmp=None, key=None, reverse=False)

 

元组操作：

1、当使用逗号分隔了一些值 ，就自动创建了元组。

2、一个元素的元组，必须加个逗号： (1,)，否则 (1) == 1。

3、tuple 函数可以把其它序列转换成 tuple

4、元组的操作很简单，一般只有创建元组和访问元组元素。

5、有了列表，为什么还要引入元组：一是元组可以在映射（和集合的成员）中当作键使用——而列表不行。二是元组作为很多内建函数和方法的返回值存在。

 

字符串操作：

1、字符串是不可变的，所以类似于分片赋值是不可行的。

2、字符串格式化：

#格式化操作符右操作数可以是任何东西，如字符串变量，元组或字典等

print "user'name is %s" %"tianya"  

print "username:%s password:%s" %("tianya","123456")

mydict = {"username":"tianya","password":"123456"}

print "username:%(username)s password:%(password)s" %mydict

如果格式化字符串里包括百分号，则必须使用 %% ，否则会被认为是转换说明符。

3、模板字符串：

from string import Template



s = Template("hello $x")

print s.substitute(x="world")

s = Template("username:${username}&&password:${password}")

mydict = {"username":"tianya","password":"123456"}

print s.substitute(mydict)

同样的，如果字符串里包括 $，则以 $$ 表示。

4、常用方法：非常多，请通过 help(str) 查看。

 

字典操作：

1、dict 函数可以把其他映射或序列对建立成字典，如： lt = [("tianya","zhenmu"),("123","456")]; dict(lt)  ,  dict(name="tianya",password="123456")

2、常用方法：clear(), copy(), deepcopy(dict), fromkeys(sequence,value=None), get(key), has_key(key), keys(), iterkeys(), items(), iteritems(), pop(key), popitem(item=last), values(), itervalues()

 

语句：

x,y,z = 1,2,3

print x,y,z

mytuple = (1,2)

x,y = mytuple

mydit = {"name":"tianya"}

key,value = mydict.popitem()

False,None,0,"",(),[],{}  都被认为是假，即标准的 False,None,0 和空序列，空字典

bool函数可以取表达式的布尔值

0<x<100

短路逻辑 a if b else c

assert x>0,"a not > 0"

能用 for 的地方就不要用 while

range 与 xrange

迭代工具

循环中的 else 可以测试是否是 break 跳出的

列表推导式

exec 与 eval 分别表示执行和求值字符串

 

 位置参数与关键字参数：

def fun(x,y,z=3, *pospar, **keypar):

    print x,y,z

    print pospar

    print keypar



fun(1,2,3,4,5,key1=10,key2=20)



输出：

1 2 3

(4, 5)

{'key2': 20, 'key1': 10}



fun(1,2)

输出：

1 2 3

()

{}

 

python 没有重载，也没有重载构造函数： __del__ 类似于析构函数，但无法确定什么时候会被调用，除非你使用 __del__ 显式删除对象。

class Person:

    def __init__(self,name = "zhangsan"):

        self.name = name



    def __del__(self):

        print "__del__()"



    def say(self):

        print self.name



p = Person()

p.say()

p2 = Person("lisi")

p2.say()

del p

 

特殊方法：

class User:

    def __init__(self,name = "tianya"):

        self.name = name



    def __del__(self):

        del self.name

        

    def __len__(self):

        return len(self.name)



    def __getitem__(self,key):

        return eval("self."+key)



    def __str__(self):

        return "user.name:"+self.name



    def __lt__(self,other):

        return self.name < other.name



user = User()

print len(user)

print user["name"]

print user



user2 = User("feng")

if user > user2:

    print user.name + ">" + user2.name

else:

    print user.name + "<" + user2.name



del user,user2

 

构造函数与析构函数：

def __init__( self ):

    pass



def __del__( self ):

    pass

 

 

 

IO 操作和持久化对象存储：

f = file("test.txt","w")

mylist = [1,2,3,4]

f.write(repr(mylist))

f.close()



f = file("test.txt")

while True:

    line = f.readline()

    if len(line) == 0:

        break

    print line

f.close()



import cPickle

f = file("test002.txt","w")

cPickle.dump(mylist,f)

f.close()

del mylist

f = file("test002.txt")

newlist = cPickle.load(f)

print newlist

 

 

python 打包工具：

常用的PYTHON打包工具有：py2exe、pyInstaller、cx-freeze，目前只有 cx-freeze 支持 python3.x

http://sourceforge.net/projects/py2exe/files/py2exe/0.6.9/

http://www.pyinstaller.org/

http://sourceforge.jp/projects/sfnet_cx-freeze/releases/

 

 

常用的UI库有：

Tkinter、wxPython、PyQt，这三个都是平台无关的，但如果使用 PyQt 为商业目的，则需要付费，否则遵循 GPL 协议。另外还有 PtGTK(Linux)、pywin32(windows)。其中，Tkinter 是标准库自带的，在 python2.x 中叫 Tkinter，在 python3.x 中叫 tkinter，推荐使用，虽然界面相对不漂亮。

 

 

操作 MYSQL 数据库的库有：

目前只用过 MySQLdb，感觉非常好用。

安装过程如下：

1、安装 Python 头文件：(如果手动使用源码升级过 python，这里直接把升级包中的 python 源码放进 /usr/local/include，不过一般已经在源码升级时自动做好了)

yum install python-devel　　

否则会报异常：fatal error: Python.h: 没有那个文件或目录

2、安装 mysql_config

apt-get install libmysqlclient-dev

3、MySQLdb

下载地址：http://sourceforge.net/projects/mysql-python/

python setup.py build

python setup.py install

4、示例代码如下：

import time

import MySQLdb



try:

    conn=MySQLdb.connect(host='211.152.53.103',user='root',passwd='123456',port=3306)

    cur=conn.cursor()

    cur.execute('drop database if exists python')

    cur.execute('create database if not exists python')

    conn.select_db('python')

    cur.execute('create table test(id int,info varchar(20))')





    for i in range(100):

        value=[i,'test:'+str(i)]

        cur.execute('insert into test values(%s,%s)',value)

        conn.commit()

        time.sleep(0)



    sql ="select * from test";

    cur.execute(sql)

    data = cur.fetchall()

    if data:

        for row in data:

            print row[0],row[1]

    cur.close()

    conn.close()



except MySQLdb.Error,e:

     print "Mysql Error %d: %s" % (e.args[0], e.args[1])

 

 

解析EXCEL的库有：

有 xlrd（支持 python 3.x,最新版本支持 .xlsx 格式）、xlwt（只支持 python2.x，.xls格式）。

安装 xlrd: python setup.py install

在 Excel 中插入图片：http://www.cnblogs.com/snake-hand/p/3153158.html

代码如下：

import xlrd

import sys

from tkinter import *

from tkinter import filedialog





def openexcel():

    filename = filedialog.askopenfilename(initialdir = 'c:/')

    if filename:

        data = xlrd.open_workbook(filename)



        #获取sheet名称，留为生成lua表的主键

        sheet_name = data.sheet_names()[0]





        table = data.sheet_by_name(sheet_name)



        #总行数和总列数

        row_count = table.nrows

        col_count = table.ncols





        #有效行数，判断依据：如果第一列向下有一个单元格内容为空，则视为结束

        valid_row_count = 0

        for item in table.col_values(0):

                if item:

                        valid_row_count = valid_row_count+1

                else:

                        break



        #有效列数，判断依据：标题行如果有一个单元格内容为空，则视为结束

        valid_col_count = 0

        for item in table.row_values(0):

                if item.strip():

                        valid_col_count = valid_col_count+1

                else:

                        break



        #print(row_count)

        #print(valid_row_count)

        #print(col_count)

        #print(valid_col_count)



        rows = table.nrows



        cols = table.ncols



        #get title_row:

        title_row = table.row_values(0)

        valid_title_list = []

        for colindex in range(valid_col_count):

                if title_row[colindex].find("(") > 0:

                        valid_title_list.append(title_row[colindex][0:title_row[colindex].find('(')])

                else:

                        valid_title_list.append(title_row[colindex])



        #print(valid_title_list)

        lua = sheet_name + "=\n"

        luadata = "{\n"



        #get data to lua

        for rowindex in range(1,valid_row_count):

                row = table.row_values(rowindex)

                if row:

                        luarow = "{"

                        for colindex in range(0,valid_col_count):

                                if isinstance(row[colindex],str):

                                        luarow = luarow + valid_title_list[colindex] + " = \"" + row[colindex].replace("\n"," ") +"\","

                                else:

                                        luarow = luarow + valid_title_list[colindex] + " = " + str(row[colindex]).replace("\n"," ") +","

                        luadata = luadata + "\t" + str(luarow) + "},\n"



        lua = lua + luadata + "}"

        print(lua)

        f = open(sheet_name + ".lua","w")

        f.write(lua)

        f.close()



root = Tk()

b1 = Button(root,text='open file',width=30,height=5,command=openexcel)

b1.pack()

root.mainloop()

 

综合EXCEL和MYSQL的例子：

import xlrd

import logging

import MySQLdb

import json



data = xlrd.open_workbook("data.xls")

sheet_name = data.sheet_names()[0]

table = data.sheet_by_name("sql")

row_count = table.nrows

col_count = table.ncols

logging.warning(row_count)

logging.warning(col_count)





i = 0

conn=MySQLdb.connect(host='100.112.113.114',user='test',passwd='1u12Z2Sfhs2',port=3306)

cur=conn.cursor()

conn.select_db('gamedb_901001')

for rowindex in range(1,row_count):

    i = i+1

    logging.warning(i)

    row = table.row_values(rowindex)

    mydict = dict()

    if str(row[1]) == '96':

        mydict['platformStr'] = "PLATFORM_TYEP_ERATING"

    else:

        mydict['platformStr'] = "PLATFORM_TYEP_91"

    mydict['eRoleID'] = int(row[5])

    mydict['eratingID'] = int(row[3])

    mydict['name'] = str(row[2])



    userid = int(row[7])



    sql = "update p_user set oneEratingUserData='%s' where id = %s" %(json.dumps(mydict),userid)

    cur.execute(sql)



cur.close()

conn.close()

 

 

 

调用 C 的动态库或静态库：

from ctypes import *

msvcrt=CDLL('msvcrt.dll')    #msvcrt =cdll.msvcrt            #以cdll的方式加载msvcrt  或者写作： msvcrt =cdll.LoadLibrary("msvcrt.dll")

msvcrt.printf('a=%d,b=%d,a+b=%d',1,2,1+2) 



windll.user32.MessageBoxA(0, "great", 'hello world', 0)

 

 调用自定义动态库：

//User.cpp:

class User

{

    public:

    int id;

    int age;

};



extern "C"{

    User user;

    int id = user.id;

}



gcc User.cpp -o libUser.so -shared -fPIC



//test.py:

from ctypes import *



h = CDLL('./libUser.so')

h.user.id = 3

print h.user.id

 

 

python 网络操作：

#!/usr/bin/python

import socket

import struct

import binascii

import json



def send(protocol, msg):

    ip = '127.0.0.1'

    port = '2014'

    sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

    try:

        sock.connect((ip,int(port)))

    except Exception:

        return "%s:%s connect error!" %(ip,port)

    buffer = struct.pack("IIII",protocol,len(json.dumps(msg)),binascii.crc32(json.dumps(msg)),1)



    sock.send(buffer)

    sock.send(json.dumps(msg))

    head = sock.recv(16)

    msg_body_size = struct.unpack("IIII",head)[1]



    response = str()

    block = str()

    while len(response)<msg_body_size:

        block = sock.recv(1024)

        response += block

    sock.close()

    return response

 

 

python 操作 plist :

https://github.com/wooster/biplist

 

pexpect 模块

是一个用来启动子程序并对其进行自动控制的纯 Python 模块

 

python 调用 shell 命令：

os.system(cmd) 　　不能获取执行后返回的信息

os.popen(cmd)　　　　不但执行命令还返回执行后的信息对象 

commands 模块

commands.getoutput('cmd')　　返回执行shell命令的标准和错误输出

commands.getstatusoutput('cmd')　　返回长度为2的元组，第一个元素是执行结果状态码(int)，第二个元素是标准和错误输出。即 tuple(status, output)

subprocess 模块

status = subprocess.call('./client 127.0.0.1 2014')  　　调用进程

 

wget https://raw.github.com/pypa/pip/master/contrib/get-pip.py &&　　#或：easy_install pip &&

python get-pip.py &&

pip install simplejson &&

pip install pexpect

 

 

模拟输入，自动化登录：

cmd2 = pexpect.spawn('scp GamePlist.zip %s@%s:/usr/local/apache2/htdocs/sailing/protocol/GamePlist.zip' %(username,host))

cmd2.expect('password:',timeout=5)

logging.warning(cmd2)

cmd2.sendline(password)

cmd2.sendline('\r')

 

 

python 的邮件操作：

#!/usr/bin/python

#coding:utf-8

import smtplib

from email.MIMEMultipart import MIMEMultipart

from email.mime.text import MIMEText

from email.mime.image import MIMEImage



mailto_list=['[email protected]']

mail_host="smtp.163.com"  #设置服务器

mail_user="[email protected]"   #用户名

mail_pass="123456"   #口令

mail_name = "发件人名称（随便写）"

mail_postfix="163.com"  #发件箱的后缀





def send_mail(to_list,sub,content):

    me= mail_name+"<"+mail_user+"@"+mail_postfix+">"



    msg = MIMEMultipart('related')

    msg['Subject'] = sub

    msg['From'] = me

    msg['To'] = ";".join(to_list)



    content = MIMEText(content,_subtype='html',_charset='gb2312')

    msg.attach(content)



    image = MIMEImage(open('test2.jpg','rb').read())

    image.add_header('Content-ID', '<image1>')

    msg.attach(image)



    attach_file = MIMEText(open('Resource.rar').read(),'base64','gb2312')

    attach_file["Content-Type"] = 'application/octet-stream'

    attach_file["Content-Disposition"] = 'attachment; filename="Resource.rar"'

    msg.attach(attach_file)



    try:

        server = smtplib.SMTP()

        server.connect(mail_host)

        server.login(mail_user,mail_pass)

        server.sendmail(me, to_list,msg.as_string())

        server.close()

        return True

    except Exception, e:

        print str(e)

        print 'error'

        return False



if __name__ == '__main__':

    #send_mail(mailto_list,u"测试邮件标题",u"<b><font color='red'>测试邮件正文。</font></b>")

    send_mail(mailto_list,u"测试邮件标题333",u"<font color='red'>这是红色的邮件正文。</font><br /><br />下面是一张图片:<br /><img src='cid:image1'>...")

    #send_mail(mailto_list,u"测试邮件标题",u"<font color='red'>测试邮件正文。</font>")