吓人的鸟
吓人的鸟

python学习笔记

官网http://www.python.org/

官网library http://docs.python.org/library/

PyPI https://pypi.python.org/pypi

中文手册，适合快速入门 http://download.csdn.net/detail/xiarendeniao/4236870

python cook book中文版 http://download.csdn.net/detail/XIARENDENIAO/3231793


1.数值尤其是实数很方便、字符串操作很炫、列表

    a = complex(1,0.4)
    a.real
    a.imag

    Unicode()

    字符串前加上r/R表示常规字符串，加上u/U表示unicode字符串

    列表的append()方法在列表末尾加一个新元素

2.流程控制 
while：
if:
	if xxx:
		...
	elif yyy:
		...
	elif xxx:
		...
	else:
		...
for
range()
break  continue  循环中的else
pass

3.函数
    1)def  funA(para)    没有return语句时函数返回None，参数传递进去的是引用
    2)默认参数，默认参数是列表、字典、类实例时要小心
    3)不定参数，def  funB(king, *arguments, **keywords) 不带关键字的参数值存在元组arguments中，关键字跟参数值存在字典keywords中。其实是元组封装和序列拆封的一个结合。
    4) def  funC(para1, para2, para3) 下面的调用把列表元素分散成函数参数funcC(*list)

    5)匿名函数 lambda arg1,arg2...:

        特点：创建一个函数对象，但是没有赋值给标识符（不同于def）;lambda是表达式，不是语句；“：”后面只能是一个表达式

    6)if  ‘ok’  in  (‘y’, ‘ye’, ‘yes’): xxxxx 关键字in的用法
    7)f = bambda x: x*2 等效于 def f(x): return x*2

4.数据结构
    1)[] help(list) append(x) extend(L) insert(i,x) remove(x) pop([i]) index(x) count(x) sort() reverse()
    2)List的函数化编程 filter()  map()  reduce()
    3)列表推导式 aimTags = [aimTag for aimTag in aimTags if aimTag not in filterAimTags]
    4)del删除列表切片或者整个变量
    5)() help(tuple) 元组tuple，其中元素和字符串一样不能改变。元组、字符串、列表都是序列。 Python 要求单元素元组中必须使用逗号，以此消除与圆括号表达式之间的歧义。这是新手常犯的错误
    6){} help(dict) 字典 keys() has_key() 可用以键值对元组为元素的列表直接构造字典
    7)循环 字典：for k, v in xxx.iteritems():… for item in xxx.items():... 序列：for i, v in enumerate([‘tic’, ‘tac’, ‘toe’]):… 同时循环多个序列：for q, a in zip(questions, answers):…
    8)in    not in    is    is not    a     9)相同类型的序列对象之间可以用< > ==进行比较

    10)判断变量类型的两种方法：isinstance（var,int） type(var).__name__=="int" 

          多种类型判断，isinstance(s,(str,unicode))当s是常规字符串或者unicode字符串都会返回True

    11）在循环中删除list元素时尤其要注意出问题，for i in listA:... listA.remove(i)是会有问题的，删除一个元素之后后面的元素就前移了；for i in len(listA):...del listA[i]也会有问题，删除元素后长度变化，循环会越界

            filter(lambda x:x !=4,listA)这种方式比较优雅

    listA = [ i for i in listA if i !=4] 也不错，或者直接创建一个新的列表算球

    效率：
    1)"if k in my_dict" 优于 "if my_dict.has_key(k)"

    2)"for k in my_dict" 优于 "for k in my_dict.keys()",也优于"for k in [....]"

12）set是dict的一种实现 https://docs.python.org/2/library/stdtypes.html#set-types-set-frozenset

>>> s1 = set([1,2,3,4,5]) 
>>> s2 = set([3,4,5,6,7,8]) 
>>> s1|s2
set([1, 2, 3, 4, 5, 6, 7, 8])
>>> s1-s2
set([1, 2])
>>> s2-s1
set([8, 6, 7])

5.模块
    1)模块名由全局变量__name__得到，文件fibo.py可以作为fibo模块被import fibo导入到其他文件或者解释器中，fibo.py中函数明明必须以fib开头
    2)import变体： from fibo import fib, fib2 然后不用前缀直接使用函数
    3)sys.path    sys.ps1    sys.ps2
    4)内置函数 dir() 用于按模块名搜索模块定义，它返回一个字符串类型的存储列表，列出了所有类型的名称：变量，模块，函数，等等
      help()也有类似的作用
    5)包 import packet1.packet2.module        from packet1.packet2 import module        from packet1.packet2.module import functionA
    6)import 语句按如下条件进行转换：执行 from package import * 时，如果包中的 __init__.py 代码定义了一个名为 __all__ 的列表，就会按照列表中给出的模块名进行导入
    7)sys.path打印出当前搜索python库的路径，可以在程序中用sys.path.append("/xxx/xxx/xxx")来添加新的搜索路径
    8)安装python模块时可以用easy_install，卸载easy_install -m pkg_name
    9)用__doc__可以得到某模块、函数、对象的说明，用__name__可以得到名字（典型用法：if __name__=='__main__'： ...）

6.IO

    1)str() unicode()  repr()  repr()  print  rjust()  ljust()  center()  zfill()  xxx%v  xxx%(v1,v2) 打印复杂对象时可用pprint模块（调试时很有用）

      对于自定义的类型，要支持pprint需要提供__repr__方法。对于pprint的结果不想直接给标准输出(pprint.pprint(var))可以用pprint.pformat(var).

    2)f = open(“fileName”, “w”) w r a r+  Win和Macintosh平台还有一个模式”b”
      f.read(size)
      f.readline()
      f.write(string)
      f.writelines(list)
      f.tell()
      f.seek(offset, from_what) from_what:0开头 1当前 2末尾 offset:byte数http://www.linuxidc.com/Linux/2007-12/9644p3.htm
      f.close()
      

      linecache模块可以方便的获取文件某行数据，在http-server端使用时要注意，尤其是操作大文件很危险，并发情况下很容易就让机器内存耗尽、系统直接挂掉（本人血的教训）

      文件操作时shutil比较好用

      os.walk()遍历目录下所有文件


    3)pickle模块(不是只能写入文件中)
    封装（pickling）类似于php的序列化：pickle.dump(objectX, fileHandle)
    拆封（unpickling）类似于php反序列化：objectX = pickle.load(fileHandle)

     msgpack(easy_install msgpack-python)比pickle和cpickle都好用一些,速度较快
    msgpack.dump(my_var, file('test_file_name','w'))
    msgpack.load(file('test_file_name','r'))

    4)raw_input()接受用户输入

7.class
    1)以两个下划线下头、以不超过一个下划线结尾成员变量和成员函数都是私有的，父类的私有成员在子类中不可访问

    2)调用父类的方法：1>ParentClass.FuncName(self,args) 2>super(ChildName,self).FuncName(args) 第二种方法的使用必须保证类是从object继承下来的，否则super会报错

    3)静态方法定义，在方法名前一行写上@staticmethod。可以通过类名直接调用。

#!/bin/python
#encoding=utf8
class A(object):
        def __init__(self, a, b):
                self.a = a
                self.b = b
        def show(self):
                print "A::show() a=%s b=%s" % (self.a,self.b)

class B(A):
        def __init__(self, a, b, c):
                #A.__init__(self,a,b)
                super(B,self).__init__(a,b) #super这种用法要求父类必须是从object继承的
                self.c = c

if __name__ == "__main__":
        b = B(1,2,3) 
        print b.a,b.b,b.c
        b.show()

#输出
xudongsong@sysdev:~$ python class_test.py 
1 2 3
A::show() a=1 b=2

8.编码
    常见的编码转换分为以下几种情况：

        unicode->其它编码
        例如：a为unicode编码 要转为gb2312。a.encode('gb2312')

        其它编码->unicode
        例如：a为gb2312编码，要转为unicode。 unicode(a, 'gb2312')或a.decode('gb2312')

        编码1 -> 编码2
        可以先转为unicode再转为编码2

        如gb2312转big5
        unicode(a, 'gb2312').encode('big5')

        判断字符串的编码
        isinstance(s, str) 用来判断是否为一般字符串
        isinstance(s, unicode) 用来判断是否为unicode

        如果一个字符串已经是unicode了，再执行unicode转换有时会出错(并不都出错)

>>> str2 = u"sfdasfafasf"
>>> type(str2)

>>> isinstance(str2,str)
False
>>> isinstance(str2,unicode)
True
>>> type(str2)

>>> str3 = "safafasdf"
>>> type(str3)        

>>> isinstance(str3,unicode)
False
>>> isinstance(str3,str)    
True
>>> str4 = r'asdfafadf'
>>> isinstance(str4,str)
True
>>> isinstance(str4,unicode)
False
>>> type(str4)

可以写一个通用的转成unicode函数：
        def u(s, encoding):
            if isinstance(s, unicode):
                return s
            else:
                return unicode(s, encoding)
    
9.线程
    1)要让子线程跟着父线程一起退出，可以对子线程调用setDaemon()
    2)对子线程调用join()方法可以让父线程等到子线程退出之后再退出

    3)ctrl+c只能被父线程捕获到（子线程不能调用信号捕获函数signal.signal(signal,function)），对子线程调用join()会导致父线程捕获不到ctrl+c，需要子线程退出后才能捕获到

附：成应元老师关于python信号的邮件
参考 http://stackoverflow.com/questions/631441/interruptible-thread-join-in-python
From http://docs.python.org/library/signal.html#module-signal:
Some care must be taken if both signals and threads are used in the same program. The fundamental thing to remember in using signals and threads simultaneously is: always perform signal() operations in the main thread of execution. Any thread can perform an alarm(), getsignal(), pause(), setitimer() or getitimer(); only the main thread can set a new signal handler, and the main thread will be the only one to receive signals (this is enforced by the Python signal module, even if the underlying thread implementation supports sending signals to individual threads). This means that signals can’t be used as a means of inter-thread communication. Use locks instead.
总是在主线程调用signal设置信号处理器，主线程将是唯一处理信号的线程。因此不要把线程间通信寄托在信号上，而应该用锁。
The second, from http://docs.python.org/library/thread.html#module-thread:
Threads interact strangely with interrupts: the KeyboardInterrupt exception will be received by an arbitrary thread. (When the signal module is available, interrupts always go to the main thread.)
当导入signal模块时， KeyboardInterrupt异常总是由主线程收到，否则KeyboardInterrupt异常会被任意一个线程接到。
直接按Ctrl+C会导致Python接收到SIGINT信号，转成KeyboardInterrupt异常在某个线程抛出，如果还有线程没有被 setDaemon，则这些线程照运行不误。如果用kill送出非SIGINT信号，且该信号没设置处理函数，则整个进程挂掉，不管有多少个线程 还没完成。

下面是signal的一个使用范例：

>>> import signal
>>> def f():
...     signal.signal(signal.SIGINT, sighandler)
...     signal.signal(signal.SIGTERM, sighandler)
...     while True:
...             time.sleep(1)
... 
>>> def sighandler(signum,frame):
...     print signum,frame
... 
>>> f()
^C2 
^C2 
^C2 
^C2


signal的设置和清除：

import signal, time

term = False

def sighandler(signum, frame):
        print "terminate signal received..."
        global term
        term = True

def set_signal():
        signal.signal(signal.SIGTERM, sighandler)
        signal.signal(signal.SIGINT, sighandler)

def clear_signal():
        signal.signal(signal.SIGTERM, 0)
        signal.signal(signal.SIGINT, 0)


set_signal()
while not term:
        print "hello"
        time.sleep(1)

print "jumped out of while loop"

clear_signal()
term = False
for i in range(5):
        if term:
                break
        else:
                print "hello, again"
                time.sleep(1)

[dongsong@bogon python_study]$ python signal_test.py 
hello
hello
hello
^Cterminate signal received...
jumped out of while loop
hello, again
hello, again
^C
[dongsong@bogon python_study]$
多进程程序使用信号时，要想让父进程捕获信号并对子进程做一些操作，应该在子进程启动完成以后再注册信号处理函数，否则子进程继承父进程的地址空间，也会有该信号处理函数，程序会混乱不堪 

from multiprocessing import Process, Pipe
import logging, time, signal

g_logLevel = logging.DEBUG
g_logFormat = "%(asctime)s %(levelname)s [%(filename)s:%(lineno)d]%(message)s"

def f(conn):
    conn.send([42, None, 'hello'])
    #conn.close()
    logging.basicConfig(level=g_logLevel,format=g_logFormat,stream=None)
    logging.debug("hello,world")

def f2():
    while True:
        print "hello,world"
        time.sleep(1)

termFlag = False
def sighandler(signum, frame):
    print "terminate signal received..."
    global termFlag
    termFlag = True

if __name__ == '__main__':
#    parent_conn, child_conn = Pipe()
#    p = Process(target=f, args=(child_conn,))
#    p.start()
#    print parent_conn.recv()   # prints "[42, None, 'hello']"
#    print parent_conn.recv()
#    p.join()

    p = Process(target=f2)
    p.start()
    signal.signal(signal.SIGTERM, sighandler)
    signal.signal(signal.SIGINT, sighandler)

    while not termFlag:
        time.sleep(0.5)
    print "jump out of the main loop"
    p.terminate()
    p.join()


10.Python 的内建函数locals() 。它返回的字典对所有局部变量的名称与值进行映射

    

11.扩展位置参数

def func(*args): ...

在参数名之前使用一个星号，就是让函数接受任意多的位置参数。

python把参数收集到一个元组中，作为变量args。显式声明的参数之外如果没有位置参数，这个参数就作为一个空元组。

关联item 3.4

   

12.扩展关键字参数（扩展键参数）

def accept(**kwargs): ...

python在参数名之前使用2个星号来支持任意多的关键字参数。

注意：kwargs是一个正常的python字典类型，包含参数名和值。如果没有更多的关键字参数，kwargs就是一个空字典。

位置参数和关键字参数参考这篇文章：http://blog.csdn.net/qinyilang/article/details/5484415      

>>> def func(arg1, arg2 = "hello", *arg3, **arg4):
...     print arg1
...     print arg2
...     print arg3
...     print arg4
... 

>>> func("xds","t1",t2="t2",t3="t3")
xds
t1
()
{'t2': 't2', 't3': 't3'}

13.装饰器 在函数前加上@another_method，用于对已有函数做包装、前提检查=工作，这篇文章写得很透彻 http://daqinbuyi.iteye.com/blog/1161274


14.异常处理的语法

import sys

try:
    f = open('myfile.txt')
    s = f.readline()
    i = int(s.strip())
except IOError, (errno, strerror):
    print "I/O error(%s): %s" % (errno, strerror)
except ValueError:
    print "Could not convert data to an integer."
except:
    print "Unexpected error:", sys.exc_info()[0]
    raise
   
>>> try:
...    raise Exception('spam', 'eggs')
... except Exception, inst:
...    print "error %s" % str(e)
...    print type(inst)     # the exception instance
...    print inst.args      # arguments stored in .args
...    print inst           # __str__ allows args to printed directly
...    x, y = inst          # __getitem__ allows args to be unpacked directly
...    print 'x =', x
...    print 'y =', y
...

('spam', 'eggs')
('spam', 'eggs')
x = spam
y = eggs

15.命令行参数的处理，用python的optparse库处理，具体用法见这篇文章 http://blog.chinaunix.net/space.php?uid=16981447&do=blog&id=2840082

from optparse import OptionParser
[...]
def main():
    usage = "usage: %prog [options] arg"
    parser = OptionParser(usage)
    parser.add_option("-f", "--file", dest="filename",
                      help="read data from FILENAME")
    parser.add_option("-v", "--verbose",
                      action="store_true", dest="verbose")
    parser.add_option("-q", "--quiet",
                      action="store_false", dest="verbose")
    [...]
    (options, args) = parser.parse_args()
    if len(args) != 1:
        parser.error("incorrect number of arguments")
    if options.verbose:
        print "reading %s..." % options.filename
    [...]

if __name__ == "__main__":
    main()
通俗的讲，make_option()和add_option()用于创建对python脚本的某个命令项的解析方式，用parse_args()解析后单个参数存入args元组，键值对参数存入options；dest指定键值对的key,不写则用命令的长名称作为key；help用于对脚本调用--help/-h时候解释对应命令；action描述参数解析方式，默认store表示命令出现则用dest+后跟的value存入options,store_true表示命令出现则以dest+True存入options,store_false表示命令出现则以dest+False存入options


16.最近用了BeautifulSoup v4，出现如下错误（之前用的是低版本的BeautifulSoup,没遇到这个错误）

HTMLParser.HTMLParseError: malformed start tag
解决办法：用easy_install html5lib，安装html5lib，替代HTMLParser

参考：http://topic.csdn.net/u/20090531/09/956454dd-ba13-4fa3-af3c-6bf7af5726dc.html

beautifulsoup官网：http://www.crummy.com/software/BeautifulSoup/

beautifulsoup的手册：http://www.crummy.com/software/BeautifulSoup/bs4/doc/

中文手册（用于快速入门）：http://www.leeon.me/upload/other/beautifulsoup-documentation-zh.html

下面是一个beautifulsoup的一些用法

[dongsong@localhost boosenspider]$ vpython
Python 2.6.6 (r266:84292, Dec  7 2011, 20:48:22) 
[GCC 4.4.6 20110731 (Red Hat 4.4.6-3)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> 
>>> 
>>> from bs4 import BeautifulSoup as soup
>>> s = soup('
  • 打卡
    • ')
>>> s

  • 打å�¡
    • 
>>> type(s)

>>> 
>>> 
>>> t = s.body.contents[0]
>>> t

  • 打å�¡
    • 
>>> import re
>>> t.findAll(name='a',attrs={'class':re.compile(r"btn_dks")})
[]
>>> t.findAll(name='a',attrs={'class':re.compile(r"btn_dk")}) 
[打�]
>>> t.findAll(name='a',attrs={'class':re.compile(r"btn_dk"),'href':None})
[]
>>> t.findAll(name='a',attrs={'class':re.compile(r"btn_dk"),'href':re.compile('')})
[打�]
>>> t.contents[0]
打�
>>> t.contents[0].string = "hello"
>>> t

  • hello
    • 
>>> t.contents[0].text
u'hello'
>>> t.contents[0].string
u'hello'
>>> t.findAll(name='a',attrs={'class':re.compile(r"btn_dk"),'text':re.compile('')})
[]
>>> t.findAll(name='a',attrs={'class':re.compile(r"btn_dk"),'text':re.compile('h')})
[]
>>> t.findAll(name='a',attrs={'class':re.compile(r"btn_dk"),'text':re.compile('^h')})
[]
>>> t.findAll(name='a',attrs={'class':re.compile(r"btn_dk")})                        
[hello]
>>> t.findAll(name='a',attrs={'class':re.compile(r"btn_dk")},text=re.compile(r'')) 
[hello]
>>> t.findAll(name='a',attrs={'class':re.compile(r"btn_dk")},text=re.compile(r'a'))   
[]
>>> t.findAll(name='a',attrs={'class':re.compile(r"btn_dk")},text=re.compile(r'^hell')) 
[hello]
>>> t.findAll(name='a',attrs={'class':re.compile(r"btn_dk")},text=re.compile(r'^hello$'))
[hello]
>>> 
>>> t.findAll(name='a',attrs={},text=re.compile(r'^hello$'))                             
[hello]
>>> 
>>> t

  • hello
    • 
>>> t1 = soup('
  • hello
    • ').body.contents[0]
>>> 
>>> t1

  • hello
    • 
>>> t == t1
True
>>> re.search(r'(^hello)|(^bbb)','hello')
<_sre.SRE_Match object at 0x25ef718>
>>> re.search(r'(^hello)|(^bbb)','hellosdfsd')
<_sre.SRE_Match object at 0x25ef7a0>
>>> re.search(r'(^hello)|(^bbb)','bbbsdfsdf') 
<_sre.SRE_Match object at 0x25ef718>
>>> t2 = t1.contents[0]
>>> t2
hello
>>> t2.findAll(name='a')
[] 
[GCC 4.4.6 20110731 (Red Hat 4.4.6-3)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> 
>>> 
>>> from bs4 import BeautifulSoup as soup
>>> s = soup('
  • 天涯婚礼堂
    • ') 
>>> s.findAll(name='a',attrs={'href':None})
[]
>>> s.findAll(name='a',attrs={'href':True})
[?¤???ˉ????¤????]
>>> import re
>>> s.findAll(name='a',attrs={'href':re.compile(r'')})
[?¤???ˉ????¤????]
>>> s1 =s
>>> s1

  • ?¤???ˉ????¤????
    • 
>>> id(s1)
140598579280080
>>> id(s)
140598579280080
>>> s1.body.contents[0].contents[0]['href']=None
>>> s1

  • ?¤???ˉ????¤????
    • 
>>> s

  • ?¤???ˉ????¤????
    • 
>>> id(s)
140598579280080
>>> id(s1)
140598579280080
>>> s.findAll(name='a',attrs={'href':re.compile(r'')})
[]
>>> s.findAll(name='a',attrs={'href':True})           
[]
>>> s.findAll(name='a',attrs={'href':None})
[?¤???ˉ????¤????]
>>> s.findAll(name='a')                    
[?¤???ˉ????¤????]
#text是一个用于搜索NavigableString对象的参数。它的值可以是字符串，一个正则表达式，一个list或dictionary，True或None，一个以NavigableString为参数的可调用对象
#None,False,''表示不做要求；re.compile(''),True表示必须有NavigableString存在 （跟attrs不同，attrs字典中指定为False的属性表示不能存在）
 #注意findAll函数text参数的使用，如下：
>>> rts = s2.findAll(name=u'ul',attrs={u'id': u'contentbar', u'st_type': 'nav'}, text=re.compile(r''))
>>> len(rts)
0
>>> rts = s2.findAll(name=u'ul',attrs={u'id': u'contentbar', u'st_type': 'nav'}, text='')
>>> len(rts)
1
>>> rts = s2.findAll(name=u'ul',attrs={u'id': u'contentbar', u'st_type': 'nav'}, text=True)
>>> len(rts)
0
>>> rts = s2.findAll(name=u'ul',attrs={u'id': u'contentbar', u'st_type': 'nav'}, text=False)
>>> len(rts)
1
>>> rts = s2.findAll(name=u'ul',attrs={u'id': u'contentbar', u'st_type': 'nav'}, text=None) 
>>> len(rts)
1 
#关于string属性的用法，以及其在什么类型元素上出现的问题
>>> from bs4 import BeautifulSoup as soup
>>> soup1 = soup('hello,aaaa').body.contents[0]
>>> soup1
hello,aaaa
>>> soup1.string
>>> soup1.name
u'b'
>>> soup1.text
u'hello,aaaa'
>>> type(soup1)

>>> soup1.contents[0]
u'hello,'
>>> type(soup1.contents[0])

>>> soup1.contents[0].string
u'hello,'
>>> soup2 = soup('hello').body.contents[0]
>>> type(soup2)

>>> soup2.string
u'hello'
#limit的用法，为零表示不限制
>>> soup2.findAll(name='a',text=False,limit=0)
[, 匆匆那年]
>>> soup2.findAll(name='a',text=False,limit=1)
[] 

    BeautifulSoup的性能一般，但是对于不合法的hetml标签有很强的修复和容错能力，对于编码问题，能确定来源页面编码的情况下可以通过BeautifulSoup的构造函数（参数from_encoding）指定（如我解析天涯的页面时就指定了from_encoding='gbk'），不确定来源的话可以依赖bs的自动编码检测和转换(可能会有乱码，毕竟机器没人这么聪明)。

    BeautifulSoup返回的对象、以及其各节点内的数据都是其转换后的unicode编码。


    ---------->

    今天遇到一个小问题

    有一段html源码在bs3.2.1下构建bs对象失败，抛出UnicodeEncodeError，不论把源码用unicode还是utf-8或者lantin1传入都报错，而且bs3.2.1构造函数居然没有from_encoding的参数可用

    尼玛，在bs4下就畅行无阻，不论用unicode编码传入还是utf-8编码传入，都不用指定from_encoding（编码为utf-8、不指定from_encoding时出现乱码，但是也没有报错呀，谁有bs3那么脆弱啊！）

    总结一个道理，代码在某个版本库下面测试稳定了以后用的时候安装相应版本的库就ok了，为嘛要委曲求全的做兼容，如果低版本的库有bug我也兼容吗？兼？贱！

    <--------------------2012-06-08 18:20


    bs4构建对象：

    [dongsong@bogon boosenspider]$ cat bs_constrator.py                                        
#encoding=utf-8

from bs4 import BeautifulSoup as soup
from bs4 import Tag

if __name__ == '__main__':
        sou = soup('
    ')

        tag1 = Tag(sou, name='div')
        tag1['id'] = 'gentie1'
        tag1.string = 'hello,tag1'
        sou.div.insert(0,tag1)

        tag2 = Tag(sou, name='div')
        tag2['id'] = 'gentie2'
        tag2.string = 'hello,tag2'
        sou.div.insert(1,tag2)

        print sou
    [dongsong@bogon boosenspider]$ vpython bs_constrator.py

    hello,tag1
    hello,tag2

    cgi可以对html字符串转义(escape);HTMLParser可以取消html的转义(unescape)

    >>> t = Tag(name='t')                            
>>> t.string=""                          
>>> t

>>> str(t)
""
>>> t.string
u""
>>> HTMLParser.HTMLParser().unescape(str(t))
u""
>>> s1
u""
>>> 
>>> s2 = cgi.escape(s1)
>>> s2
u"<t><img src='www.baidu.com'/></t>"
>>> HTMLParser.HTMLParser().unescape(s2)
u""

    17.加密md5模块或者hashlib模块 

    >>> md5.md5("asdfadf").hexdigest()
'aee0014b14124efe03c361e1eed93589'
>>> import hashlib
>>> hashlib.md5("asdfadf").hexdigest()
'aee0014b14124efe03c361e1eed93589'

    18.urllib2.urlopen(url)不设置超时的话可能会一直等待远端服务器的反馈，导致卡死

    urlFile = urllib2.urlopen(url, timeout=g_url_timeout)
urlData = urlFile.read()

    19.正则匹配 re模块

          用三个单引号括起来的字符串可以跨行，得到的实际字符串里面有\n，这个得注意

          用单引号或者双引号加上\也可以实现字符串换行，得到的实际字符串没有\和\n，但是在做正则匹配时写正则串不要用这种方式写，会匹配不上的

    >>> ss = '''
... hell0,a
... shhh
... liumingdong
... xudongsong
... hello
... '''
>>> ss
'\nhell0,a\nshhh\nliumingdong\nxudongsong\nhello\n'
SyntaxError: EOL while scanning string literal
>>> sss = 'aaaa\
... bbbb\
... cccccc'
>>> sss
'aaaabbbbcccccc'
>>> s3 = r'(^hello)|\
... (abc$)'
>>> 
>>> re.search(s3,'hello,world')
<_sre.SRE_Match object at 0x7f95233047a0>
#第一行的正则串匹配成功
>>> re.search(s3,'aaa,hello,worldabc')
#第二行的匹配失败
>>> s4 = r'(^hello)|(abc$)'
#s4没有用单引号加\做跨行，则两个正则串都匹配上了
>>> re.search(s4,"hello,world")
<_sre.SRE_Match object at 0x182e690>
>>> re.search(s4,"aaa,hello,worldabc")
<_sre.SRE_Match object at 0x7f95233047a0>
>>> 
#注意如何取匹配到的子串（把要抽取的子串对应的正则用圆括号括起来，group从1开始就是圆括号对应的子串）
>>> re.search(r'^(\d+)abc(\d+)$','232abc1').group(0,1,2)
('232abc1', '232', '1')

#下面是一个re和lambda混合使用的一个例子

#encoding=utf-8

import re

f = lambda arg: re.search(u'^(\d+)\w+',arg).group(1)
print f(u'1111条评论')
try:
        f(u'aaaa')
except AttributeError,e:
        print str(e)
:!python re_lambda.py
111
'NoneType' object has no attribute 'group'

    re.findall（）很好用的哦

    >>> re.findall(r'\\@[A-Za-z0-9]+', s)
['\\@userA', '\\@userB']
>>> s
'hello,world,\\@userA\\@userB'
>>> re.findall(r'\\@([A-Za-z0-9]+)', s)
['userA', 'userB']

    20.写了个爬虫，之前在做一些url的连接时总是自己来根据各种情况来处理，比如./xxx  #xxxx /xxx神马的都要考虑，太烦了，后来发现有现成的东西可以用

    >>>from urlparse import urljoin
>>>import urllib 
>>>url = urljoin(r"http://book.douban.com/tag/?view=type",u"./网络小说")
>>> url
u'http://book.douban.com/tag/\u7f51\u7edc\u5c0f\u8bf4'
>>> conn2 = urllib.urlopen(url)               
Traceback (most recent call last):
  File "", line 1, in 
  File "/usr/lib64/python2.6/urllib.py", line 86, in urlopen
    return opener.open(url)
  File "/usr/lib64/python2.6/urllib.py", line 179, in open
    fullurl = unwrap(toBytes(fullurl))
  File "/usr/lib64/python2.6/urllib.py", line 1041, in toBytes
    " contains non-ASCII characters")
UnicodeError: URL u'http://book.douban.com/tag/\u7f51\u7edc\u5c0f\u8bf4' contains non-ASCII characters
>>> conn2 = urllib.urlopen(url.encode('utf-8'))

    21.urllib2做http请求时如何添加header，如何获取cookie的值 

    >>> request = urllib2.Request("http://img1.gtimg.com/finance/pics/hv1/46/178/1031/67086211.jpg",headers={'If-Modified-Since':'Wed, 02 May 2012 18:32:20 GMT'})
#等同于request.add_header('If-Modified-Since','Wed, 02 May 2012 18:32:20 GMT')
>>> urllib2.urlopen(request)
Traceback (most recent call last):
  File "", line 1, in 
  File "/usr/lib64/python2.6/urllib2.py", line 126, in urlopen
    return _opener.open(url, data, timeout)
  File "/usr/lib64/python2.6/urllib2.py", line 397, in open
    response = meth(req, response)
  File "/usr/lib64/python2.6/urllib2.py", line 510, in http_response
    'http', request, response, code, msg, hdrs)
  File "/usr/lib64/python2.6/urllib2.py", line 435, in error
    return self._call_chain(*args)
  File "/usr/lib64/python2.6/urllib2.py", line 369, in _call_chain
    result = func(*args)
  File "/usr/lib64/python2.6/urllib2.py", line 518, in http_error_default
    raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
urllib2.HTTPError: HTTP Error 304: Not Modified
>>> urllib.urlencode({"aaa":"bbb"})
'aaa=bbb'
>>> urllib.urlencode([("aaa","bbb")])
'aaa=bbb'
#urlencode的使用，在提交post表单时需要把参数k-v用urlencode处理后放入头部
#urllib2.urlopen(url,data=urllib.urlencode(...))

    今天(13.7.4)遇到一个问题是登录某个站点时需要把第一次访问服务器植入的csrftoken作为post数据一起返给服务器，所以就研究了写怎么获取cooke的值，具体代码不便透漏，把栈溢出上的一个例子摆出来(主要看获取cookie数据的那几行代码)

    http://stackoverflow.com/questions/10247054/http-post-and-get-with-cookies-for-authentication-in-python

    [dongsong@localhost python_study]$ cat cookie.py 
from urllib2 import Request, build_opener, HTTPCookieProcessor, HTTPHandler
import httplib, urllib, cookielib, Cookie, os

conn = httplib.HTTPConnection('webapp.pucrs.br')

#COOKIE FINDER
cj = cookielib.CookieJar()
opener = build_opener(HTTPCookieProcessor(cj),HTTPHandler())
req = Request('http://webapp.pucrs.br/consulta/principal.jsp')
f = opener.open(req)
html = f.read()
import pdb
pdb.set_trace()
for cookie in cj:
    c = cookie
#FIM COOKIE FINDER

params = urllib.urlencode ({'pr1':111049631, 'pr2':'sssssss'})
headers = {"Content-type":"text/html",
           "Set-Cookie" : "JSESSIONID=70E78D6970373C07A81302C7CF800349"}
            # I couldn't set the value automaticaly here, the cookie object can't be converted to string, so I change this value on every session to the new cookie's value. Any solutions?

conn.request ("POST", "/consulta/servlet/consulta.aluno.ValidaAluno",params, headers) # Validation page
resp = conn.getresponse()

temp = conn.request("GET","/consulta/servlet/consulta.aluno.Publicacoes") # desired content page
resp = conn.getresponse()

print resp.read()


    22.如何修改logging的日志输出文件，尤其在使用multiprocessing模块做多进程编程时这个问题变得更急迫，因为子进程会继承父进程的日志输出文件和格式.... 

    def change_log_file(fileName):
	h = logging.FileHandler(fileName)
	h.setLevel(g_logLevel)
	h.setFormatter(logging.Formatter(g_logFormat))
	
	logger = logging.getLogger()
	#print logger.handlers
	for handler in logger.handlers:
		handler.close()
	while len(logger.handlers) > 0:
		logger.removeHandler(logger.handlers[0])
		
	logger.addHandler(h)

    logging设置logger、handler、formatter可以参见django的配置文件，下面是个人写的一个小例子

    [dongsong@localhost python_study]$ cat logging_test.py 
#encoding=utf-8
import logging, sys

if __name__ == '__main__':
        logger = logging.getLogger('test')
        logger.setLevel(logging.DEBUG)
        print 'log handlers: %s' % str(logger.manager.loggerDict)
        logger.error('here')
        logger.warning('here')
        logger.info('here')
        logger.debug('here')

        #handler = logging.FileHandler('test.log')
        handler = logging.StreamHandler(sys.stdout)
        handler.setLevel(logging.DEBUG)
        formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
        handler.setFormatter(formatter)
        logger.addHandler(handler)
        #logging.getLogger('test').addHandler(logging.NullHandler()) # python 2.7+
        logger.error('here')
        logger.warning('here')
        logger.info('here')
        logger.debug('here')
[dongsong@localhost python_study]$ vpython logging_test.py 
log handlers: {'test': }
No handlers could be found for logger "test"
2012-12-26 11:30:48,725 - test - ERROR - here
2012-12-26 11:30:48,725 - test - WARNING - here
2012-12-26 11:30:48,725 - test - INFO - here
2012-12-26 11:30:48,725 - test - DEBUG - here

    23.multiprocessing模块使用demo 

    import multiprocessing
from multiprocessing import Process
import time

def func():
        for i in range(3):
                print "hello"
                time.sleep(1)

proc = Process(target = func)
proc.start()

while True:
        childList = multiprocessing.active_children()
        print childList
        if len(childList) == 0:
                break
        time.sleep(1)
    [dongsong@bogon python_study]$ python multiprocessing_children.py 
[]
hello
[]
hello
[]
hello
[]
[]
[dongsong@bogon python_study]$ fg

    multiprocessing的Pool模块（进程池）是很好用的，今天差点多此一举的自己写了一个（当然，自己写也是比较easy的，只是必然没官方的考虑周到）

    [dongsong@bogon python_study]$ vpython
Python 2.6.6 (r266:84292, Jun 18 2012, 14:18:47) 
[GCC 4.4.6 20110731 (Red Hat 4.4.6-3)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> from multiprocessing import Pool
>>> import time
>>> poolObj = Pool(processes = 10)
>>> procObj = poolObj.apply_async(time.sleep, (20,))
>>> procObj.get(timeout = 1)
Traceback (most recent call last):
  File "", line 1, in 
  File "/usr/lib64/python2.6/multiprocessing/pool.py", line 418, in get
    raise TimeoutError
multiprocessing.TimeoutError
>>> print procObj.get(timeout = 21)
None
>>> poolObj.__dict__['_pool']
[, , , , , , , , , ]
>>> poolObj.close()
>>> poolObj.join()

    24.关于bs的编码和str()函数编码的问题在下面的demo里面可见一斑(跟str()类似的内建函数是unicode())

    #encoding=utf-8
from bs4 import BeautifulSoup as soup

tag = soup((u"
    白痴代码
    "),from_encoding='unicode').body.contents[0]
newStr = str(tag) #tag内部的__str__()返回utf-8编码的字符串（tag不实现__str__()的话就会按照本文第38条表现了）
print type(newStr),isinstance(newStr,unicode),newStr
try:
        print u"[unicode]hello," + newStr #自动把newStr按照unicode解释，报错
except Exception,e:
        print str(e)
print "[utf-8]hello," + newStr
print u"[unicode]hello," + newStr.decode('utf-8')

    [dongsong@bogon python_study]$ vpython tag_str_test.py 
 False 
    白痴代码
    
'ascii' codec can't decode byte 0xe7 in position 3: ordinal not in range(128)
[utf-8]hello,
    白痴代码
    
[unicode]hello,
    白痴代码

    25.关于MySQLdb使用的一些问题 http://mysql-python.sourceforge.net/
         1> 这里是鸟人11年在某个项目中封装的数据库操作接口database.py，具体的数据库操作可以继承该类并实现跟业务相关的接口
         2>cursor.execute(), cursor.fetchall()查出来的是unicode编码，即使指定connect的charset为utf8

         3>查询语句需要注意的问题见下述测试代码；推荐的cursor.execute()用法是cursor.execute(sql, args)，因为底层会自动做字符串逃逸

             If you're not familiar with the Python DB-API, notethat the SQL statement incursor.execute() uses placeholders,"%s",rather than adding parameters directly within the SQL. If you use thistechnique, the underlying database library will automatically add quotes andescaping to your parameter(s) as necessary. (Also note that Django expects the"%s" placeholder,not the "?" placeholder, which is used by the SQLitePython bindings. This is for the sake of consistency and sanity.)

         4>规范的做法需要conn.cursor().execute()后conn.commit()，否则在某些不支持自动提交的数据库版本上会有问题

         5>对于插入操作成功后新增记录对应的自增主键可以用MySQLdb.connections.Connection.insert_id()来获取（MySQLdb.connections.Connection就是MySQLdb.connect()返回的mysql连接）（2014.5.29）

    #encoding=utf-8
import MySQLdb

conn = MySQLdb.connect(host = "127.0.0.1", port = 3306, user = "xds", passwd = "xds", db = "xds_db", charset = 'utf8')
cursor = conn.cursor()
print cursor

siteName = u"百度贴吧"
bbsNames = [u"明星", u"影视"]


siteName = siteName.encode('utf-8')
for index in range(len(bbsNames)):
        bbsNames[index] = bbsNames[index].encode('utf-8')

#正确的用法
#args = tuple([siteName] + bbsNames)
#sql = "select bbs from t_site_bbs where site = %s and bbs in (%s,%s)"
#rts = cursor.execute(sql,args)
#print rts

#正确的用法
args = tuple([siteName] + bbsNames)
sql = "select bbs from t_site_bbs where site = '%s' and bbs in ('%s','%s')" % args
print sql
rts = cursor.execute(sql)
print rts

#错误的用法,报错
#args = tuple([siteName] + bbsNames)
#sql = "select bbs from t_site_bbs where site = %s and bbs in (%s,%s)" % args
#rts = cursor.execute(sql)
print rts

#错误的用法,不报错，但是查不到数据(bbsName的成员是数字串或者英文字符串时正确)
#sql = "select bbs from t_site_bbs where site = '%s' and bbs in %s" % (siteName, str(tuple(bbsNames)))
#print sql
#rts = cursor.execute(sql)
#print rts


rts = cursor.fetchall()
for rt in rts:
        print rt[0]


    对于有自增列的数据表，insert之后可以通过cursor.lastrowid获取刚插入的记录的自增id，update不行

    参考：http://stackoverflow.com/questions/706755/how-do-you-safely-and-efficiently-get-the-row-id-after-an-insert-with-mysql-usin


    26.关于时间

    [dongsong@bogon boosencms]$ vpython
Python 2.6.6 (r266:84292, Dec  7 2011, 20:48:22) 
[GCC 4.4.6 20110731 (Red Hat 4.4.6-3)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import time
>>> time.gmtime()
time.struct_time(tm_year=2012, tm_mon=5, tm_mday=18, tm_hour=4, tm_min=14, tm_sec=55, tm_wday=4, tm_yday=139, tm_isdst=0)
>>> time.localtime()
time.struct_time(tm_year=2012, tm_mon=5, tm_mday=18, tm_hour=12, tm_min=15, tm_sec=2, tm_wday=4, tm_yday=139, tm_isdst=0)
>>> time.time()
1337314595.7790151
>>> time.timezone
-28800
>>> time.gmtime(time.time())
time.struct_time(tm_year=2012, tm_mon=5, tm_mday=18, tm_hour=4, tm_min=19, tm_sec=45, tm_wday=4, tm_yday=139, tm_isdst=0)
>>> time.localtime(time.time())
time.struct_time(tm_year=2012, tm_mon=5, tm_mday=18, tm_hour=12, tm_min=19, tm_sec=54, tm_wday=4, tm_yday=139, tm_isdst=0)
>>> time.strftime("%a, %d %b %Y %H:%M:%S +0800", time.localtime(time.time()))
'Fri, 18 May 2012 12:21:20 +0800'
>>> time.strftime("%a, %d %b %Y %H:%M:%S +0000", time.gmtime(time.time()))   
'Fri, 18 May 2012 04:21:36 +0000'
#%Z这玩意到底怎么用的，下面也没搞明白
>>> time.strftime("%a, %d %b %Y %H:%M:%S %Z", time.gmtime(time.time()))
'Fri, 18 May 2012 04:23:09 CST'
>>> time.strftime("%a, %d %b %Y %H:%M:%S %Z", time.localtime(time.time()))
'Fri, 18 May 2012 12:23:31 CST'
>>> timeStr = time.strftime("%a, %d %b %Y %H:%M:%S +0000", time.gmtime(time.time()))         
>>> timeStr
'Fri, 18 May 2012 04:24:29 +0000'
>>> t = time.strptime(timeStr, "%a, %d %b %Y %H:%M:%S %Z")              
Traceback (most recent call last):
  File "", line 1, in 
  File "/usr/lib64/python2.6/_strptime.py", line 454, in _strptime_time
    return _strptime(data_string, format)[0]
  File "/usr/lib64/python2.6/_strptime.py", line 325, in _strptime
    (data_string, format))
ValueError: time data 'Fri, 18 May 2012 04:24:29 +0000' does not match format '%a, %d %b %Y %H:%M:%S %Z'
>>> t = time.strptime(timeStr, "%a, %d %b %Y %H:%M:%S +0000")
>>> t
time.struct_time(tm_year=2012, tm_mon=5, tm_mday=18, tm_hour=4, tm_min=24, tm_sec=29, tm_wday=4, tm_yday=139, tm_isdst=-1)
#下面是datetime的用法
>>> import datetime
>>> datetime.datetime.today()
datetime.datetime(2012, 5, 18, 12, 28, 25, 892141)
>>> datetime.datetime(2012,12,12,23,54)
datetime.datetime(2012, 12, 12, 23, 54)
>>> datetime.datetime(2012,12,12,23,54,32)
datetime.datetime(2012, 12, 12, 23, 54, 32)
>>> datetime.datetime.fromtimestamp(time.time())
datetime.datetime(2012, 5, 18, 12, 29, 15, 130257)
>>> datetime.datetime.utcfromtimestamp(time.time())
datetime.datetime(2012, 5, 18, 4, 29, 34, 897017)
>>> datetime.datetime.now()
datetime.datetime(2012, 5, 18, 12, 29, 52, 558249)
>>> datetime.datetime.utcnow()
datetime.datetime(2012, 5, 18, 4, 30, 6, 164009)
>>> datetime.datetime.fromtimestamp(time.time()).strftime("%a, %d %b %Y %H:%M:%S")                                                    
'Fri, 18 May 2012 17:05:30'
>>> datetime.datetime.today().strftime("%a, %d %b %Y %H:%M:%S")                          
'Fri, 18 May 2012 17:05:44'
>>> datetime.datetime.strptime('Fri, 18 May 2012 04:24:29', "%a, %d %b %Y %H:%M:%S")    
datetime.datetime(2012, 5, 18, 4, 24, 29)
    >>> datetime.datetime.fromtimestamp(time.time()).strftime('%X')  
'17:07:14'
>>> datetime.datetime.fromtimestamp(time.time()).strftime('%x')  
'02/28/15'
>>> datetime.datetime.fromtimestamp(time.time()).strftime('%c')  
'Sat Feb 28 17:07:24 2015'

    %a 英文星期简写
    %A 英文星期的完全
    %b 英文月份的简写
    %B 英文月份的完全
    %c 显示本地日期时间
    %d 日期，取1-31
    %H 小时， 0-23
    %I 小时， 0-12
    %m 月， 01 -12

    %M 分钟，0-59

    %S 秒，0-61（官网这样写的）

    %j 年中当天的天数
    %w 显示今天是星期几
    %W 第几周
    %x 当天日期
    %X 本地的当天时间
    %y 年份 00-99间
    %Y 年份的完整拼写

    27.关于整数转字符串的陷阱

    有些整数是int，有些是long,对于long调用str()处理后返回的字符串是数字+L，该long数字在list等容器中时，对容器调用str()处理时也有这个问题，用者需谨慎啊！
    至于一个整数什么时候是int，什么时候是long鸟人正在研究...（当然，指定int或者long就肯定是int或者long了）

    28.join()的用法（列表中的元素必须是字符串）

    >>> l = ['a','b','c','d']
>>> '&'.join(l)
'a&b&c&d'

    29.python的pdb调试

    http://www.ibm.com/developerworks/cn/linux/l-cn-pythondebugger/

    跟gdb很类似：

    b line_number 加断点，还可以指定文件和函数加断点

    b 180, childWeiboRt.retweetedId == 3508203280986906 条件断点

    b 显示所有断点

    cl breakpoint_number 清除某个断点

    cl 清除所有断点

    c 继续

    n 下一步

    s 跟进函数内部

    bt 调用栈

    whatis obj 查看某变量类型（跟python的内置函数type()等效）

    up 移到调用栈的上一层（frame）,可以看该调用点的代码和变量（当然，程序实际进行到哪里了是不可改变的）

    down 移到调用栈的下一层（frame）,可以看该调用点的代码和变量（当然，程序实际进行到哪里了是不可改变的）

    ...

    调试过程中要查看某实例（instanceObj）的属性值可用下述语句：

    for it in [(attr,getattr(instanceObj,attr)) for attr in dir(instanceObj)]: print it[0],'-->',it[1]

    30.在函数内部获取函数名

    >>> import sys
>>> def f2():
...     print sys._getframe().f_code.co_name
... 
>>> f2()
f2


    31.url中的空格等特殊字符的处理

    url出现了有+，空格，/，?，%，#，&，=等特殊符号的时候，可能在服务器端无法获得正确的参数值，如何是好？
    解决办法
    将这些字符转化成服务器可以识别的字符，对应关系如下：
    URL字符转义
    用其它字符替代吧，或用全角的。
    +    URL中+号表示空格                                %2B  
    空格 URL中的空格可以用+号或者编码           %20
    /  分隔目录和子目录                                    %2F    
    ?   分隔实际的URL和参数                             %3F    
    %   指定特殊字符                                         %25   
    #   表示书签                                                 %23    
    &    URL中指定的参数间的分隔符                  %26    
    =    URL中指定参数的值                               %3D

    >>> import urllib
>>> import urlparse
>>> urlparse.urljoin('http://s.weibo.com/weibo/',urllib.quote('python c++')) 
'http://s.weibo.com/weibo/python%20c%2B%2B'


    当url与特殊字符碰撞、然后参数又用于有特殊字符的搜索引擎（lucene等）....

    需要把url转义再转义，否则特殊字符安全通过http协议后就裸体进入搜索引擎了，查到的将不是你要的东东...

    参考：http://stackoverflow.com/questions/688766/getting-401-on-twitter-oauth-post-requests

    通过观察url可以发现http://s.weibo.com浏览器脚本也是做了这种处理的

    [dongsong@bogon python_study]$ cat url.py 
#encoding=utf-8

import urllib, urlparse

if __name__ == '__main__':
        baseUrl = 'http://s.weibo.com/weibo/'
        url = urlparse.urljoin(baseUrl, urllib.quote(urllib.quote('python c++')))
        print url
        conn = urllib.urlopen(url)
        data = conn.read()
        f = file('/tmp/d.html', 'w')
        f.write(data)
        f.close()
    [dongsong@bogon python_study]$ vpython url.py 
http://s.weibo.com/weibo/python%2520c%252B%252B


    32.json模块编码问题

    json.dumps()默认行为：

            把数据结构中所有字符串转换成unicode编码，然后对unicode串做编码转义(\u56fd变成\\u56fd)再整个导出utf-8编码(由参数encoding的默认值utf-8控制，没必要动它)的json串

            如原数据结构中的元素编码不一致不影响dumps函数的行为，因为导出json串之前会把所有元素串转换成unicode串

    参数ensure_ascii默认是True，如设置为False会改变dumps的行为：

            原数据结构中的字符串编码为unicode则导出的json串是unicode串，且内部unicode串不做转义(\u56fd还是\u56fd)；

            原数据结构中的字符串编码为utf-8则导出的json串是utf-8串，且内部utf-8串不做转义(\xe5\x9b\xbd还是\xe5\x9b\xbd)；

            如原数据结构中的元素编码不一致则dumps函数会出现错误

            通过这种方式拿到的json串是可以做编码转换的，默认行为得到的json串不行(因为原数据结构的字符串元素被转义了，对json串整个做编码转换无法触动原数据结构的字符串元素)

            warning--->2012-07-11 10:00:

                      今天遇到一个问题，用这种方式转一个带繁体字的字典，转换成功，只是把json串入库时报错

                      _mysql_exceptions.Warning: Incorrect string value: '\xF0\x9F\x91\x91\xE7\xAC...' for column 'detail' at row 1

                      而用第一种方式存库就没有问题，初步认定是json.dumps(ensure_ascii = False)对繁体字的处理有编码问题

    对于一些编码比较杂乱的数据，可能json.loads()会抛UnicodeDecodeError异常（比如我今天（2013.3.19）遇到的qq开放平台API返回的utf8编码json串在反解时总遇到这个问题），可如下解决：

            myString = jsonStr.decode('utf-8', 'ignore') #转成unicode,并忽略错误

             jsonObj = json.loads(myString)

            可能会丢数据，但总比什么也不干要强。

    #encoding=utf-8

import json
from pprint import pprint

def show_rt(rt):
        pprint(rt)
        print rt
        print "type(rt) is %s" % type(rt)

if __name__ == '__main__':
        unDic = {
                        u'中国':u'北京',
                        u'日本':u'东京',
                        u'法国':u'巴黎'
                }
        utf8Dic = {
                        r'中国':r'北京',
                        r'日本':r'东京',
                        r'法国':r'巴黎'
                }

        pprint(unDic)
        pprint(utf8Dic)

        print "\nunicode instance dumps to string:"
        rt = json.dumps(unDic)
        show_rt(rt)
        print "utf-8 instance dumps to string:"
        rt = json.dumps(utf8Dic)
        show_rt(rt)

        #encoding is the character encoding for str instances, default is UTF-8
        #If ensure_ascii is False, then the return value will be a unicode instance, default is True
        print "\nunicode instance dumps(ensure_ascii=False) to string:"
        rt = json.dumps(unDic,ensure_ascii=False)
        show_rt(rt)
        print "utf-8 instance dumps(ensure_ascii=False) to string:"
        rt = json.dumps(utf8Dic,ensure_ascii=False)
        show_rt(rt)

        print "\n-----------------数据结构混杂编码-----------------"
        unDic[u'日本'] = r'东京'
        utf8Dic[r'日本'] = u'东京'
        pprint(unDic)
        pprint(utf8Dic)

        print "\nunicode instance dumps to string:"
        try:
                rt = json.dumps(unDic)
        except Exception,e:
                print "%s:%s" % (type(e),str(e))
        else:
                show_rt(rt)
        print "utf-8 instance dumps to string:"
        try:
                rt = json.dumps(utf8Dic)
        except Exception,e:
                print "%s:%s" % (type(e),str(e))
        else:
                show_rt(rt)

        print "\nunicode instance dumps(ensure_ascii=False) to string:"
        try:
                rt = json.dumps(unDic, ensure_ascii=False)
        except Exception,e:
                print "%s:%s" % (type(e),str(e))
        else:
                show_rt(rt)
        print "utf-8 instance dumps to string:"
        try:
                rt = json.dumps(utf8Dic, ensure_ascii=False)
        except Exception,e:
                print "%s:%s" % (type(e),str(e))
        else:
                show_rt(rt)
    [dongsong@bogon python_study]$ vpython json_test.py 
{u'\u4e2d\u56fd': u'\u5317\u4eac',
 u'\u65e5\u672c': u'\u4e1c\u4eac',
 u'\u6cd5\u56fd': u'\u5df4\u9ece'}
{'\xe4\xb8\xad\xe5\x9b\xbd': '\xe5\x8c\x97\xe4\xba\xac',
 '\xe6\x97\xa5\xe6\x9c\xac': '\xe4\xb8\x9c\xe4\xba\xac',
 '\xe6\xb3\x95\xe5\x9b\xbd': '\xe5\xb7\xb4\xe9\xbb\x8e'}

unicode instance dumps to string:
'{"\\u4e2d\\u56fd": "\\u5317\\u4eac", "\\u65e5\\u672c": "\\u4e1c\\u4eac", "\\u6cd5\\u56fd": "\\u5df4\\u9ece"}'
{"\u4e2d\u56fd": "\u5317\u4eac", "\u65e5\u672c": "\u4e1c\u4eac", "\u6cd5\u56fd": "\u5df4\u9ece"}
type(rt) is 
utf-8 instance dumps to string:
'{"\\u4e2d\\u56fd": "\\u5317\\u4eac", "\\u6cd5\\u56fd": "\\u5df4\\u9ece", "\\u65e5\\u672c": "\\u4e1c\\u4eac"}'
{"\u4e2d\u56fd": "\u5317\u4eac", "\u6cd5\u56fd": "\u5df4\u9ece", "\u65e5\u672c": "\u4e1c\u4eac"}
type(rt) is 

unicode instance dumps(ensure_ascii=False) to string:
u'{"\u4e2d\u56fd": "\u5317\u4eac", "\u65e5\u672c": "\u4e1c\u4eac", "\u6cd5\u56fd": "\u5df4\u9ece"}'
{"中国": "北京", "日本": "东京", "法国": "巴黎"}
type(rt) is 
utf-8 instance dumps(ensure_ascii=False) to string:
'{"\xe4\xb8\xad\xe5\x9b\xbd": "\xe5\x8c\x97\xe4\xba\xac", "\xe6\xb3\x95\xe5\x9b\xbd": "\xe5\xb7\xb4\xe9\xbb\x8e", "\xe6\x97\xa5\xe6\x9c\xac": "\xe4\xb8\x9c\xe4\xba\xac"}'
{"中国": "北京", "法国": "巴黎", "日本": "东京"}
type(rt) is 

-----------------数据结构混杂编码-----------------
{u'\u4e2d\u56fd': u'\u5317\u4eac',
 u'\u65e5\u672c': '\xe4\xb8\x9c\xe4\xba\xac',
 u'\u6cd5\u56fd': u'\u5df4\u9ece'}
{'\xe4\xb8\xad\xe5\x9b\xbd': '\xe5\x8c\x97\xe4\xba\xac',
 '\xe6\x97\xa5\xe6\x9c\xac': u'\u4e1c\u4eac',
 '\xe6\xb3\x95\xe5\x9b\xbd': '\xe5\xb7\xb4\xe9\xbb\x8e'}

unicode instance dumps to string:
'{"\\u4e2d\\u56fd": "\\u5317\\u4eac", "\\u65e5\\u672c": "\\u4e1c\\u4eac", "\\u6cd5\\u56fd": "\\u5df4\\u9ece"}'
{"\u4e2d\u56fd": "\u5317\u4eac", "\u65e5\u672c": "\u4e1c\u4eac", "\u6cd5\u56fd": "\u5df4\u9ece"}
type(rt) is 
utf-8 instance dumps to string:
'{"\\u4e2d\\u56fd": "\\u5317\\u4eac", "\\u6cd5\\u56fd": "\\u5df4\\u9ece", "\\u65e5\\u672c": "\\u4e1c\\u4eac"}'
{"\u4e2d\u56fd": "\u5317\u4eac", "\u6cd5\u56fd": "\u5df4\u9ece", "\u65e5\u672c": "\u4e1c\u4eac"}
type(rt) is 

unicode instance dumps(ensure_ascii=False) to string:
:'ascii' codec can't decode byte 0xe4 in position 1: ordinal not in range(128)
utf-8 instance dumps to string:
:'ascii' codec can't decode byte 0xe4 in position 1: ordinal not in range(128)

    33.json序列化字典会把数字key变成字符串

    >>> import json
>>> d = {1:[1,2,3,4],0:()}
>>> d
{0: (), 1: [1, 2, 3, 4]}
>>> s = json.dumps(d)
>>> s
'{"0": [], "1": [1, 2, 3, 4]}'
>>> json.loads(s)
{u'1': [1, 2, 3, 4], u'0': []}

    官网说明：

    Keys in key/value pairs of JSON are always of the type str. Whena dictionary is converted into JSON, all the keys of the dictionary arecoerced to strings. As a result of this, if a dictionary is converedinto JSON and then back into a dictionary, the dictionary may not equalthe original one. That is, loads(dumps(x)) != x if x has non-stringkeys.


    34.交互模式下_表示上次最后一次运算的结果


    35.多进程模块的比较

        os.popen()和popen2.*都不是官方倡导的用法，subprocess才是

        os.popen()启动子进程时命令后面如果不加地址符就会把父进程阻塞住；该命令使用非常方便，但是它仅仅返回一个跟子进程通信的pipe（默认的mode是读，读的是子进程的stdout和stderr）而已，没办法直接杀掉子进程或者获取子进程的信息（可以从pipe写信息通知子进程让子进程自行终止，但是这个很扯淡，你懂的）；对pipe的fd调用close()可以得到子进程的退出码（我没用过，^_^）；在前几个项目里面我频繁使用该命令，因为当时的环境对进程的控制比较粗线条

        popen2.*这个模块还没用过，不过顾名思义popen2.popen2()就是启动子进程时返回stdin和stdout，popen2.popen3()就是启动子进程时返回stdout,stdin,stderr....跟os.popen好像也没多大改进

        multiprocessing是仿多线程threading接口的多进程模块，需要注意文件描述符、数据库连接共享的问题；这个和其他执行命令行命令启动子进程的多进程模块是不一样滴

        subprocess注意僵尸进程的产生，系统一般会为已退出的子进程保留一个进程退出码等信息的结构、供父进程使用，当父进程wait()子进程时系统知道父进程已不需要该结构则会释放，如果父进程不wait而直接退出那么该子进程（已退出，等待wait）就会变成僵尸，占用系统进程号

        subprocess的用法:

    >>> obj2 = subprocess.Popen('python /home/dongsong/python_study/child2.py', shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
>>> dir(obj2)
['__class__', '__del__', '__delattr__', '__dict__', '__doc__', '__format__', '__getattribute__', '__hash__', '__init__', '__module__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_check_timeout', '_child_created', '_close_fds', '_communicate', '_communicate_with_poll', '_communicate_with_select', '_communication_started', '_execute_child', '_get_handles', '_handle_exitstatus', '_input', '_internal_poll', '_remaining_time', '_set_cloexec_flag', '_translate_newlines', 'communicate', 'kill', 'pid', 'poll', 'returncode', 'send_signal', 'stderr', 'stdin', 'stdout', 'terminate', 'universal_newlines', 'wait']
>>> dir(obj2.stdout)
['__class__', '__delattr__', '__doc__', '__enter__', '__exit__', '__format__', '__getattribute__', '__hash__', '__init__', '__iter__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', 'close', 'closed', 'encoding', 'errors', 'fileno', 'flush', 'isatty', 'mode', 'name', 'newlines', 'next', 'read', 'readinto', 'readline', 'readlines', 'seek', 'softspace', 'tell', 'truncate', 'write', 'writelines', 'xreadlines']
>>> obj2.stdout.read()
'[]\naaaaa\naaaaa\naaaaa\naaaaa\naaaaa\naaaaa\naaaaa\naaaaa\naaaaa\naaaaa\n'
>>> obj2.stdout.read()
''
>>> obj2.communicate()[0]
''
>>> obj2.communicate()[1]
Traceback (most recent call last):
  File "", line 1, in 
  File "/usr/lib64/python2.6/subprocess.py", line 729, in communicate
    stdout, stderr = self._communicate(input, endtime)
  File "/usr/lib64/python2.6/subprocess.py", line 1310, in _communicate
    stdout, stderr = self._communicate_with_poll(input, endtime)
  File "/usr/lib64/python2.6/subprocess.py", line 1364, in _communicate_with_poll
    register_and_append(self.stdout, select_POLLIN_POLLPRI)
  File "/usr/lib64/python2.6/subprocess.py", line 1343, in register_and_append
    poller.register(file_obj.fileno(), eventmask)
ValueError: I/O operation on closed file
>>> obj2.stderr.read()   
Traceback (most recent call last):
  File "", line 1, in 
ValueError: I/O operation on closed file
>>> args = shlex.split('python /home/dongsong/python_study/child2.py')
>>> obj = subprocess.Popen(args)

    36.设置文件对象非阻塞读取 

    flags = fcntl.fcntl(procObj.stdout.fileno(), fcntl.F_GETFL)
fcntl.fcntl(procObj.stdout.fileno(), fcntl.F_SETFL, flags|os.O_NONBLOCK)


    37.如何创建deamon进程（可避免僵尸进程）

    原理在僵尸的百科里有提到：fork两次，父进程fork一个子进程，然后继续工作，子进程fork一 个孙进程后退出，那么孙进程被init接管，孙进程结束后，init会回收。不过子进程的回收 还要自己做。

    可以参考这人的实现，这个只能用于纯粹的学习，没什么实际意义http://blog.csdn.net/snleo/article/details/4410305


    38.默认编码和内建函数str()的问题

    str(xx)把xx转换成系统默认编码（sys.getdefaultencoding()）的适合打印的字符串，一般默认是ascii,那么xx如果是unicode汉字就会报错；默认编码改成utf-8当然就不会报错了

    建议不要修改系统默认编码，会影响一些库的使用；一定要改可用这些方法。其中sys.setdefaultencoding()方法不是任何场景都有效（Thesetdefaultencoding is used in python-installed-dir/site-packages/pyanaconda/sitecustomize.py）

    [dongsong@bogon python_study]$ vpython
Python 2.6.6 (r266:84292, Dec  7 2011, 20:48:22) 
[GCC 4.4.6 20110731 (Red Hat 4.4.6-3)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys.getdefaultencoding()
'ascii'
>>> s = u'中国'
>>> str(s)
Traceback (most recent call last):
  File "", line 1, in 
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)
>>> s.encode('utf-8')
'\xe4\xb8\xad\xe5\x9b\xbd'
>>> sys.setdefaultencoding('utf-8')
Traceback (most recent call last):
  File "", line 1, in 
AttributeError: 'module' object has no attribute 'setdefaultencoding'
>>> d = {u'中国':u'北京'}
>>> d
{u'\u4e2d\u56fd': u'\u5317\u4eac'}
>>> str(d)
"{u'\\u4e2d\\u56fd': u'\\u5317\\u4eac'}"
#修改默认编码
[dongsong@bogon python_study]$ cat ~/venv/lib/python2.6/site-packages/sitecustomize.py
import sys
sys.setdefaultencoding('utf-8')
[dongsong@bogon python_study]$ vpython -c 'import sys; print sys.getdefaultencoding();'
utf-8
[dongsong@bogon python_study]$ vpython
Python 2.6.6 (r266:84292, Dec  7 2011, 20:48:22) 
[GCC 4.4.6 20110731 (Red Hat 4.4.6-3)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> s = u'中国' 
>>> str(s)
'\xe4\xb8\xad\xe5\x9b\xbd'
>>> import sys
>>> print sys.getdefaultencoding()
utf-8
>>> d = {u'中国':u'北京'}
>>> d
{u'\u4e2d\u56fd': u'\u5317\u4eac'}
>>> str(d)
"{u'\\u4e2d\\u56fd': u'\\u5317\\u4eac'}"

    可以用python -S 跳过site.py（site.py这个东东可以看看python源码里面的内容），然后sys模块就直接支持setdefaultencoding()方法了。

    39.trackback

    ...
except Exception,e:
                if not isinstance(e, APIError):
                    traceback.print_exc(file=sys.stderr)

    或者

    import sys
    tp,val,td = sys.exc_info()

    sys.exc_info()的返回值是一个tuple, (type, value/message, traceback)
    这里的type ---- 异常的类型
    value/message ---- 异常的信息或者参数

    traceback ---- 包含调用栈信息的对象。

    可用traceback模块处理traceback对象，traceback.print_tb()打印traceback对象，traceback.format_tb()返回traceback对象的可打印串

    参考：http://hi.baidu.com/whaway/item/8136af0b404dd1813c42e207

    40.用python做GUI开发的一些选择 GUI Programming in Python( http://wiki.python.org/moin/GuiProgramming)

    cocos2d ：Cocos2D家族的前世今生

                        cocos2d官网

                        cocos2d-x

    pygame：pygame维基 

                      pygame官网

    tkinter：tkinter教程

                   tkinter官网

    wxpython:wxpython官网


    图像处理和图表见另一篇文章http://blog.csdn.net/xiarendeniao/article/details/7991305


    41.类的静态方法和类方法（用内建函数staticmethod()和classmethod()修饰的类的成员方法）

    在python中，静态方法和类方法都是可以通过类对象和类对象实例访问。但是区别是：

          1>@classmethod修饰的类的方法是类方法，第一个参数cls是接收类变量。有子类继承时，调用该类方法时，传入的类变量cls是子类，而非父类。不同于C++中类的静态方法。调用方法：ClassA.func() or ClassA().func()（后者调用时函数忽略类的实例）classmethod() is useful for creating alternateclass constructors.

    >>> class A:
...     @classmethod
...     def func(cls):
...             import pdb
...             pdb.set_trace()
...             pass
... 
>>> A.func()
> (6)func()
(Pdb) cls

(Pdb) type(cls)

(Pdb) 
>>> type(A())
          2>@staticmethod修饰的类的方法是静态方法，静态方法不接收隐式的第一个参数。基本上跟一个全局函数相同，跟C++中类的静态方法很类似。调用方法：ClassA.func() or ClassA().func() （后者调用时函数忽略类的实例）

          3>没有上述修饰的类的方法是普通方法（实例方法），第一个参数是self，接收类的实例。调用方法：ClassA().func()


    42.字典合并

    >>> d1
{1: 6, 11: 12, 12: 13, 13: 14}
>>> d2
{1: 2, 2: 3, 3: 4}
>>> dict(d2, **d1)
{1: 6, 2: 3, 3: 4, 11: 12, 12: 13, 13: 14}
>>> dict(d1,**d2) 
{1: 2, 2: 3, 3: 4, 11: 12, 12: 13, 13: 14}
>>> d = dict(d1)
>>> d
{1: 6, 11: 12, 12: 13, 13: 14}
>>> d2
{1: 2, 2: 3, 3: 4}
>>> d.update(d2)
>>> d
{1: 2, 2: 3, 3: 4, 11: 12, 12: 13, 13: 14}
>>> d = dict(d2)
>>> d
{1: 2, 2: 3, 3: 4}
>>> d1
{1: 6, 11: 12, 12: 13, 13: 14}
>>> d.update(d1)
>>> d
{1: 6, 2: 3, 3: 4, 11: 12, 12: 13, 13: 14}

    43.网络超时处理

    1>>urllib2.urlopen(url,timeout=xx)

    2>>socket.setdefaulttimeout(xx) #(全局socket超时设置)

    3>>定时器

    from urllib2 import urlopen
from threading import Timer
url = "http://www.python.org"
def handler(fh):
        fh.close()
fh = urlopen(url)
t = Timer(20.0, handler,[fh])
t.start()
data = fh.read()
t.cancel()

    44.excel处理

    以前一直用的csv模块，读写csv格式文件，然后用excel软件打开另存为xls文件

    今天（2012.10.30）发现这个库更直接，更强大http://www.python-excel.org/

    鸟人用的版本：（xlwt-0.7.4 xlrd-0.8.0 xlutils-1.5.2）

    设置行的高度可以用sheetObj.row(index).set_style(easyxf('font:height 720;'))  设置列的宽度可以用sheetObj.col(index).width = 1000 其他那些方法差不多都有bug 设置不上http://reliablybroken.com/b/2011/10/widths-heights-with-xlwt-python/

    #encoding=utf-8
from xlwt import Workbook, easyxf

book = Workbook(encoding='utf-8')
sheet1 = book.add_sheet('Sheet 1')
sheet1.col_width(20000)
book.add_sheet('Sheet 2')
sheet1.write(0,0,'起点')
sheet1.write(0,1,'B1')
row1 = sheet1.row(1)
row1.write(0,'Ai2')
row1.write(1,'B2')
sheet1.col(0).width = 10000
sheet1.col(1).width = 20000
#sheet1.default_col_width = 20000 #bug invalid
#sheet1.col_width(30000) #bug invalid
#sheet1.default_row_height = 5000 #bug invalid
#sheet1.row(0).height = 5000 #bug invalid
sheet1.row(0).set_style(easyxf('font:height 400;'))
style = easyxf('pattern: pattern solid, fore_colour red;'
                'align: vertical center, horizontal center;'
                'font: bold true;')
sheet1.write_merge(2,5,2,5,'Merged',style)
sheet2 = book.get_sheet(1)
sheet2.row(0).write(0,'Sheet 2 A1')
sheet2.row(0).write(1,'Sheet 2 B1')
sheet2.flush_row_data()
sheet2.write(1,0,'Sheet 2 A3')
sheet2.col(0).width = 5000
sheet2.col(0).hidden = True
book.save('simple.xls')

    用这个库的时候很头疼的一点是不知道设置的宽度/高度/颜色在视觉上到底是什么样子，鸟人写了个脚本把所有支持的颜色和常用的宽高打印出来已备选，具体参见http://blog.csdn.net/xiarendeniao/article/details/8276957


    45.在本机有多个ip地址的情况下，urllib2发起http请求时如何指定使用哪个IP地址？两种方式，方便且稍带取巧性质的是篡改socket模块的socket方法（下面的代码是这种），另一种是：A better way is to extendconnect() method in subclass ofHTTPConnection and redefinehttp_open() method in subclass ofHTTPHandler

    def bind_alt_socket(alt_ip):
	true_socket = socket.socket
	def bound_socket(*a, **k):
		sock = true_socket(*a, **k)
		sock.bind((alt_ip, 0))
		return sock
	socket.socket = bound_socket
    参考： http://www.rossbates.com/2009/10/urllib2-with-multiple-network-interfaces/

               http://stackoverflow.com/questions/1150332/source-interface-with-python-and-urllib2


    46.PyQt4的安装：

    1.sip安装
wget http://sourceforge.net/projects/pyqt/files/sip/sip-4.14.1/sip-4.14.1.tar.gz
vpython configure.py
make
sudo make install

2.sudo yum install qt qt-devel -y
  sudo yum install qtwebkit qtwebkit-devel -y //没有这一个操作的话，下面configure操作就会不生成QtWebKit的Makefile

3.pyqt安装
wget http://sourceforge.net/projects/pyqt/files/PyQt4/PyQt-4.9.5/PyQt-x11-gpl-4.9.5.tar.gz
vpython configure.py -q/usr/bin/qmake-qt4 -g
make 
make install
    dir(PyQt4)看不到的模块不表示不存在啊亲！so动态库可以用from PyQt4 import QtGui或者import PyQt4.QtGui来引入的啊亲！尼玛，我一直以为安装失败了，各种尝试各种找原因啊，崩溃中...

    47.一个python解释器要使用另一个python解释器的环境（安装的模块）

    参考：http://mydjangoblog.com/2009/03/30/django-mod_python-and-virtualenv/https://pypi.python.org/pypi/virtualenv

    下述示例是在默认python环境中使用virtualenv python中安装的callme模块：

    [dongsong@localhost ~]$ python
Python 2.6.6 (r266:84292, Jun 18 2012, 14:18:47) 
[GCC 4.4.6 20110731 (Red Hat 4.4.6-3)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import callme
Traceback (most recent call last):
  File "", line 1, in 
ImportError: No module named callme
>>> activate_this = '/home/dongsong/venv/bin/activate_this.py'            
>>> execfile(activate_this, dict(__file__=activate_this))
>>> import callme
>>>
    至于如何使得mod_python使用virtualenv python环境，可参考前述连接： 

    #myvirtualdjango.py

activate_this = '/home/django/progopedia.ru/ve/bin/activate_this.py'
execfile(activate_this, dict(__file__=activate_this))

from django.core.handlers.modpython import handler

    
    ServerName progopedia.ru
    ServerAdmin [email protected]

    
        SetHandler python-program
        PythonPath "['/home/django/progopedia.ru/ve/bin', '/home/django/progopedia.ru/src/progopedia_ru_project/'] + sys.path"
        PythonHandler myvirtualdjango
        SetEnv DJANGO_SETTINGS_MODULE settings
        SetEnv PYTHON_EGG_CACHE /var/tmp/egg
        PythonInterpreter polyprog_ru

    48.格式化输出

    %r是一个万能的格式付，它会将后面给的参数原样打印出来，带有类型信息

    print 会自动在行末加上回车,如果不需回车，只需在print语句的结尾添加一个逗号”,“，就可以改变它的行为

    更多精彩用法请见http://www.pythonclub.org/python-basic/print

    %r是用对象的repr形式，%s是用str形式

    49.finally 很容易搞错哦！

    [dongsong@localhost python_study]$ cat finally_test.py 
#encoding=utf-8

def func():
        a = 1
        try:
                return a
        except Exception,e:
                print '%r' % e
        else:
                print 'no exception'
        finally:
                print 'finally'
                a += 1

a = func()
print 'func returned %s' % a
[dongsong@localhost python_study]$ vpython finally_test.py 
finally
func returned 1

    50.stackless

    官网：http://www.stackless.com/

    中文资料（有例子哦~）：http://gashero.yeax.com/?p=30

    1>当调用 stackless.schedule() 的时候，当前活动微进程将暂停执行，并将自身重新插入到调度器队列的末尾，好让下一个微进程被执行。
    一旦在它前面的所有其他微进程都运行过了，它将从上次 停止的地方继续开始运行。这个过程会持续，直到所有的活动微进程都完成了运行过程。这就是使用stackless达到合作式多任务的方式。
    2>接收的微进程调用 channel.receive() 的时候，便阻塞住，这意味着该微进程暂停执行，直到有信息从这个通道送过来。除了往这个通道发送信息以外，没有其他任何方式可以让这个微进程恢复运行。
    若有其他微进程向这个通道发送了信息，则不管当前的调度到了哪里，这个接收的微进程都立即恢复执行；而发送信息的微进程则被转移到调度列表的末尾，就像调用了 stackless.schedule() 一样。
    同样注意，发送信息的时候，若当时没有微进程正在这个通道上接收，也会使当前微进程阻塞。
    发送信息的微进程，只有在成功地将数据发送到了另一个微进程之后，才会重新被插入到调度器中。
    3>清除堆栈溢出的问题：是否还记得，先前我提到过，那个代码的递归版本，有经验的程序员会一眼看出毛病。但老实说，这里面并没有什么“计算机科学”方面的原因在阻碍它的正常工作，有些让人坚信的东西，其实只是个与实现细节有关的小问题——只因为大多数传统编程语言都使用堆栈。某种意义上说，有经验的程序员都是被洗了脑，从而相信这是个可以接受的问题。而stackless，则真正察觉了这个问题，并除掉了它。
    4>微线程--轻量级线程：与当今的操作系统中内建的、和标准Python代码中所支持的普通线程相比，“微线程”要更为轻量级，正如其名称所暗示。它比传统线程占用更少的内存，并且微线程之间的切换，要比传统线程之间的切换更加节省资源。
    5>计时：现在，我们对若干次实验运行过程进行计时。Python标准库中有一个 timeit.py 程序，可以用作此目的。
    6>我们将channel的preference 设置为1，这使得调用send之后任务不被阻塞而继续运行，以便在之后输出正确的仓库信息。
    7>In stackless, the balance of a channel is how many tasklets are waiting to send or receive on it.正数表示有send的个数；负数表示receive的个数；0表示没有等待。

    总结：stackless python还是受限于GIL，多核用不上，只是比python的传统thread有些改进而已（http://stackoverflow.com/questions/377254/stackless-python-and-multicores）。所以multiprocessing构建多进程、进程内部用stackless构建微线程是不错的搭配。EVE服务器端使用stackless做的（貌似是C++/stackless python），好想看看他们的代码啊，哈哈哈。

    stackless python安装：参考http://opensource.hyves.org/concurrence/install.html#installing-stackless

    sudo yum install readline-devel -y
./configure --prefix=/opt/stackless --with-readline --with-zlib=/usr/include
make
make install

    51.动态加载模块

    内建函数__import__()

    [dongsong@localhost python_study]$ touch mds/__init__.py
[dongsong@localhost python_study]$ vpython
Python 2.6.6 (r266:84292, Jun 18 2012, 14:18:47) 
[GCC 4.4.6 20110731 (Red Hat 4.4.6-3)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> m = __import__('mds.m1', globals(), locals(), fromlist=[], level = 0)
>>> m

    第一次在自己的代码中实用这个函数（2014.6.25），发现需要注意的问题挺多的，要仔细阅读官方说明

    class RobotMeta(type):
    def __new__(cls, name, bases, attrs):
        newbases = list(bases)
        import testcase
        import pkgutil
        for importer, modname, ispkg in pkgutil.iter_modules(testcase.__path__):
            if ispkg: continue
            mod = __import__('testcase.'+modname, globals(), locals(), fromlist=(modname,), level=1)
            if hasattr(mod, 'Robot'):
                newbases.append(mod.Robot)
        return super(RobotMeta, cls).__new__(cls, name, tuple(newbases), attrs)
    importlib库， importlib.import_module() 

    [dongsong@localhost python_study]$ touch mds/__init__.py
[dongsong@localhost python_study]$ vpython
Python 2.6.6 (r266:84292, Jun 18 2012, 14:18:47) 
[GCC 4.4.6 20110731 (Red Hat 4.4.6-3)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import importlib
>>> m = importlib.import_module('mds.m1')
>>> m

>>>

    52.对于user-defined class，如何使其支持pickle和cPickle？（下面是对项目中一个继承自dict的json串反解对象所做的修改，参考http://stackoverflow.com/questions/5247250/why-does-pickle-getstate-accept-as-a-return-value-the-very-instance-it-requi）

    def __getstate__(self): 
        return dict(self)
    
def __setstate__(self, state):
        return self.update(state)

    53.判断字符串的组成

    s.isalnum()  所有字符都是数字或者字母
    s.isalpha()  所有字符都是字母
    s.isdigit()  所有字符都是数字
    s.islower()  所有字符都是小写
    s.isupper()  所有字符都是大写
    s.istitle()  所有单词都是首字母大写，像标题
    s.isspace()  所有字符都是空白字符、\t、\n、\r


    54.python networking framework, 这种python并发问题三言两语难尽其意，故另起炉灶见http://blog.csdn.net/xiarendeniao/article/details/9143059

    Twisted是比较常见和广泛使用的(module index)

    concurrence 跟stackless有一腿（stackless和libevent的结合体），所以对我比较有吸引力

    cogen 跟上面的那个相似，移植性更好一些

    gevent greenlet和libevent的结合体（greenlet是stackless的副产品、只是比stackless更原始一些、更容易满足coder对协程的控制欲），这样看跟concurrence原理差不多哦

    得出上述总结的原材料：http://stackoverflow.com/questions/1824418/a-clean-lightweight-alternative-to-pythons-twisted

    55.python环境变量（environment variables）

    import os
if not os.environ.has_key('DJANGO_SETTINGS_MODULE'):
    os.environ['DJANGO_SETTINGS_MODULE'] = 'boosencms.settings'
else:
    print 'DJANGO_SETTINGS_MODULE: %s' % os.environ['DJANGO_SETTINGS_MODULE']

    56.yield，用于生成generator的语法，generator是一个可迭代一次的对象，用generator做迭代（遍历）相对于list、tuple等结构的优势是没必要所有数据都在内存中，详解见官网文档和栈溢出讨论帖

    [dongsong@localhost python-study]$ !cat
cat yield.py 
def echo(value=None):
    print "Execution starts when 'next()' is called for the first time."
    try:
        while True:
            try:
                value = (yield value)
            except Exception, e:
                print "catched an exception", e
                value = e
            else:
                print "yield received ", value
    finally:
        print "Don't forget to clean up when 'close()' is called."

generator = echo(1)
print generator.next()
print generator.next()
print generator.send(2)
generator.throw(TypeError, "spam")
generator.close()
[dongsong@localhost python-study]$ 
[dongsong@localhost python-study]$ 
[dongsong@localhost python-study]$ !python
python yield.py 
Execution starts when 'next()' is called for the first time.
1
yield received  None
None
yield received  2
2
catched an exception spam
Don't forget to clean up when 'close()' is called.

    57.元类metaclass详解见文章 http://blog.csdn.net/xiarendeniao/article/details/9232021

    58.单件模式的实现，栈溢出上这个帖子介绍了四种方式，我比较中意第三种http://stackoverflow.com/questions/6760685/creating-a-singleton-in-python

    [dongsong@localhost python_study]$ cat singleton3.py 
#encoding=utf-8

class Singleton(type):
        _instances = {}
        def __call__(cls, *args, **kwargs):
                if cls not in cls._instances:
                        cls._instances[cls] = super(Singleton, cls).__call__(*args, **kwargs)
                return cls._instances[cls]

class MyClass(object):
        __metaclass__ = Singleton

singletonObj = Singleton('Test',(),{})
myClassObj1 = MyClass()
myClassObj2 = MyClass()
print singletonObj, singletonObj.__class__
print id(myClassObj1),myClassObj1,myClassObj1.__class__
print id(myClassObj2),myClassObj2,myClassObj2.__class__
[dongsong@localhost python_study]$ vpython singleton3.py 
 
139799414931408 <__main__.MyClass object at 0x7f2596777fd0> 
139799414931408 <__main__.MyClass object at 0x7f2596777fd0>
    59.python magic methods ，有些长，单开一篇文章 http://blog.csdn.net/xiarendeniao/article/details/9270407

    60.struct 二进制 官方文档 http://docs.python.org/3/library/struct.html

    Character Byte order Size Alignment
    @ native native native
    = native standard none
    < little-endian standard none
    > big-endian standard none
    ! network (= big-endian) standard none

    Format C Type Python type Standard size Notes
    x pad byte no value    
    c char bytes of length 1 1  
    b signed char integer 1 (1),(3)
    B unsigned char integer 1 (3)
    ? _Bool bool 1 (1)
    h short integer 2 (3)
    H unsigned short integer 2 (3)
    i int integer 4 (3)
    I unsigned int integer 4 (3)
    l long integer 4 (3)
    L unsigned long integer 4 (3)
    q long long integer 8 (2), (3)
    Q unsigned longlong integer 8 (2), (3)
    n ssize_t integer   (4)
    N size_t integer   (4)
    f float float 4 (5)
    d double float 8 (5)
    s char[] bytes    
    p char[] bytes    
    P void * integer   (6) 
    >>> import struct
>>> struct.pack('HH',1,2)
'\x01\x00\x02\x00'
>>> struct.pack('>> struct.pack('>HH',1,2)
'\x00\x01\x00\x02'
>>> s= struct.pack('HH',1,2)
>>> s
'\x01\x00\x02\x00'
>>> len(s)
4
>>> struct.unpack('HH',s)  
(1, 2)
>>> struct.unpack_from('H', s, 2) 
(2,)
>>> struct.unpack('H',s[0:2])
(1,) 

    61.闭包

    [dongsong@localhost python_study]$ cat enclosing_1.py 
#encoding=utf8
a = 1
b = 2

def f(v = 0):
        a = 2
        c = list()
        def g():
                print 'a = %s' % a
                print 'b = %s' % b
                print 'c = %r' % c

        if v == 0:
                a += 1
        else:
                a += v
        c.append(111)
        return g

g = f() #函数返回g函数对象赋值给g; 函数对象g跟a(3)、c([111])绑定构成闭包
f(10)() #内嵌对象跟a(12)、c([111])绑定构成闭包；输出: a=12, b=2, c=[111]
f()     #没有任何输出，内嵌函数跟a/c绑定后的结果没有使用
g()     #输出: a = 3, b = 2, c = [111]
b = 3
g() #输出: a = 3, b = 3, c = [111] (b是全局变量)

print a #输出全局变量: a = 1
[dongsong@localhost python_study]$ vpython enclosing_1.py 
a = 12
b = 2
c = [111]
a = 3
b = 2
c = [111]
a = 3
b = 3
c = [111]
1

    62.如何阻止pyc跟py文件同居？看栈溢出的讨论帖http://stackoverflow.com/questions/3522079/changing-the-directory-where-pyc-files-are-created

    python3.2之后可以在代码目录加一个__pycache__目录，pyc文件会分居到这个目录下（应该是这个意思，python3我没用过）

    python2的话可以在启动解释器的时候加上-B参数阻止pyc字节码文件写盘，不过这样势必会导致import变慢（重新编译）

    63.微博数据(账号描述)入库报警告且数据被截断：

    [dongsong@localhost tfengyun_py]$ vpython new_user.py debug 1852589841
/data/weibofengyun/workspace-php/tfengyun_py/utils.py:26: Warning: Incorrect string value: '\xF0\x9F\x92\x91\xE4\xBD...' for column 'description' at row 1
  try: affectCount = self.cursor.execute(sql)

    最终解决办法（直接从Python群里copy来的）：

    吓人的鸟(362278013) 11:27:58 
对于昨天那个数据入库Mysql报Warning的问题大概整明白了，现分享如下，非常感谢@墨迹 !!

http://dev.mysql.com/doc/refman/5.5/en/charset-unicode-utf8mb4.html 
mysql5.5.3之前不支持utf8mb4,上周五那个入库警告是因为有部分unicode字符(ios设备的emoji表情)编码成utf-8以后占四字节（正常一般不超过三字节）：
>>> u'\u8bb0'.encode('utf-8')
'\xe8\xae\xb0'
>>> u'\U0001f497'.encode('utf-8')
'\xf0\x9f\x92\x97'
对于不想升级mysql版本来解决问题的情况，可以把这种字符过滤掉，栈溢出上有相关讨论
http://stackoverflow.com/questions/10798605/warning-raised-by-inserting-4-byte-unicode-to-mysql

那么对于同一个Mysql数据库和一样的数据，为什么PHP程序可以正常入库(不报错不报警告、数据不被截断)呢？
原来是因为它内部自动的把utf8的四字节编码部分过滤掉了，入库以后在mysql命令行下查询会发现那些emoji表情符不见了，用PHP程序从数据库把数据查出来验证也确实如此

PS: 知之为知之,不知为不知,是知也.  来提问的都是因为比较着急了，希望各位同仁少些说教，多些实际有效建议。

    64.（2014.4.25）Python跟C/C++的混合使用（Python使用C/C++扩展，C/C++嵌套Python），最基本的用法当然是参照官网来做了，我有两个对官网相关文档的翻译，巨麻烦！引用什么的规则太多了，这种低级接口不适宜在项目中直接使用。

    项目中首选Boost.Python(http://www.boost.org/doc/libs/1_55_0/libs/python/doc/)，用过C++的应该对Boost不陌生，我对Boost的理解是仅次于C++标准库的标准库(09年老成在昆仑写的聊天服用的就是boost.asio)。其中提供了对Python语言的支持。金山的C++/Python游戏服务器就是用的这个库实现C++跟Python之间交互。

    其次，听一个同学讲他们项目(貌似非游戏项目)中有用到Pyrex（http://www.cosc.canterbury.ac.nz/greg.ewing/python/Pyrex/version/Doc/About.html）,这是一种类似于C和Python语法混写的新语言，没深入了解过，暂且搁下，我还是对Boost.Python比较感兴趣。

    Cython(http://cython.org/) 基于Pyrex，被设计用来编写python的c扩展

    说到这里不得不提一下pypy(http://pypy.org/)了（虽然pypy不是用来跟c/c++交互的），pypy是python实现的python解释器，jit（Just-in-time compilation，动态编译）使其运行速度比cpython（官方解释器，一般人用的解释器）要快，支持stackless、提供微线程协作，感觉前景一片光明啊！有消息说pypy会丢弃GIL以提升多线程程序的性能，不过我看官方文档好像没这么说（http://pypy.org/tmdonate2.html#what-is-the-global-interpreter-lock）。


    65.exec直接就可以执行代码片段

    eval执行的是单条表达式

    compile可以把代码片段或者代码文件编译成codeobject，exec和eval都可以执行codeobject

    https://docs.python.org/2/library/functions.html#compile

    [dongsong@localhost python-study]$ python
Python 2.6.6 (r266:84292, Jan 22 2014, 09:42:36) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> s = file("code.py").read()
>>> print s
def func():
        print "i am in function func()"
        return 1,2,3

>>> codeObj = compile(s,"","exec")  
>>> dir()
['__builtins__', '__doc__', '__name__', '__package__', 'codeObj', 's']
>>> codeObj
 at 0x7f761cd74738, file "", line 1>
>>> eval(codeObj)
>>> dir()
['__builtins__', '__doc__', '__name__', '__package__', 'codeObj', 'func', 's']
>>> func()
i am in function func()
(1, 2, 3)

[dongsong@localhost python-study]$ python
Python 2.6.6 (r266:84292, Jan 22 2014, 09:42:36) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> s = file("code.py").read()
>>> exec(s)
>>> dir()
['__builtins__', '__doc__', '__name__', '__package__', 'func', 's']
>>> func()
i am in function func()
(1, 2, 3)

    66.随机字符串 http://stackoverflow.com/questions/2257441/random-string-generation-with-upper-case-letters-and-digits-in-python

    >>> import string
>>> import random
>>> def id_generator(size=6, chars=string.ascii_uppercase + string.digits):
...    return ''.join(random.choice(chars) for _ in range(size))
...
>>> id_generator()
'G5G74W'
>>> id_generator(3, "6793YUIO")
'Y3U'
>>> string.ascii_uppercase
'ABCDEFGHIJKLMNOPQRSTUVWXYZ'
>>> string.digits
'0123456789'
>>> string.ascii_uppercase + string.digits
'ABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789'
>>> string.lowercase
'abcdefghijklmnopqrstuvwxyz'

    67.内建函数hasattr不能查找对象的私有属性（2014.6.18）

    [dongsong@localhost python-study]$ cat hasattr.py
#encoding=utf-8

class A(object):
    def __init__(self):
        self.__a = 100
        self.a = 200
    def test(self):
        if hasattr(self,'__a'): print 'found self.__a:',self.__a
        else: print 'not found self.__a'
        if hasattr(self,'a'): print 'found self.a:', self.a
        else: print 'not found self.a:', self.a

if __name__ == '__main__':
    t = A()
    t.test()
[dongsong@localhost python-study]$ 
[dongsong@localhost python-study]$ python hasattr.py 
not found self.__a
found self.a: 200

    68.Python循环import : Circular (or cyclic) imports

    http://stackoverflow.com/questions/744373/circular-or-cyclic-imports-in-python

    说白了，a import b, b import a, 那么在a的主代码块(也就是“import a”时会被执行的代码)中使用module b里面的符号(b.xx、from b import xx)会出错。

    另，python a.py，那么a.py初次会当做__main__ module，“import a”会重新把a执行一遍（这个在源码剖析里面有提到，也就是使用if __name__ == '__main__'判断的原因）

    [root@test-22 xds]# cat maintest.py
import maintest
print 'main test in ..'
if __name__ == '__main__':
    print 'aaaa'
print 'main test out..'
[root@test-22 xds]# 
[root@test-22 xds]# python maintest.py
main test in ..
main test out..
main test in ..
aaaa
main test out..


    你可能感兴趣的:(代码库/程序片段,业务-网络爬虫,编程语言-python)

    • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
      理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
    • 【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数 广龙宇 一起学Rust#Rust设计模式rust设计模式开发语言
      提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
    • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
      在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
    • python os.environ 江湖偌大 python深度学习
      os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
    • Python中os.environ基本介绍及使用方法 鹤冲天Pro #Pythonpython服务器开发语言
      文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
    • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
      Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
    • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
      目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
    • python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 pythonos.environ
      >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
    • 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
      目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
    • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
      在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
    • python是什么意思中文-在python中%是什么意思 编程大乐趣
      Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
    • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
      大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
    • python八股文面试题分享及解析(1) Shawn________ python
      #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
    • 每日算法&面试题，大厂特训二十八天——第二十天（树） 肥学 ⚡算法题⚡面试题每日精进java算法数据结构
      目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
    • Python快速入门 —— 第三节：类与对象 孤华暗香 Python快速入门python开发语言
      第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
    • pyecharts——绘制柱形图折线图 2224070247 信息可视化pythonjava数据可视化
      一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
    • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
      前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
    • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python
      华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
    • python os 环境变量 CV矿工 python开发语言numpy
      环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
    • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
      文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
    • Redis系列：Geo 类型赋能亿级地图位置计算 Ly768768 redisbootstrap数据库
      1前言我们在篇深刻理解高性能Redis的本质的时候就介绍过Redis的几种基本数据结构，它是基于不同业务场景而设计的：动态字符串(REDIS_STRING)：整数(REDIS_ENCODING_INT)、字符串(REDIS_ENCODING_RAW)双端列表(REDIS_ENCODING_LINKEDLIST)压缩列表(REDIS_ENCODING_ZIPLIST)跳跃表(REDIS_ENCODI
    • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1） 算法大师 华为od面试python
      华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
    • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
      Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    • 《Python数据分析实战终极指南》 xjt921122 python数据分析开发语言
      对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
    • Python中深拷贝与浅拷贝的区别 yuxiaoyu.
      转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
    • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
      Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
    • ES聚合分析原理与代码实例讲解 光剑书架上的书 大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
      ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
    • Python编译器 鹿鹿~ Python编译器Pythonpython开发语言后端
      嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
    • 一文掌握python面向对象魔术方法（二） 程序员neil pythonpython开发语言
      接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
    • 一文掌握python常用的list（列表）操作 程序员neil pythonpython开发语言
      目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
    • [黑洞与暗粒子]没有光的世界 comsci
           无论是相对论还是其它现代物理学,都显然有个缺陷,那就是必须有光才能够计算      但是,我相信,在我们的世界和宇宙平面中,肯定存在没有光的世界....      那么,在没有光的世界,光子和其它粒子的规律无法被应用和考察,那么以光速为核心的 &nbs
    • jQuery Lazy Load 图片延迟加载 aijuans jquery
      基于 jQuery 的图片延迟加载插件，在用户滚动页面到图片之后才进行加载。 对于有较多的图片的网页，使用图片延迟加载，能有效的提高页面加载速度。 版本： jQuery v1.4.4+ jQuery Lazy Load v1.7.2 注意事项： 需要真正实现图片延迟加载，必须将真实图片地址写在 data-original 属性中。若 src
    • 使用Jodd的优点 Kai_Ge jodd
      1.  简化和统一 controller ，抛弃 extends SimpleFormController ，统一使用 implements Controller 的方式。 2.  简化 JSP 页面的 bind, 不需要一个字段一个字段的绑定。 3.  对 bean 没有任何要求，可以使用任意的 bean 做为 formBean。   使用方法简介
    • jpa Query转hibernate Query 120153216 Hibernate
      public List<Map> getMapList(String hql, Map map) { org.hibernate.Query jpaQuery = entityManager.createQuery(hql); if (null != map) { for (String parameter : map.keySet()) { jp
    • Django_Python3添加MySQL/MariaDB支持 2002wmj mariaDB
      现状 首先，[email protected] 中默认的引擎为 django.db.backends.mysql 。但是在Python3中如果这样写的话，会发现 django.db.backends.mysql 依赖 MySQLdb[5] ，而 MySQLdb 又不兼容 Python3 于是要找一种新的方式来继续使用MySQL。 MySQL官方的方案 首先据MySQL文档[3]说，自从MySQL
    • 在SQLSERVER中查找消耗IO最多的SQL 357029540 SQL Server
      返回做IO数目最多的50条语句以及它们的执行计划。 select top 50   (total_logical_reads/execution_count) as avg_logical_reads,  (total_logical_writes/execution_count) as avg_logical_writes,  (tot
    • spring UnChecked 异常 官方定义！ 7454103 spring
        如果你接触过spring的 事物管理！那么你必须明白 spring的 非捕获异常！ 即 unchecked 异常！ 因为 spring 默认这类异常事物自动回滚！！ public static boolean isCheckedException(Throwable ex) { return !(ex instanceof RuntimeExcep
    • mongoDB 入门指南、示例 adminjun javamongodb操作
      一、准备工作 1、 下载mongoDB 下载地址：http://www.mongodb.org/downloads 选择合适你的版本 相关文档：http://www.mongodb.org/display/DOCS/Tutorial 2、 安装mongoDB A、 不解压模式： 将下载下来的mongoDB-xxx.zip打开，找到bin目录，运行mongod.exe就可以启动服务，默
    • CUDA 5 Release Candidate Now Available aijuans CUDA
      The CUDA 5 Release Candidate is now available at http://developer.nvidia.com/<wbr></wbr>cuda/cuda-pre-production. Now applicable to a broader set of algorithms, CUDA 5 has advanced fe
    • Essential Studio for WinRT网格控件测评 Axiba JavaScripthtml5
      Essential Studio for WinRT界面控件包含了商业平板应用程序开发中所需的所有控件，如市场上运行速度最快的grid 和chart、地图、RDL报表查看器、丰富的文本查看器及图表等等。同时，该控件还包含了一组独特的库，用于从WinRT应用程序中生成Excel、Word以及PDF格式的文件。此文将对其另外一个强大的控件——网格控件进行专门的测评详述。 网格控件功能 1、
    • java 获取windows系统安装的证书或证书链 bewithme windows
            有时需要获取windows系统安装的证书或证书链，比如说你要通过证书来创建java的密钥库  。 有关证书链的解释可以查看此处 。   public static void main(String[] args) { SunMSCAPI providerMSCAPI = new SunMSCAPI(); S
    • NoSQL数据库之Redis数据库管理(set类型和zset类型) bijian1013 redis数据库NoSQL
      4.sets类型         Set是集合，它是string类型的无序集合。set是通过hash table实现的，添加、删除和查找的复杂度都是O(1)。对集合我们可以取并集、交集、差集。通过这些操作我们可以实现sns中的好友推荐和blog的tag功能。         sadd：向名称为key的set中添加元
    • 异常捕获何时用Exception，何时用Throwable bingyingao
      用Exception的情况 try {        //可能发生空指针、数组溢出等异常         } catch (Exception e) {          
    • 【Kafka四】Kakfa伪分布式安装 bit1129 kafka
      在http://bit1129.iteye.com/blog/2174791一文中，实现了单Kafka服务器的安装，在Kafka中，每个Kafka服务器称为一个broker。本文简单介绍下，在单机环境下Kafka的伪分布式安装和测试验证   1. 安装步骤   Kafka伪分布式安装的思路跟Zookeeper的伪分布式安装思路完全一样，不过比Zookeeper稍微简单些(不
    • Project Euler bookjovi haskell
      Project Euler是个数学问题求解网站，网站设计的很有意思，有很多problem，在未提交正确答案前不能查看problem的overview，也不能查看关于problem的discussion thread，只能看到现在problem已经被多少人解决了，人数越多往往代表问题越容易。     看看problem 1吧： Add all the natural num
    • Java-Collections Framework学习与总结-ArrayDeque BrokenDreams Collections
              表、栈和队列是三种基本的数据结构，前面总结的ArrayList和LinkedList可以作为任意一种数据结构来使用，当然由于实现方式的不同，操作的效率也会不同。         这篇要看一下java.util.ArrayDeque。从命名上看
    • 读《研磨设计模式》-代码笔记-装饰模式-Decorator bylijinnan java设计模式
      声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.io.BufferedOutputStream; import java.io.DataOutputStream; import java.io.FileOutputStream; import java.io.Fi
    • Maven学习(一) chenyu19891124 Maven私服
          学习一门技术和工具总得花费一段时间，5月底6月初自己学习了一些工具，maven+Hudson+nexus的搭建，对于maven以前只是听说，顺便再自己的电脑上搭建了一个maven环境，但是完全不了解maven这一强大的构建工具，还有ant也是一个构建工具，但ant就没有maven那么的简单方便，其实简单点说maven是一个运用命令行就能完成构建，测试，打包，发布一系列功
    • [原创]JWFD工作流引擎设计----节点匹配搜索算法(用于初步解决条件异步汇聚问题) 补充 comsci 算法工作PHP搜索引擎嵌入式
      本文主要介绍在JWFD工作流引擎设计中遇到的一个实际问题的解决方案，请参考我的博文"带条件选择的并行汇聚路由问题"中图例A2描述的情况(http://comsci.iteye.com/blog/339756),我现在把我对图例A2的一个解决方案公布出来，请大家多指点 节点匹配搜索算法(用于解决标准对称流程图条件汇聚点运行控制参数的算法) 需要解决的问题：已知分支
    • Linux中用shell获取昨天、明天或多天前的日期 daizj linuxshell上几年昨天获取上几个月
      在Linux中可以通过date命令获取昨天、明天、上个月、下个月、上一年和下一年 # 获取昨天 date -d 'yesterday'  # 或 date -d 'last day' # 获取明天 date -d 'tomorrow'   # 或 date -d 'next day' # 获取上个月 date -d 'last month' #
    • 我所理解的云计算 dongwei_6688 云计算
            在刚开始接触到一个概念时，人们往往都会去探寻这个概念的含义，以达到对其有一个感性的认知，在Wikipedia上关于“云计算”是这么定义的，它说：        Cloud computing is a phrase used to describe a variety of computing co
    • YII CMenu配置 dcj3sjt126com yii
      Adding id and class names to CMenu We use the id and htmlOptions to accomplish this. Watch. //in your view $this->widget('zii.widgets.CMenu', array( 'id'=>'myMenu', 'items'=>$this-&g
    • 设计模式之静态代理与动态代理 come_for_dream 设计模式
      静态代理与动态代理        代理模式是java开发中用到的相对比较多的设计模式，其中的思想就是主业务和相关业务分离。所谓的代理设计就是指由一个代理主题来操作真实主题，真实主题执行具体的业务操作，而代理主题负责其他相关业务的处理。比如我们在进行删除操作的时候需要检验一下用户是否登陆，我们可以删除看成主业务，而把检验用户是否登陆看成其相关业务
    • 【转】理解Javascript 系列 gcc2ge JavaScript
      理解Javascript_13_执行模型详解 摘要: 在《理解Javascript_12_执行模型浅析》一文中,我们初步的了解了执行上下文与作用域的概念，那么这一篇将深入分析执行上下文的构建过程，了解执行上下文、函数对象、作用域三者之间的关系。函数执行环境简单的代码:当调用say方法时，第一步是创建其执行环境，在创建执行环境的过程中，会按照定义的先后顺序完成一系列操作:1.首先会创建一个
    • Subsets II hcx2013 set
      Given a collection of integers that might contain duplicates, nums, return all possible subsets. Note: Elements in a subset must be in non-descending order. The solution set must not conta
    • Spring4.1新特性——Spring缓存框架增强 jinnianshilongnian spring4
      目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
    • shell嵌套expect执行命令 liyonghui160com
          一直都想把expect的操作写到bash脚本里,这样就不用我再写两个脚本来执行了,搞了一下午终于有点小成就,给大家看看吧.   系统:centos 5.x   1.先安装expect yum -y install expect   2.脚本内容: cat auto_svn.sh   #!/bin/bash
    • Linux实用命令整理 pda158 linux
      0. 基本命令 　　linux 基本命令整理 　 　1. 压缩 解压 　　tar -zcvf a.tar.gz a   #把a压缩成a.tar.gz 　　tar -zxvf a.tar.gz     #把a.tar.gz解压成a 　 　2. vim小结 　　2.1 vim替换 　　:m,ns/word_1/word_2/gc  
    • 独立开发人员通向成功的29个小贴士 shoothao 独立开发
      概述：本文收集了关于独立开发人员通向成功需要注意的一些东西,对于具体的每个贴士的注解有兴趣的朋友可以查看下面标注的原文地址。 明白你从事独立开发的原因和目的。 保持坚持制定计划的好习惯。 万事开头难，第一份订单是关键。 培养多元化业务技能。 提供卓越的服务和品质。 谨小慎微。 营销是必备技能。 学会组织，有条理的工作才是最有效率的。 “独立
    • JAVA中堆栈和内存分配原理 uule java
      1、栈、堆 1.寄存器：最快的存储区, 由编译器根据需求进行分配,我们在程序中无法控制.2. 栈：存放基本类型的变量数据和对象的引用，但对象本身不存放在栈中，而是存放在堆（new 出来的对象）或者常量池中（字符串常量对象存放在常量池中。）3. 堆：存放所有new出来的对象。4. 静态域：存放静态成员（static定义的）5. 常量池：存放字符串常量和基本类型常量（public static f
    按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他