python基础整理笔记（九）

一. socket过程中注意的点

1. 黏包问题

所谓的黏包就是指，在TCP传输中，因为发送出来的信息，在接受者都是从系统的缓冲区里拿到的，如果多条消息积压在一起没有被读取，则后面读取时可能无法分辨消息之间的分隔，造成读取的时候把前后多条消息的内容连起来读出来，就造成了错误。比较靠谱的解决方式是：一端在发送完消息以后，需要接收一次消息，另一端在第一次接收完消息以后，发送一次消息，这样间隔处理；这样就会保证每次接收的消息都是完整到结束的，因为对方在每次发送完整消息以后，都会接收消息以停止发送。在接收长消息的时候，可以先发送长度，然后接收端根据长度迭代不断接收信息。

 

2. socketserver库

在写一个基础的socket的服务端时，我们需要做建立socket、绑定端口、开启监听、阻塞在等待连接（以获得连接的地址和socket），这样几个步骤。如下图所示：

服务端流程示例代码

此外这样的过程是无法并发的，也就是说同一个server同时只能连接一个client并接受其请求，其他client都是被阻塞的（在listen范围内的是会等待，其他则无法连接），等到连接的client断开连接后，才能连接上。

但是我们可以使用socketserver！这个库的一些对象及其方法，封装了上面的一系列动作，我们只需要简单传入需要绑定的地址端口，并使用其方法启动server即可。而且socketserver可以通过io多路复用、多进程、多线程等方式支持服务多个客户端的连接，且并不需要我们自己实现或修改代码。

 

 

二. python的logging 模块

1. python中的logging模块，能够比较方便地帮我们管理写日志的一些流程，封装了文件处理、控制台输出、控制输出的样式一系列操作，非常简单易用。

官方文档流程图：

 

2. 下面是我写的一段简单示例：

 1 import logging, os
 2 import util as UT
 3 
 4 
 5 def set_logger(log_name):
 6     logger = logging.getLogger(log_name)
 7     logger.setLevel(logging.DEBUG)
 8 
 9     # 这是设置写日志文件的句柄
10     # 文件路径随意...如果是写得相对路径，会在具体调用的文件的相对路径
11     # 所以会导致不同调用不同位置，还是绝对路径好。
12     # FileHandler默认模式为追加。
13     fh = logging.FileHandler(os.path.join(UT.PROJECT_DIR, '%s.log' % log_name))
14     fh.setLevel(logging.DEBUG)
15 
16     # 该句柄用于输出到控制台；
17     # 单独只有上面一个句柄，控制台里没有输出。
18     ch = logging.StreamHandler()
19     ch.setLevel(logging.DEBUG)
20 
21     # 写文件的句柄还可以设定固定的一些样式
22     # 比如这里写的是输出的时间，句柄名，log级别，然后是具体信息
23     formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
24     fh.setFormatter(formatter)
25     ch.setFormatter(formatter)
26 
27     # 添加句柄给日志
28     logger.addHandler(fh)
29     logger.addHandler(ch)
30 
31     return logger
32 
33 # 我在这里写了两个日志，这样在其他文件import这两个日之后
34 # 就会一直保持追加写入，类似单例的效果
35 
36 logger_err = set_logger('error')
37 logger_flow = set_logger('flow')

 

3. logging的示例可以设置多种警告级别，从debug,info,warn,error到critial，都是方法可以直接调用，会在日志里面警告级别的地方显示出来。

调用的地方示例：

1 import MyLogging as ML
2 
3 
4 try:
5     msg = 'AAAAAAA'
6     ML.logger_flow.info(msg)
7 
8 except Exception as e:
9     ML.logger_err.error(e)

 

4. logging还有些其他的方法比如Filter。限制只有满足过滤规则的日志才会输出。

比如我们定义了filter = logging.Filter('a.b.c'),并将这个Filter添加到了一个Handler上，则使用该Handler的Logger中只有名字带a.b.c前缀的Logger才能输出其日志。

示例如下：

1 filter = logging.Filter('flow.aaa.bbb')
2 fh.addFilter(filter)  

 

5. 我们在生产中其实会遇到一个更常见的问题，就是可能会一直打印日志，因为日志文件一直追加，所以日志文件会越来越大。这种时候我们就需要rotation功能，要日志在写满一定大小，或者根据时间自动去拆分，

等到满足条件以后，就写到一个新的文件里。logging模块是可以设置的。

此时需要使用RotatingFileHandler或者TimedRotatingFileHandler，前者是按照文件大小分割，后者按照时间。使用示例如下：

1 from logging.handlers import RotatingFileHandler as RFHandler
2 
3 # maxBytes是设定最大大小，backupCount是最多备份文件个数
4 # 默认模式为a 即追加
5 fh = RFHandler('aaa.log', maxBytes=1024 * 1024 * 100, backupCount=10, delay=0.05)
6 
7 # 后面的使用与普通FileHandler一样
8 fh.setLevel(logging.DEBUG)

但是我在使用中曾经发现，python自带的logging模块的Rotataion句柄，在面对并发的时候，处理rotation的效果非常之诡异！有时候写到了各种不同的log的备份里，有时候log的备份文件又不是按照时间流写的...总之有问题，并发不安全...

然后我发现一个第三方的句柄是安全的，叫cloghandler，大家可以试试！使用的方法完全一致~

1 # 像这样用好了，完全一致的
2 try:
3     from cloghandler import ConcurrentRotatingFileHandler as RFHandler
4 except ImportError:
5     from warnings import warn
6     warn("ConcurrentLogHandler package not installed.  Using builtin log handler")
7     from logging.handlers import RotatingFileHandler as RFHandler

 

 

三. 第三方库“Q”！

既然提到了logging，我再介绍个挺有用的很小的第三方库，叫Q。其作用是更简单地封装了一些写日志的操作...如果你需要在一些情况下临时增加打印调试问题，可以用用~（我只在生产的linux环境上玩过，也不造win下咋样的能不能用...）

使用 "pip install -U q"来安装，默认会把日志追加输出到 /tmp/q 这个文件里。如果设置了$TMPDIR环境变量，输出将会保存在$TMPDIR/q文件中。我们也可以设置环境变量TEMP、TEMPDIR和TMP来替代TMPDIR环境变量。

 

想要打印的简单，示例：

1 import q
2 
3 a = 'da1e1'
4 q(a)

这样就可以了，在log里，q会自动带上打印的文件信息、位置、时间、耗时、变量类型等等...是不是超方便的...如果打印的是个内容非常大的，q还会在/tmp下生成一个对应的完整内容的日志，在q里就只是显示一部分。

 

甚至可以不用定义变量，直接打印表达式，或者直接插入到运行的代码里也是可以的，不会影响代码执行。示例如下：

1 # 打印(seq or '')
2 file.write(prefix + q(seq or '').join(items))
3 # 打印变量prefix
4 file.write(q/prefix + (seq or '').join(items))
5 # 打印变量prefix
6 file.write(q|prefix + (seq or '').join(items))
7 
8 #用q(), \, |三种方式效果是一样的，就看怎么方便吧

 

想要追踪函数的参数和返回值，将q当做一个装饰器使用！示例如下：

1 import q
2 
3 @q
4 def a(a1, a2):
5     return a1 + a2

 

还可以在代码任意地方调用 q.d(),启动交互控制台。

 

综上，是不是超级特级方便好用！！！！！在没法debug，不能用pdb，或者复杂的并发情况下，这种打印真是太提高调试效率了~~~

 

转载于:https://www.cnblogs.com/nigel-woo/p/5657315.html