特别注明:本文为作者与@舒尔茨 讨论的产物,文章版权属两人共同拥有。(话说应该加一个“添加共同作者”的功能。)
Nov. 15th, 2018
昨天下午,我正在办公室里忙活着,突然接收到老弟的消息:
“老哥,你在上的那篇探索SMTP协议的文章我看了,程序好像有问题,第一行代码就报错啊!”
WTF??? 其实,老弟认真看了我的文章,还按着描述的步骤去尝试,我还是很开心的。不过,第一行代码就跑不了,这怎么能忍?于是我们开始一起研究这个错误出在哪里。研究过程并不算复杂,不过在这个过程中,我们两个编程小白学到了一些有意思的概念。这些概念对于编程高手来说可能算不上什么,但是这个探索过程本身也算有趣。故撰小文一篇,分享一下。
“python自带的代码报错,这也能调吗?”
话说收到老弟的短信后,我就借着去厕所,出门点开图片看了看错误信息。出错的代码是这一句:
>>> from smtplib import SMTP
>>> server = SMTP()
(错误信息。。。具体内容见后面图片)
有经验的老司机,看到这里估计已经知道怎么回事了。不过作为一只小白,我是一脸懵逼的:“这都可以,我不就是调了一个系统的包,定义了变量吗?我还啥都没干呢。Python自带的代码报错,这怎么debug啊?”
咳咳,别急,越是这种时候越不能慌。不就Python自带的代码出错吗?修复的办法太简单了!于是我回了老弟:
“那啥,你把Python重装一遍试试吧。。。”
这不就是被人鄙视的“不管啥事先重装个系统”大法吗?我承认,这的确有点low。不过Python自己的某个包出错的话,倒是有可能是安装的过程中出了什么问题,导致这个包没有装好。所以重装一遍Python很多时候也是能解决问题的。而且我那时候在忙着写一点东西,还没太仔细研究报错的信息本身。
等了一会,我收到了回复:
“重装了个Python3.7.1,还是一样,相同的错误。”
好吧,排除了安装过程中的问题。只能祭出第二招:“有啥事儿Google一下”大法!
你先别笑,其实,对于Python自带的代码报错,这一招是最管用的。Python自己的代码本身肯定是被很多人检测过的。报错的话,肯定还是由于配置或者调用的过程中哪里出了问题。这种情况下,中招的肯定不止你一个人,比如Stack Overflow之类的论坛上,或者者Github的Issues里面(后者一般第三方的库出错比较常见)肯定有人问过。而这种论坛上问问题,肯定要贴出代码,告知自己的系统信息,以及贴出完整的错误消息。所以把自己的错误信息一搜,多半能搜到好多讨论。
于是我满怀信心地向Google求助。然后。。。
Google把一首《凉凉》送给了我。
Google上居然一条相关的提问都没有! 这可就奇怪了。当我把整句错误信息贴上时,Google居然出现了一条匹配都没有的情况!
“你让我去查看它的源代码??”
没办法了,看来真得靠自己了。这个时候,已经6点了。手上的事情忙完了,我也可以仔细看看这个错误了。
'utf-8' codec can't decode byte 0xc1 in position 0: invalid start byte
是某个unicode码解码出了问题。这种解码问题倒也不罕见,比如信息传输过程中丢失了字节,而UTF-8编码规则中,起始的几个比特几个0几个1,直接决定了后面的多少位应该被理解为这个字符的内容(标准的变长度编码规则,具体可参见UTF-8的介绍。比如这篇文章。)另外,也有可能是中文处理的过程中出现了兼容性问题。比如, Windows电脑对非ASCII字符的编码方式跟标准的基于Unix系统就不一样。这中间一不留神,也很有可能出现解码问题。
看完了错误消息,我们再来看错误的出处。从上面图中可以看到,错误是server = SMTP()
这一句抛出的。往下追溯,则是SMTP类的构造函数__init__
抛出的。这段代码的文件路径是".../Python/Python36/lib/smtplib.py"。再往下追溯,则是这个构造函数中调用的socket.getfqdn()
函数最早抛出的。(还记得吗,我们在探索SMTP协议和探索HTTP协议的文章中都提到过,这些上层的包,比如smtplib
, requests
等,都只是对下层的TCP接口socket
包的封装而已。)
其实,我内心里还是有点抵触去查看smtplib.py
甚至socket.py
的源代码的。总觉得,这些代码都是大神写的。自己跑去看,八成是看不懂的(好像很多初学编程的朋友也有跟我类似的想法)。但是事到如此,貌似也没有别的办法。算了,有什么大不了的,顶多不就是看不懂嘛,看看源代码又不会怀孕。
于是我去Python/lib
目录里,找到了smtplib.py
。
打开之后,马上意识到,读Python自己的源代码,似乎比读很多第三方包的源代码要顺畅许多。主要是因为文档级注释,和每个类,每个函数的注释,都写得非常清楚。找到class SMTP:
下面的def __init__
定义。果然,在这个函数的注释文档里就发现了问题关键。
什么是fqdn?问题到底出在哪里?
__init__
函数定义里的注释信息如下图:
文档里提到:
If specified,
local_hostname
is used as the FQDN
of the local host in the HELO/EHLO command.
Otherwise, the local hostname is found using socket.getfqdn().
就是说,定义SMTP
对象时,有一个叫做local_hostname
的可选参数。在SMTP通信的HELO阶段,需要使用到它。如果我们提供了local_hostname
这个参数,那么__init__
函数就拿它当作本地主机名。否则,就调用socket
的getfqdn
函数来查询本机的主机名。我们定义SMTP对象时,用的是SMTP()
,没有提供local_hostname
这个参数。于是getfqdn()
函数被调用,然后就出错了。
至此,解决错误的第一个办法有可能就找到了:明确给定一个local_hostname
,让那个构造函数不需要再去调用socket.getfqdn()
不就不会有那个错误了吗?
老弟那边马上就做了实验。
>>> from smtplib import SMTP
>>> server = SMTP(local_hostname='whatever.com') # 果然不再报错
>>> server.connect(<某个邮件供应商的mx域名>) # 连接成功
到这里,问题其实就算解决了。
不过,与其说问题被成功解决,倒不如说问题被成功绕过了。什么是fqdn?为什么socket.getfqdn()
会出错?这些还有待我们挖掘。其实,从上面的注释里差不多能猜到了。这个函数返回的,应该是本地的主机名或者域名之类的东西(一个可以被拿来当local_hostname
的东西)。上网一搜什么是“fqdn”就一目了然。"fqdn"全称是"fully qualified domain name",顾名思义,就是一个能完整表述一台机器的域名地址。其格式大概就是“主机名.域名”。比如如果你电脑的主机名是“my_computer”,你这台电脑处在域名"mypage.com"中的网络中,那么你电脑的fqdn就是“mycomputer.mypage.com”。(顺便说一下,如果这台电脑上有一个用户"superman",那这个用户的完整描述就是"[email protected]"。好像这也就是电子邮件地址的由来吧。)
我在自己办公室的电脑上试了一下:
>>> import socket
>>> socket.getfqdn()
'admins-MacBook-Pro.local'
可以看到,Mac电脑上,这个fqdn的组成。“admins-MacBook-Pro”是主机名。我的电脑只是处在局域网中,并没有关联什么域名。所以域名项是"local"。联想到老弟的电脑是一台中文版的Windows电脑,可能在一开始的配置过程中,这个fqdn没有正确配置,里面携带了非UTF-8字符,所以socket.getfqdn
在读取时才会发生编码错误。
扩大战果:其它解决办法?
既然上面的函数是在查询本地的主机名,我们有什么办法可以提供给系统正确的主机名呢?我跟老弟又做了一下功课,网上说Windows电脑的fqdn可以在环境变量userDNSdomain中查询到。老弟试图查询了一下:
C:\...(路径名)>echo %userDNSdomain%
%userDNSdomain%
可以看到系统并没有这个环境变量。由于不熟悉Windows系统,我并没有了解如何姿势正确地修改电脑的fqdn。但是既然系统有环境变量,Python的socket.getfqdn()
会不会就是通过访问这个环境变量来得到fqdn的呢?带着这个猜测,我问老弟
“你知道Windows怎么设置环境变量吗?”
“So easy.”
老弟用Windows写代码已经挺溜了,分分钟设定好了%userDNSdomain%变量(格式还是主机名.域名
的格式,不过具体名字貌似可以随意写),再次打开Python执行
>>> from smtplib import SMTP
>>> s = SMTP()
一切正常,之前的错误没有再出现。
总结
到这里,我们也就对这个异常分析了个大概。自己感觉,在这个过程中获得了不少体验。要说得到的东西,我想有一下几点:
- 即使拿Python编程入门不久,也不用害怕去研究Python自带的源代码。很多这些包的源代码并没有自己想象的那么难懂。相反,它们会比自己写的代码更有结构,更有可读性。经常看看研究一下这些代码,不仅能对这些包的工作方式有更多了解,也能从中吸取到高手们的程序怎么构架。耳濡目染,自己慢慢就能写出更漂亮的代码了。
- 系统的环境变量在编程语言中的作用比以前自己想象的要大。以前在编程的懵懂期,只会用图形界面和IDE写代码,对背后的编译器/解释器一无所知,再到背后shell的环境变量就更不知道是什么了。后来慢慢知道了gcc这样的编译器以及Python这样的解释器,很多地方都会使用到比如
PATH
,PYTHONPATH
这样的环境变量。再后来,学会了如何在shell里自己定义环境变量,以及在程序里如何访问环境变量,虽然很简单,但还是感觉自己对操作系统的了解更进了一点。在这个例子中,老弟对userDNSdomain
这个变量的实验,又是环境变量和代码之间相互作用的一个实例。
故事到这里就讲完了。其实很简单的一件事情,被我啰嗦了一大段。过路的大神看过就当茶余饭后的消遣了。刚入门的读者从中能获得一二,我们也甚感荣幸。如果你有哪些自己的探索小经历,也欢迎在留言中分享!