pipreqs生成requirements.txt时出现SyntaxError: invalid character in identifier
文章目录
- 零、pipreqs的安装与用法
- 一、UnicodeDecodeError
- 二、SyntaxError
今天想用pipreqs打包生成requirements.txt文件，摸索的过程中报了俩错，特此记录一下：
零、pipreqs的安装与用法
安装：
pip3 install pipreqs
用法：
pipreqs somedir/location
一、UnicodeDecodeError
如果有编码问题，可能会遇见这个错误：
UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position xxx: illegal multibyte sequence
这个错误。
解决方法：指定编码格式
pipreqs somedir/location --encoding=utf8
二、SyntaxError
我在解决了上面这个问题后，开心地继续打包，结果遇见了这个问题：
Traceback (most recent call last):
File "c:\python37\lib\runpy.py", line 193, in _run_module_as_main
"__main__", mod_spec)
File "c:\python37\lib\runpy.py", line 85, in _run_code
exec(code, run_globals)
File "C:\Python37\Scripts\pipreqs.exe\__main__.py", line 7, in
File "c:\python37\lib\site-packages\pipreqs\pipreqs.py", line 470, in main
init(args)
File "c:\python37\lib\site-packages\pipreqs\pipreqs.py", line 409, in init
follow_links=follow_links)
File "c:\python37\lib\site-packages\pipreqs\pipreqs.py", line 138, in get_all_imports
raise exc
File "c:\python37\lib\site-packages\pipreqs\pipreqs.py", line 124, in get_all_imports
tree = ast.parse(contents)
File "c:\python37\lib\ast.py", line 35, in parse
return compile(source, filename, mode, PyCF_ONLY_AST)
File "", line 1
# -*- coding: utf-8 -*-
^
SyntaxError: invalid character in identifier
在Stack Overflow上面查了一下，发现是BOM-symbol的问题。
什么是BOM？首先了解一下BOM，字节顺序标记（英语：byte-order mark，BOM）是位于码点U+FEFF的统一码字符的名称。当以UTF-16或UTF-32来将UCS/统一码字符所组成的字符串编码时，这个字符被用来标示其字节序。它常被用来当做标示文件是以UTF-8、UTF-16或UTF-32编码的记号。【来自维基百科】。
尽管Stack Overflow上并没有给出相关解决方案，不过知道问题，就很好解决了。我首先通过读文件的方式，利用ord()函数，读到.py文件的开头不可见字符的Unicode编码是65279，然后就简单写了一个脚本，利用该脚本将文件中的chr(65279)字符删除。为了方便以后使用，写的脚本是基于命令行的，如下：
# -*- coding: utf-8 -*-
""" stripbom.py: Solve the problem about BOM """
import os
import sys
with open(sys.argv[1], 'r', encoding='utf-8') as f:
lines = f.readlines()
dirname, filename = os.path.split(sys.argv[1])
file_name, extension = os.path.splitext(filename)
new_file = os.path.join(dirname, file_name + '_strip' + extension)
with open(new_file, 'a', encoding='utf-8') as ff:
for line in lines:
line = line.replace(chr(65279), '')
ff.write(line)
然后利用pyinstaller打包，生成stripbom.exe的可执行文件，接着将这个exe文件放入系统的环境变量path中，这样在命令行中就可以运行啦：
stripbom somedir/test.py
这样在和test.py的同目录下就会生成一个以“_strip”结尾的同名文件。这个处理过的文件是没有65279的。
这样之后，我终于成功生成requirements.txt啦！！