Python提供了许多可用于pdf表格识别的库,如camelot、tabula、pdfplumber等。
综合来看,pdfplumber库的性能较佳,能提取出完整、且相对规范的表格
该库的安装方式 : pip install pdfplumber
库中提供两种PDF表格提取函数:
.extract_tables()
.extract_table()
这两种函数
.extract_tables()
可输出页面中的所有表格,并且返回一个嵌套列表,其结构层次为table→row→cell
with pdfplumber.open(filepath,‘w’) as pdf: pdf 文件读取方式
page = pdf.pages[45] #这里设置的是想要处理的页面
读取方式是:
page.extract_tables()
在此基础上,从PDF文件中提取表格数据,一种思路就是将提取出来的列表视为一个字符串就,
结合Python的正则表达式re模块进行字符串处理,之后将其保存为以标准英文逗号分割、可被Excel识别的csv格式文件
import pygal 可以
pie_chart = pygal.Pie() #1. 实现扇形图的绘制
#pie_chart = pygal.Line() # 实现多重曲线趋势的绘制
#pie_chart = pygal.Radar() # 可以实现正六边型的趋势绘制
pie_chart.title = ‘’
pie_chart.add(‘name’,比例)
Python 中类中定义的方法可以是:
例如: 将自带的 <<<< 改为 -----
import sys
sys.ps1 = ‘-----’ 进行更改,可以更改为任何东西
在使用json.dumps时注意一个问题
import json
print(json.dumps(‘中国’))
返回的是 “\u4e2d\u56fd”
输出的会是
‘中国’ 中的ascii字符码,而不是真正的中文。
这是因为json.dumps序列化时对中文默认使用的ascii编码
想输出真正的中文需要指定ensure_ascii=False:
中文的时候正确使用方法: 添加上ensure_ascii 参数
import json
print(json.dumps(‘中国’, ensure_ascii=False))
“中国”
下面的网址:包含所有的itertools的模块函数
https://docs.python.org/zh-cn/3.8/library/itertools.html
1. 语法 str.join(squence)
2. 示例
>>> str = '-' #指定字符之间的符号
>>> seq = ('b','o','o','k')
>>> print str.join(seq)
>>> b-o-o-k # 输出结果
isinstace(str,datetime.datetime)
import datetime
1. 日期时间格式转字符 使用的是 strftime() 函数
date = 2021-12-23
datetime.strptime('2021-12-23','%Y-%m-%d) #这里可以根据需要进行转换 例如:没有中间的'-'符号
date.strftime('%Y-%m-%d')
#'2021-12-23'
date.strftime('%Y%m%d')
#'20211223'
date.strftime('%Y-%m')
#'2021-12'
2. 字符转换日期时间
法一:
datetime.strptime('2018-09-08','%Y-%m-%d')
#datetime.datetime(2018, 9, 8, 0, 0)
法二: 使用的是pandas里面的 to_datetime() 函数
import pandas as pd
pd.to_datetime('2018-09-08')
#Timestamp('2018-09-08 00:00:00')
pd.to_datetime('201909',format='%Y%m')
#Timestamp('2019-09-01 00:00:00')
3. 数值转换日期
dt = 20180908
datetime.strptime(str(dt),'%Y%m%d')
#datetime.datetime(2018, 9, 8, 0, 0)
4. pandas中的时间处理
import random
df = pd.DataFrame({
'some_data' : [random.randint(100,999) for i in range(1,10)],
'a_col' : '2019-07-12',
'b_col' : datetime.datetime.now().date(),
'c_col' : time.time()},
index=range(1,10))
删除虚拟环境:
(推荐教程:Python入门教程)
conda remove -n your_env_name(虚拟环境名称) --all
删除虚拟环境中的包:
conda remove --name $your_env_name $package_name(包名)
退出虚拟环境:
Linux:
source deactivate your_env_name(虚拟环境名称)
Windows:
deactivate
也可以使用`activate root`切回root环境。
1. 使用flask进行前端展示
2. 使用flask进行 分页 展示
from flask_paginate import Pagination,get_page_parameter
# from flask import Flask, render_template,request
from flask_sqlalchemy import SQLAlchemy
上面的两个是我找到得两个进行分页的参数,目前不知道区别以及期使用用途
使用flask_paginate分页技术进行分页
使用参数:
from flask_paginate import Pagination, get_page_parameter
from Config import DBsession, EventRecordDB, draughtFan, wind, and_, StatiscData
Pagination: 类函数
get_page_parameter: 获取当前翻页的参数
上面的两个参数是flask-paginate的主要点
1. 在视图函数定义方法
pagination = Pagination('参数')
page = request.args.get(get_page_parameter(), type=int, default=1)
Pagination.__init__(**kwargs) 注意:标注 --- 的是重点关注参数
found=0: 当使用搜索是使用
page: 当前页, 使用实例对象中的page -----------------------
per_page: 每页显示多少项, 可以使用数据表的切片slice操作来定义, per_page ----------------
page_parameter: 页面参数, 默认为page, http://localhost:5000/?page=2
prev_label: 上一页, 默认为<<, 可以定义prev_label='上一页'
next_label: 下一页, 默认为>>, 可以定义next_label='下一页'
total: 总共有多少页 -----------------------
bs_version=2: Bootstrap版本, 默认为版本2 -------------------------
注意: 如果使用的是Boostrap3的CDN, 那么就要设置bs_version=3, 否则会无法正常显示
{{ pagination.links }} 这段 代码放在HTML页面中,作用就是,将我们的分页放在先要展示的位置 links 表示的是链接网址
以上为主要参数的使用
具体使用方法:
# 获取当前为第几页
page = request.args.get(get_page_parameter(), type=int, default=1)
# 定义每页显示多少项
start = (page-1)*config.PER_PAGE
end = start + config.PER_PAGE
# 使用切片来显示每页显示多少项
posts = PostModel.query.slice(start, end)
pagination = Pagination(bs_version=3, page=page, total=PostModel.query.count())
context = {
"posts": posts,
"pagination": pagination,
# ... others
}
return render_template('index.html', **context)
2. 在模板中使用方法
直接在想要放置分页条的地方使用 ↓↓↓↓
{{ pagination.links }}
render_template() 作用:在Python代码中 直接生成 HTML 缺点很多,比如笨拙,效率低,可读性差。
因此, Flask 提供了 Jinja2 模板引擎来帮助开发者高效灵活生成HTML
html模板文件的位置
模板即自己写好的模板html文件,需要放在templates文件夹内。目录结构如下:
1.
/application.py
/templates
/hello.html
2.
/application
/__init__.py
/templates
/hello.html
以上两种存放情况。
具体的实施方法:
`render_template()`函数是`flask`函数的,他从模板文件夹`templates`中呈现给定的模板上下文。
语法以及参数:
import flask
flask.render_template(template_name, **context)
render_template()函数需要调用flask包
template_name 参数是: 模板的文件名字 类型是字符串类型,不可省略
context 参数是: 模板的参数 由模板参数和对应的值组成的字典,可以省略的参数
返回值: str render_template() 函数返回替换模板参数后的模板文本。
有两种使用情况:
1. 模板中没有参数,就是说不需要给模板中给定参数。
例如:
Hello world
Hello World!
import flask
app = flask.Flask(__name__)
@app.route("/hello")
def hello():
return flask.render_template("hello_world.html")
if __name__ == '__main__':
app.run()
运行后在浏览器中输入http://地址/hello,结果如下:
2. 给模板中传递参数。
例如: 模板../templates/for.html如下:
Jinja2 Circulation Control
{{product}} list:
{% for product in products %}
- {{product}}
{% endfor %}
import flask
app = flask.Flask(__name__)
@app.route("/")
def index():
products = ["iphoneX", "MacBook Pro", "Huawei"]
kwargs = {
"products": products
}
return flask.render_template("for.html", **kwargs)
if __name__ == '__main__':
app.run()
使用功能方法:divmod(x, y)
函数把除数和余数运算结果结合起来,返回一个包含商和余数的元组(a // b, a % b)。
# 我们这里要计算的是总页数 如果有余数的话还要+1才是总页数。
例如: reshape(2,6) 就是将一个数转换成 2行 6列
reshape(8,-1) 就是将一个数组转换成 8行 的数据,至于是几列会自动进行计算。
同理的(-1,5) 就是固定列的数量,行数进行自动计算。
一般的 axis=[-1] 的意思就是在最后面进行维度扩展 [1,2,3] -->> [1,2,3,1]
axis = 多少 就是说在那个位置进行扩展 0,1,2,3 再多的话,就会提示错误,不管多少的
维度,他们的数据总量是不变的。
关键理解:就是说 expand_dim(input,axis=[]) input的shape是固定的,扩展的结果就是在相应的维度上进行扩展,
只要保证数据的参数量不变,不过一般好像都是 1。
详细介绍的网址:
https://blog.csdn.net/hong615771420/article/details/83448878#:~:text=np.%20expand_dims%20%E7%9A%84%E4%BD%9C%E7%94%A8%E6%98%AF%E9%80%9A%E8%BF%87%E5%9C%A8%E6%8C%87%E5%AE%9A%E4%BD%8D%E7%BD%AE%E6%8F%92%E5%85%A5%E6%96%B0%E7%9A%84%E8%BD%B4%E6%9D%A5%E6%89%A9%E5%B1%95%E6%95%B0%E7%BB%84%E5%BD%A2%E7%8A%B6%EF%BC%8C%20%E5%87%BD%E6%95%B0%E6%A0%BC%E5%BC%8F%E5%A6%82%E4%B8%8B%EF%BC%9A%20np.%20expand_dims%20%28array%2C%20axis%29,np.%20expand_dims%2C%20np%20.newaxis%29%E5%92%8C%E5%88%A0%E9%99%A4%E7%BB%B4%E5%BA%A6%20%28%20np%20.squeeze%29%E7%9A%84%E6%96%B9%E6%B3%95.%20cxx654%E7%9A%84%E5%8D%9A%E5%AE%A2.
a = (1,3)
a.as_list()
一般用于在TensorFlow中的获取某个 tensor(张量) 的形状后 get_shape().as_list()
这样使用,如此可获取 某一维度的形状。
原因:IDE环境下,例如:pycharm 下,会自动搜索代码所在的目录,寻找相关的包,而Linux环境下,
直接运行 .py 文件,只会搜索默认的路径,此时需要把代码所在的目录添加到 sys.path 当中。
解决步骤:
1. 终端进入Python,键入: import sys 并且查看 print(sys.path)
2. cd 进入上述打印出的路径的 site-packages 目录下
3. 增加 .pth 文件 vim code_path.pth (若是没有这个文件,此命令会自动生成该文件)
4. 在该文件下添加你的代码目录(代码目录就是我们的项目文件所在目录),按 Esc 键入: :wq 进行保存。
String模块中的常量:
string.digits:数字0~9
string.ascii_letters:所有字母(大小写)
string.lowercase:所有小写字母
string.printable:可打印字符的字符串
string.punctuation:所有标点
string.uppercase:所有大写字母