工作中有对PDF文件进行数据抽取，现在总结归纳一下相应的方法，本文包括一下内容：
PDF文件分割、拼接；
PDF文件抽取图片，简单的图片识别；
PDF文件抽取表格；
PDF文件抽取文本；
PDF文件转docx文件；
docx文件数据抽取；
目的：尽可能的将pdf中的数据，抽取出来，尤其是文本和表格数据尽可能的精准。
Python版本：Python3.8
一、PDF文件分割、拼接
使用场景：什么时候会用到这个功能呢？比如你爬取了一堆的PDF文件，但是这些PDF文件中存在一些干扰页，比如广告页。这种情况下，你就需要对PDF文件进行分割、拼接，在本文中，将会为大家演示这个方式的另外一个用途。
import os
from PyPDF2 import PdfFileWriter, PdfFileReader
def clear_dir(dir_path):
"""清空目录下的文件"""
names = os.listdir(dir_path)
for name in names:
file_path = os.path.join(dir_path, name)
cmd = 'del %s' % file_path #这个是windows命令
#cmd = 'rm -rf %s' % file_path #这个是Linux的命令
cmd = cmd.replace('/', '\\') #为啥要这个？因为windows命令不支持/所以需要替换，Linux命令没有遇见这个问题；
os.system(cmd) #可以通过返回值来判断是否执行成功：0成功，其他失败
def split_pdf(pdf, output_dir):
"""pdf按每页拆分"""
clear_dir(output_path)
# 获取 PdfFileReader 对象
reader = PdfFileReader(pdf_file)
pages_num = reader.getNumPages()
# writer = PdfFileWriter() 生成一个文件
for index in range(pages_num):
#可以通过对index判断分割想要的
writer = PdfFileWriter() #按照每页来分割pdf
pageObj = reader.getPage(index)
writer.addPage(pageObj)
# 添加完每页，再一起保存至文件中；如果要输出一个文件，后面这些放置到循环外即可
file_name = os.path.join(output_path, str(index) + '.pdf')
with open(file_name, 'wb') as fw:
writer.write(fw)二、PDF文件抽取图片，简单的图片识别
我对机器学习了解不多，补充这个也是由于在开发中有这么一个需求。使用场景，需要批量的PDF文件重命名，命名中需要包含发布的机构，这个机构的名称可以在首页获取，但是是一个logo。观察发现，logo中包含了机构名称，所以只需要对logo识别中文即可：
抽取图片：网络上找的代码(太多出处了，懒的写来源了)，由于使用的版本不一致，部分代码有微调，这个也是我比较吐槽的地方，测试了半天。
文字识别
import fitz
import re
import os
def save_pdf_img(path, save_path):
'''
path: pdf的路径
save_path : 图片存储的路径
'''
# 使用正则表达式来查找图片
checkXO = r"/Type(?= */XObject)"
checkIM = r"/Subtype(?= */Image)"
# 打开pdf
doc = fitz.open(path)
# 图片计数
imgcount = 0
# 获取对象数量长度
lenXREF = doc.xref_length()
# 遍历每一个图片对象
for i in range(1, lenXREF):
# 定义对象字符串
text = doc.xref_object(i)
# print(i,text)
isXObject = re.search(checkXO, text)
# 使用正则表达式查看是否是图片
isImage = re.search(checkIM, text)
# 如果不是对象也不是图片，则continue
if not isXObject or not isImage:
continue
imgcount += 1
# 根据索引生成图像
pix = fitz.Pixmap(doc, i)
# 根据pdf的路径生成图片的名称
new_name = "img{}.png".format(imgcount)
new_name = os.path.join(save_path, new_name)
pix.save(new_name)
# 释放资源
pix = None第三方包：paddleocr，安装教程网上都有，自己搜索即可
from paddleocr import PaddleOCR
import logging
#将一些日志信息过滤掉
logging.disable(logging.DEBUG)
logging.disable(logging.WARNING)
ocr = PaddleOCR(use_angle_cls=True, lang='ch')
result = ocr.ocr(img_path, cls=True)
if len(result) != 1:
print('result num=', len(result))
exit()
result = result[0]
lines = []
#可以直接答应result看看都是些什么结构
for line in result:
lines.append(line[1][0])
#这就是识别出来的文本
print(lines)效果：对于正规的的字体识别还是很好的，包括繁体，可能是logo图中的文本比较简单的原因，没有深究，文本识别技术还未深入学习，不发表言论。
三、PDF文件抽取表格、文本
PDF文件的数据组成：主要是文本、图片、表格，这三部分组成，但是也会穿插流程图、各种柱状图等。
Python可以抽取的PDF表格、文本数据的第三方包：pdfplumber，tabula，camelot
（一）、pdfplumber
1、pdfplumber：可以说是目前所有包中做的最好的一个包。
优点：
①每页单独对象，支持文本、表格数据的抽取（亮点）；
②文本抽取：保留了文本的格式，比如换行位置有空格，可以通过这个特点将一段的文本整合；
③表格数据抽取：不会被换行数据所干扰；
缺点：
①文本抽取：如果这页有表格数据，抽取到的文本数据中会包含表格数据(也可能是一个优点？？？)。
②表格数据抽取：对于有合并单元格的表格，无法还原表格结构。
③表格数据抽取：表格数据不能100%保证和原数据一致，可能少那么接个字，可能识别出错等。
④表格数据抽取（缺陷）：最主要的还是对无边界的表格，效果很差，会丢失边缘的数据！！！
⑤表格数据抽取：会被流程图、柱状图干扰；
简单使用：
import pdfplumber
pdf = r'../data/text.pdf'
wookroot = pdfplumber.open(pdf)
pages = wookroot.pages
for page in pages:
text = page.extract_text()
tables = page.extract_tables()
print(text)
print(tables)
break
wookroot.close()这个包也有一下高级的用法，主要是对表格数据抽取进行参数调节，但是效果嘛，不是很理想。
（二）、tablua
tablua：专门用于抽取PDF文件中表格数据的包
优点：
①抽取出来表格数据可以反向推导出表格的结构（亮点）；
②不会换行数据干扰；
③可以指定页读取
缺点：
①无法保证表格数据100%准确；
②对于无边界表格支持不好，丢失数据；
import tablua
def get_tabula_tables(pdf_path):
dfs = tabula.read_pdf(pdf_path, pages='all', encoding='gbk')
tables = []
for df in dfs:
df = df.fillna('')
headers = df.keys().values.tolist()
lt = []
for header in headers:
if header.count('Unnamed'):
lt.append('')
continue
if header[-1].isdigit() and header.count('.'):
words = header.split('.')
line = '.'.join(words[:-1])
if headers.count(line):
lt.append(line)
continue
lt.append(header)
headers = lt
values = df.values.tolist()
lt = []
for words in values:
rows = []
for word in words:
if not isinstance(word, str):
word = str(word)
if word[-2:] == '.0':
word = word[:-2]
rows.append(word)
continue
rows.append(word)
lt.append(rows)
values = lt
values.insert(0, headers)
tables.append(values)
return tables
pdf_file = 'xxxx.pdf'
tables = get_tabula_tables(pdf_path)读取表格中的整数，后面会带有“.0“。
（三）、Camelot
安装包以后，默认的模式无法使用，只能够使用stream来读取。
import camelot
tables = camelot.read_pdf(pdf_file, flavor="stream")
for table in tables:
print(table.df)
print('>>'*50)流式读取会将整页当做一个表格。
总结-解析PDF文件
文本：最好的包就是pdfplumber，可以获取到完整的文本数据，但是表格文本、流程图文本、图表文本所也会被读取。这个缺点自然是难以拆分，基本没有通用的逻辑可以排除。这个也是优点，如果我们想将表格数据插入到文本中，那么是不是就可以通过这种方式来实现呢？总的来说，还是很复杂，对于同一段落的文本，还需要我们自己去合并，涉及到换页、表格数据干扰、流程图数据干扰以及包本身可能会读取出错，这个工作量是非常的大，想要实现真的是很难（这么过滤表格数据就足以搞崩心态）。
表格：对于有线表格，推荐的pdfplumber；边框线缺失的，基本都会丢失数据。如果你需要重构数据，可以用tablua。值得注意的事，不管那个包，都有可能存在表数据和pdf中表数据不一致的问题（或多、或少、或读错）。
四、PDF文件转docx
相信大家也看到了，想直接从pdf中解析出文本、表格数据是真的心累。那么我们能够换个思路，从它的前身入手，读取docx文档。docx文件与pdf文件不同之处在于，docx中的数据是标签化的，只要是标签化，我们提取数据基本上就不会出错。
我这里一共有两种方式pdf转docx：pdf2docx+aspose
（一）、pdf2docx
这个包是相信大家都是比较熟悉的，百度中90%都是这个用法。
from pdf2docx import Converter
import logging
logging.disable(logging.INFO)
logging.disable(logging.DEBUG)
logging.disable(logging.WARNING)
pdf_file = 'xxx.pdf'
cv = Converter(pdf_file)
docx_file = 'xxx.docx'
cv.convert(docx_file)
cv.close()优点：1、转换速度快，0.2秒一页；2、无线+有线表格都支持；
缺点：1、纸张方向是横向的表格不支持；2、并不是所有表结构都可以转换（表格边框线的多样性会影响转化的效果）。
（二）aspose
官网：File Format APIs for .NET Core, Java, Python, C++, Android | products.aspose.com
今天主要用里面的aspose.words。aspose.pdf这个也可读取数据，但是效果还没有pdflumber好。
import aspose.words as aw
pdf_file = 'xxx.pdf'
docx_file = 'xxx.docx'
pdf = aw.Document(pdf_file)
pdf.save(docx_file)优点：1.无线+有线表格都支持；2、支持横向表格；3、表格数据更加准确。
缺点：
有两个版本，免费版和付费版：免费版单个文件只能转5页。
有水印+页眉，转换的words中会有该公司的水印和页眉，这个应该能够解决（没试过）。
和pdf2docx一样，对于特殊结构的表格，转换会很糟糕。
某些情况下文本会出现错乱（我也不知为啥，但是用pdf2docx没有问题）。
没有哪个是绝对精准、通用的，但是至少有两种方案来互补。我测试过网上的在线pdf转docx，要么表格数据有缺失，要么就是用ocr来识别、重构的word，这个种word提取出来的表格数据无法使用。
五、docx文件数据抽取
直接上代码
from docx import Document
def get_doc_tables(doc):
"""
获取docx文件中表格，转化成list
:param doc:
:return:
"""
result = []
tables = doc.tables
for table in tables:
ret = []
for row_index in range(len(table.rows)):
lt = []
for col_index in range(len(table.row_cells(row_index))):
text = table.cell(row_index, col_index).text
lt.append(text)
ret.append(lt)
result.append(ret)
return result
def get_doc_lines(paragraphs):
lines = []
for paragraph in paragraphs:
line = paragraph.text.strip()
if not line:
continue
lines.append(line)
# aspose用的体验板，带有页眉
lines = lines[1:]
return lines
docx_file = 'xxx.docx'
doc = Document(docx_file)
tables = get_doc_tables(dox)
paragraphs = doc.paragraphs
lines = get_doc_lines(paragraphs)优点：
同一段落的会整合到一块（也会有部分行不会）。
读取的表格数据可以反向推导出表格结构（上下左右合并相同值，我是将list数据转成了
包含的字符串）。
缺点：
a.每次读取的数据都是整个文件的数据，不支持单页。
b.无法定位表格数据在原文中的位置。
总结
直接解析PDF文件，获取表格数据还行，但是获取文本数据就很难，建议转成docx文件后再处理。
转docx文件，不是所有的pdf都支持，选取多种方式相互补充更为靠谱，没有那个库适合所有的pdf文件！
从docx中读取数据，数据都好提取，数据的准确度和转成docx文件的准确的有关，转的不好，数据就有问题。
表格数据定位问题，我是使用的pdfplumber来完成的，虽然很low，但是也没有找到其他办法。
流程：
pdf文件---切割--->单页pdf文件---转换--->docx文件---数据提取--->表格数据+文本数据---表格数据定位--->完整的整页数据--->前端展示
找到一个介绍PDF文件数据结构的文件：PDF Explained （译作《PDF 解析》） | PDF-Explained (zxyle.github.io)
以上就是所有的内容，希望对你有帮助~
你可能感兴趣的:(pdf,python)
理解Gunicorn：Python WSGI服务器的基石
范范0825
ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南
William数据分析
python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ
江湖偌大
python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法
鹤冲天Pro
# Python python 服务器 开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验
我的运维人生
信息可视化 数据分析 数据挖掘 运维开发 技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Python教程：一文了解使用Python处理XPath
旦莫
Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量
weixin_39605414
python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
使用Faiss进行高效相似度搜索
llzwxh888
faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思
编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
Day1笔记-Python简介&标识符和关键字&输入输出
~在杰难逃~
Python python 开发语言 大数据 数据分析 数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1)
Shawn________
python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
每日算法&面试题，大厂特训二十八天——第二十天（树）
肥学
⚡算法题⚡面试题每日精进 java 算法 数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象
孤华暗香
Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图
2224070247
信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
Python 实现图片裁剪（附代码） | Python工具
剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4)
算法大师
华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
python os 环境变量
CV矿工
python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解
eqa11
python 爬虫 开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）
算法大师
华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
nosql数据库技术与应用知识点
皆过客，揽星河
NoSQL nosql 数据库 大数据 数据分析 数据结构 非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》
xjt921122
python 数据分析 开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
Python中深拷贝与浅拷贝的区别
yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
Python开发常用的三方模块如下：
换个网名有点难
python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python编译器
鹿鹿~
Python编译器 Python python 开发语言 后端
嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
一文掌握python面向对象魔术方法（二）
程序员neil
python python 开发语言
接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
一文掌握python常用的list（列表）操作
程序员neil
python python 开发语言
目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
Python实现简单的机器学习算法
master_chenchengg
python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
K近邻算法_分类鸢尾花数据集
_feivirus_
算法 机器学习和数学 分类 机器学习 K近邻
importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
python中的深拷贝与浅拷贝
anshejd70787
python
深拷贝和浅拷贝浅拷贝的时候，修改原来的对象，浅拷贝的对象不会发生改变。1、对象的赋值对象的赋值实际上是对象之间的引用：当创建一个对象，然后将这个对象赋值给另外一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用。当对对象做赋值或者是参数传递或者作为返回值的时候，总是传递原始对象的引用，而不是一个副本。如下所示：>>>aList=["kel","abc",123]>>>bLis
用Python实现简单的猜数字游戏
程序媛了了
python 游戏 java
猜数字游戏代码：importrandomdefpythonit():a=random.randint(1,100)n=int(input("输入你猜想的数字："))whilen!=a:ifn>a:print("很遗憾，猜大了")n=int(input("请再次输入你猜想的数字："))elifna::如果玩家猜的数字n大于随机数字a，则输出"很遗憾，猜大了"，并提示玩家再次输入。elifn
VMware Workstation 11 或者 VMware Player 7安装MAC OS X 10.10 Yosemite
iwindyforest
vmware mac os 10.10 workstation player
最近尝试了下VMware下安装MacOS 系统，
安装过程中发现网上可供参考的文章都是VMware Workstation 10以下， MacOS X 10.9以下的文章，
只能提供大概的思路， 但是实际安装起来由于版本问题， 走了不少弯路， 所以我尝试写以下总结， 希望能给有兴趣安装OSX的人提供一点帮助。
写在前面的话：
其实安装好后发现， 由于我的th
关于《基于模型驱动的B/S在线开发平台》源代码开源的疑虑？
deathwknight
JavaScript java 框架
本人从学习Java开发到现在已有10年整，从一个要自学 java买成javascript的小菜鸟，成长为只会java和javascript语言的老菜鸟（个人邮箱：
[email protected] ）
一路走来，跌跌撞撞。用自己的三年多业余时间，瞎搞一个小东西（基于模型驱动的B/S在线开发平台，非MVC框架、非代码生成）。希望与大家一起分享，同时有许些疑虑，希望有人可以交流下
平台
如何把maven项目转成web项目
Kai_Ge
maven MyEclipse
创建Web工程，使用eclipse ee创建maven web工程 1.右键项目,选择Project Facets,点击Convert to faceted from 2.更改Dynamic Web Module的Version为2.5.(3.0为Java7的,Tomcat6不支持). 如果提示错误,可能需要在Java Compiler设置Compiler compl
主管？？？
Array_06
工作
转载：http://www.blogjava.net/fastzch/archive/2010/11/25/339054.html
很久以前跟同事参加的培训，同事整理得很详细，必须得转！
前段时间，公司有组织中高阶主管及其培养干部进行了为期三天的管理训练培训。三天的课程下来，虽然内容较多，因对老师三天来的课程内容深有感触，故借着整理学习心得的机会，将三天来的培训课程做了一个
python内置函数大全
2002wmj
python
最近一直在看python的document，打算在基础方面重点看一下python的keyword、Build-in Function、Build-in Constants、Build-in Types、Build-in Exception这四个方面，其实在看的时候发现整个《The Python Standard Library》章节都是很不错的，其中描述了很多不错的主题。先把Build-in Fu
JSP页面通过JQUERY合并行
357029540
JavaScript jquery
在写程序的过程中我们难免会遇到在页面上合并单元行的情况，如图所示
如果对于会的同学可能很简单，但是对没有思路的同学来说还是比较麻烦的，提供一下用JQUERY实现的参考代码
function mergeCell(){
var trs = $("#table tr");
&nb
Java基础
冰天百华
java基础
学习函数式编程
package base;
import java.text.DecimalFormat;
public class Main {
public static void main(String[] args) {
// Integer a = 4;
// Double aa = (double)a / 100000;
// Decimal
unix时间戳相互转换
adminjun
转换 unix 时间戳
如何在不同编程语言中获取现在的Unix时间戳(Unix timestamp)？ Java time JavaScript Math.round(new Date().getTime()/1000)
getTime()返回数值的单位是毫秒 Microsoft .NET / C# epoch = (DateTime.Now.ToUniversalTime().Ticks - 62135
作为一个合格程序员该做的事
aijuans
程序员
作为一个合格程序员每天该做的事 1、总结自己一天任务的完成情况 最好的方式是写工作日志，把自己今天完成了什么事情，遇见了什么问题都记录下来，日后翻看好处多多
2、考虑自己明天应该做的主要工作 把明天要做的事情列出来，并按照优先级排列，第二天应该把自己效率最高的时间分配给最重要的工作
3、考虑自己一天工作中失误的地方，并想出避免下一次再犯的方法 出错不要紧，最重
由html5视频播放引发的总结
ayaoxinchao
html5 视频 video
前言
项目中存在视频播放的功能，前期设计是以flash播放器播放视频的。但是现在由于需要兼容苹果的设备，必须采用html5的方式来播放视频。我就出于兴趣对html5播放视频做了简单的了解，不了解不知道，水真是很深。本文所记录的知识一些浅尝辄止的知识，说起来很惭愧。
视频结构
本该直接介绍html5的<video>的，但鉴于本人对视频
解决httpclient访问自签名https报javax.net.ssl.SSLHandshakeException: sun.security.validat
bewithme
httpclient
如果你构建了一个https协议的站点，而此站点的安全证书并不是合法的第三方证书颁发机构所签发，那么你用httpclient去访问此站点会报如下错误
javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path bu
Jedis连接池的入门级使用
bijian1013
redis redis数据库 jedis
Jedis连接池操作步骤如下：
a.获取Jedis实例需要从JedisPool中获取；
b.用完Jedis实例需要返还给JedisPool；
c.如果Jedis在使用过程中出错，则也需要还给JedisPool；
packag
变与不变
bingyingao
不变 变 亲情永恒
变与不变
周末骑车转到了五年前租住的小区，曾经最爱吃的西北面馆、江西水饺、手工拉面早已不在，
各种店铺都换了好几茬，这些是变的。
三年前还很流行的一款手机在今天看起来已经落后的不像样子。
三年前还运行的好好的一家公司，今天也已经不复存在。
一座座高楼拔地而起，
【Scala十】Scala核心四：集合框架之List
bit1129
scala
Spark的RDD作为一个分布式不可变的数据集合，它提供的转换操作，很多是借鉴于Scala的集合框架提供的一些函数，因此，有必要对Scala的集合进行详细的了解
1. 泛型集合都是协变的，对于List而言，如果B是A的子类，那么List[B]也是List[A]的子类，即可以把List[B]的实例赋值给List[A]变量
2. 给变量赋值(注意val关键字，a，b
Nested Functions in C
bookjovi
c closure
Nested Functions 又称closure，属于functional language中的概念，一直以为C中是不支持closure的，现在看来我错了，不过C标准中是不支持的，而GCC支持。
既然GCC支持了closure，那么 lexical scoping自然也支持了，同时在C中label也是可以在nested functions中自由跳转的
Java-Collections Framework学习与总结-WeakHashMap
BrokenDreams
Collections
总结这个类之前，首先看一下Java引用的相关知识。Java的引用分为四种：强引用、软引用、弱引用和虚引用。
强引用：就是常见的代码中的引用，如Object o = new Object();存在强引用的对象不会被垃圾收集
读《研磨设计模式》-代码笔记-解释器模式-Interpret
bylijinnan
java 设计模式
声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/
package design.pattern;
/*
* 解释器（Interpreter）模式的意图是可以按照自己定义的组合规则集合来组合可执行对象
*
* 代码示例实现XML里面1.读取单个元素的值 2.读取单个属性的值
* 多
After Effects操作&快捷键
cherishLC
After Effects
1、快捷键官方文档
中文版：https://helpx.adobe.com/cn/after-effects/using/keyboard-shortcuts-reference.html
英文版：https://helpx.adobe.com/after-effects/using/keyboard-shortcuts-reference.html
2、常用快捷键
Maven 常用命令
crabdave
maven
Maven 常用命令
mvn archetype:generate
mvn install
mvn clean
mvn clean complie
mvn clean test
mvn clean install
mvn clean package
mvn test
mvn package
mvn site
mvn dependency:res
shell bad substitution
daizj
shell 脚本
#!/bin/sh
/data/script/common/run_cmd.exp 192.168.13.168 "impala-shell -islave4 -q 'insert OVERWRITE table imeis.${tableName} select ${selectFields}, ds, fnv_hash(concat(cast(ds as string), im
Java SE 第二讲（原生数据类型 Primitive Data Type）
dcj3sjt126com
java
Java SE 第二讲：
1. Windows: notepad, editplus, ultraedit, gvim
Linux: vi, vim, gedit
2. Java 中的数据类型分为两大类：
1）原生数据类型 （Primitive Data Type）
2）引用类型（对象类型） （R
CGridView中实现批量删除
dcj3sjt126com
PHP yii
1，CGridView中的columns添加
array(
'selectableRows' => 2,
'footer' => '<button type="button" onclick="GetCheckbox();" style=&
Java中泛型的各种使用
dyy_gusi
java 泛型
Java中的泛型的使用：1.普通的泛型使用
在使用类的时候后面的<>中的类型就是我们确定的类型。
public class MyClass1<T> {//此处定义的泛型是T
private T var;
public T getVar() {
return var;
}
public void setVa
Web开发技术十年发展历程
gcq511120594
Web 浏览器 数据挖掘
回顾web开发技术这十年发展历程：
Ajax
03年的时候我上六年级，那时候网吧刚在小县城的角落萌生。传奇，大话西游第一代网游一时风靡。我抱着试一试的心态给了网吧老板两块钱想申请个号玩玩，然后接下来的一个小时我一直在，注，册，账，号。
彼时网吧用的512k的带宽，注册的时候，填了一堆信息，提交，页面跳转，嘣，”您填写的信息有误，请重填”。然后跳转回注册页面，以此循环。我现在时常想，如果当时a
openSession()与getCurrentSession()区别：
hetongfei
java DAO Hibernate
来自 http://blog.csdn.net/dy511/article/details/6166134
1.getCurrentSession创建的session会和绑定到当前线程,而openSession不会。
2. getCurrentSession创建的线程会在事务回滚或事物提交后自动关闭,而openSession必须手动关闭。
这里getCurrentSession本地事务(本地
第一章 安装Nginx+Lua开发环境
jinnianshilongnian
nginx lua openresty
首先我们选择使用OpenResty，其是由Nginx核心加很多第三方模块组成，其最大的亮点是默认集成了Lua开发环境，使得Nginx可以作为一个Web Server使用。借助于Nginx的事件驱动模型和非阻塞IO，可以实现高性能的Web应用程序。而且OpenResty提供了大量组件如Mysql、Redis、Memcached等等，使在Nginx上开发Web应用更方便更简单。目前在京东如实时价格、秒
HSQLDB In-Process方式访问内存数据库
liyonghui160com
HSQLDB一大特色就是能够在内存中建立数据库，当然它也能将这些内存数据库保存到文件中以便实现真正的持久化。
先睹为快！
下面是一个In-Process方式访问内存数据库的代码示例：
下面代码需要引入hsqldb.jar包 （hsqldb-2.2.8）
import java.s
Java线程的5个使用技巧
pda158
java 数据结构
Java线程有哪些不太为人所知的技巧与用法？ 萝卜白菜各有所爱。像我就喜欢Java。学无止境，这也是我喜欢它的一个原因。日常
工作中你所用到的工具，通常都有些你从来没有了解过的东西，比方说某个方法或者是一些有趣的用法。比如说线程。没错，就是线程。或者确切说是Thread这个类。当我们在构建高可扩展性系统的时候，通常会面临各种各样的并发编程的问题，不过我们现在所要讲的可能会略有不同。
开发资源大整合：编程语言篇——JavaScript（1）
shoothao
JavaScript
概述：本系列的资源整合来自于github中各个领域的大牛，来收藏你感兴趣的东西吧。
程序包管理器
管理javascript库并提供对这些库的快速使用与打包的服务。
Bower - 用于web的程序包管理。
component - 用于客户端的程序包管理，构建更好的web应用程序。
spm - 全新的静态的文件包管
避免使用终结函数
vahoa.ma
java jvm C++
终结函数（finalizer）通常是不可预测的，常常也是很危险的，一般情况下不是必要的。使用终结函数会导致不稳定的行为、更差的性能，以及带来移植性问题。不要把终结函数当做C++中的析构函数（destructors）的对应物。
我自己总结了一下这一条的综合性结论是这样的：
1）在涉及使用资源，使用完毕后要释放资源的情形下，首先要用一个显示的方
