简介
本文将展示一个稍微不一样点的爬虫。
pip install camelot-py
camelot模块的官方文档地址为：https://camelot-py.readthedocs.io/en/master/。
例1
首先，让我们看一个简单的例子：eg.pdf，整个文件只有一页，这一页中只有一个表格，如下：
使用以下Python代码就可以提取该PDF文件中的表格：
import camelot
# 从PDF文件中提取表格
tables = camelot.read_pdf('E://eg.pdf', pages='1', flavor='stream')
# 表格信息
print(tables)
print(tables[0])
# 表格数据
print(tables[0].data)
输出结果为：
[['ID', '姓名', '城市', '性别'], ['1', 'Alex', 'Shanghai', 'M'], ['2', 'Bob', 'Beijing', 'F'], ['3', 'Cook', 'New York', 'M']]
分析代码，camelot.read_pdf()为camelot的从表格中提取数据的函数，输入的参数为PDF文件的路径，页码（pages）和表格解析方法（有stream和lattice两个方法）。对于表格解析方法，默认的方法为lattice，而stream方法默认会把整个PDF页面当做一个表格来解析，如果需要指定解析页面中的区域，可以使用table_area这个参数。
import camelot
# 从PDF文件中提取表格
tables = camelot.read_pdf('E://eg.pdf', pages='1', flavor='stream')
# 将表格数据转化为csv文件
tables[0].to_csv('E://eg.csv')
得到的csv文件如下：
例2
在例2中，我们将提取PDF页面中的某一区域的表格的数据。PDF文件的页面（部分）如下：
Statistics-Fundamentals-Succinctly.pdf第53页
为了提取整个页面中唯一的表格，我们需要定位表格所在的位置。PDF文件的坐标系统与图片不一样，它以左下角的顶点为原点，向右为x轴，向上为y轴，可以通过以下Python代码输出整个页面的文字的坐标情况：
import camelot
# 从PDF中提取表格
tables = camelot.read_pdf('G://Statistics-Fundamentals-Succinctly.pdf', pages='53', \
flavor='stream')
# 绘制PDF文档的坐标，定位表格所在的位置
tables[0].plot('text')
输出结果为：
UserWarning: No tables found on page-53 [stream.py:292]
整个代码没有找到表格，这是因为stream方法默认将整个PDF页面当作表格，因此就没有找到表格。但是绘制的页面坐标的图像如下：
仔细对比之前的PDF页面，我们不难发现，表格对应的区域的左上角坐标为（50,620），右下角的坐标为（500,540）。我们在read_pdf()函数中加入table_area参数，完整的Python代码如下：
import camelot
# 识别指定区域中的表格数据
tables = camelot.read_pdf('G://Statistics-Fundamentals-Succinctly.pdf', pages='53', \
flavor='stream', table_area=['50,620,500,540'])
# 绘制PDF文档的坐标，定位表格所在的位置
table_df = tables[0].df
print(type(table_df))
print(table_df.head(n=6))
输出的结果为：
0 1 2 3
0 Student Pre-test score Post-test score Difference
1 1 70 73 3
2 2 64 65 1
3 3 69 63 -6
4 … … … …
5 34 82 88 6
总结
在具体识别PDF页面中的表格时，除了指定区域这个参数，还有上下标、单元格合并等参数，详细地使用方法可参考camelot官方文档网址：https://camelot-py.readthedocs.io/en/master/user/advanced.html。
注意 ：本人现已开通微信公众号： Python爬虫与算法（微信号为：easy_web_scrape）， 欢迎大家关注哦~~
参考文献
camelot模块的官方文档：https://camelot-py.readthedocs.io/en/master/
Camelot：一个从pdf抽取表格数据的Python库：https://blog.csdn.net/qq_40925239/article/details/83153599
你可能感兴趣的:(另类爬虫：从PDF文件中爬取表格数据)
第八十九篇 大数据开发中的数据算法：贪心策略 - 生活中的“精打细算”艺术
在资源有限的世界里，贪心算法教会我们：局部最优的累积，往往是通往全局最高效的捷径。本文通过3个生活化场景+原创图表，揭示大数据开发中最实用的优化策略。目录一、贪心算法核心思想：当下即最优二、三大核心应用场景详解（附原创图表）1.文件压缩优化：Huffman编码2.任务调度优化：SPT算法3.网络拓扑优化：Prim算法三、贪心算法适用性分析四、大数据工程最佳实践五、总结：贪心思维的艺术一、贪心算法核
cocos2dx3.x项目升级到xcode15以上的iconv与duplicate symbols报错问题
itme268
iconv报错
cocos2dx3.x项目升级xcode15以上后会有几处报错。1.CCFontAtlas.cpp文件下的iconv与iconv_close的报错。修改如下：//iconv_close(_iconv);iconv_close((iconv_t)_iconv);iconv((iconv_t)_iconv,(char**)&pin,&inLen,&pout,&outLen);//iconv(_icon
python之vars函数使用介绍
yueguang8
python python 开发语言
在Python中,vars()是一个内置函数,它可以用来获取对象的属性字典。1.vars()函数的用法无参数调用vars()：当不带参数调用vars()时,它会返回当前本地作用域中的变量名和值组成的字典。带参数调用vars()：当传递一个对象作为参数时,vars()会返回该对象的属性字典。这等价于object.__dict__。下面是一些示例:#无参数调用x=10y=20print(vars())
从数据到智慧：AI原生知识库构建的完整技术栈解析
AI天才研究院
Agentic AI 实战 AI大模型企业级应用开发实战 AI人工智能与大数据 AI-native 大数据 ai
从数据到智慧：AI原生知识库构建的完整技术栈解析关键词AI原生知识库、知识图谱、向量数据库、大语言模型、RAG技术、知识工程、智能问答系统摘要在人工智能飞速发展的今天，构建能够真正理解、组织和应用知识的系统已成为企业数字化转型的核心竞争力。本文将深入剖析AI原生知识库的完整技术栈，从数据采集与预处理，到知识表示与建模，再到存储架构与检索增强生成技术，全方位解读如何将原始数据转化为可行动的智慧。我们
【人工智能】大比拼：文心一言 VS ChatGPT —— 禅与计算机程序设计艺术亲自测评
AI天才研究院
ChatGPT 人工智能 文心一言 chatgpt
收到了百度“文心一言”的内测邀请，现在给大家亲身体验测评一下！禅与计算机程序设计艺术先说结论：文心一言表现基本符合预期。与ChatGPT有一定差距，应该在几个月左右。但是禅与计算机程序设计艺术，挺期待ChatGLM-130B版本的效果的。因为，ChatGLM-6B在本地测评的效果，还是非常不错的！目录文心一言写一篇论文介绍一下你自己，从技术原理、应用场景、未来发展、当前不足等方面，不少于3000字
get和post获取数据的方式
曦紫沐
get获取数据 post获取数据 登录 注册
1、获取get请求提交的数据当发生GET请求的时候，可以通过request.GET['名称']的方式来获取请求提交的数据2、POST获取数据ifrequest.method=='POST':if'name'inrequest.POSTandrequest.POST['name']value=request.POST['name']returnHttpResponse(value)else:retu
Ajax Get请求获取后台返回的数据
qi_rui_a
Php
/**Ajax对象的成员*属性:responseText:以字符串形式接受返回的数据*readyState:*0:刚创建ajax对象*1:已经调用open方法*2:已经调用send方法*3:已经返回部分数据*4:请求完成,数据返回完整*onreadystatechange:事件:当readystatus发生改变的时候*方法:*open()创建新的http请求*send()把请求发送给服务器**/f
python中vars()的作用
m0_45093979
python 开发语言
在Python中，vars()是一个内置函数，用于返回对象的属性和属性值的字典。它可以用于获取一个对象的命名空间中的所有变量和属性，然后以字典的形式返回这些变量和属性的名称及其对应的值。如果没有提供参数给vars()，它会返回当前作用域（scope）的变量和属性。通常在函数内部调用vars()，它将返回函数的局部命名空间中的所有变量和属性。在模块级别调用vars()，它将返回当前模块的全局命名空间
C++调用python的方法
一、C++中调用python接口在线手册：https://docs.python.org/3/c-api/intro.htmlWindows环境下python安装时提供了给C++调用的头文件及库文件。C++中引用头文件include，放在所有标准引用之前。将头文件目录、库文件目录添加到工程属性。调用python提供的API，传入模块名、函数名、函数参数（封装成PyObject的形式）获取返回值并解
在Windows系统中配置Python 3.11环境安装教程
俊星学长
windows python3.11
在Windows系统中配置Python3.11环境安装教程是一个相对直接且简单的过程，但为了确保所有步骤都被详细覆盖，我将分步介绍，并提供必要的背景信息和注意事项。以下是详细的安装教程：一、下载Python3.11首先，需要从Python的官方网站下载Python3.11的安装包。请按照以下步骤操作：访问Python官方网站：打开浏览器，访问Python的官方网站。在网站首页，找到并点击“Down
《破局节点失效：Erlang分布式容错系统的自愈机制与恢复逻辑》
后端
节点故障是无法根除的常态——硬件老化、网络波动、资源耗尽等因素，随时可能让某个节点从集群中“消失”。Erlang语言凭借其面向并发的设计哲学与原生分布式支持，成为构建容错系统的优选工具。但真正的挑战不在于避免故障，而在于当节点失效时，系统能否像有机体自愈般自动恢复，这需要对Erlang的进程模型、分布式通信与状态管理进行深度挖掘，构建一套从故障感知到服务续接的完整逻辑闭环。Erlang节点间的默认
项目篇：加入Python程序之如何在Python中使用C++？
guangcheng0312q
python c++ windows 开发语言
项目篇：加速Python程序之如何在Python中使用C++？通常像一些耗时的操作，我们期望在C++中去实现，然后使用Python去调用对应的接口，或者因为底层库的原因，需要支持对外的PythonAPI，那么我们通常需要支持在Python中访问C++，如何实现呢？方法比较多，本节以pybind11为例，引入一个完整的项目工程模版，如果你后续有这种需求，可以基于模版去修改。注：(懒人版)本节的所有代
1. RAG 权威指南：从本地实现到生产级优化的全面实践
javascript
1.RAG权威指南：从本地实现到生产级优化的全面实践大型语言模型（LLM）的知识受限于其训练数据，这是一个众所周知的痛点。检索增强生成（RAG）技术应运而生，它如同一座桥梁，将这些强大的基础模型与企业所需的实时、动态信息连接起来，极大地拓展了AI的能力边界。RAG将LLM从一个封闭的知识库，转变为一个能够提供准确、实时且紧密贴合上下文的动态工具。本文将作为你的向导，带你深入探索RAG的世界。我们首
windows下tokenizers-cpp编译
Wite_Chen
windows tokenizers-cpp
github地址一、rust环境配置参考二、编译1、修改cmakelists.txt，支持x86和64编译(tokenizers_c库，原始版本windows下只支持64位)修改顶层CMakeLists.txt文件（77行），支持x86编译elseif(CMAKE_SYSTEM_NAMESTREQUAL"Windows")#set(TOKENIZERS_CPP_CARGO_TARGETx86_64
Python vars() 函数：探索对象的内部
程序员喵哥
Python python 开发语言
更多Python学习内容：ipengtao.comPython是一门具有强大而灵活的编程语言，可以访问和探索对象的内部属性。vars()函数是Python标准库中的一个强大工具，它可以获取对象的属性和属性值，并以字典的形式返回它们。在本文中，将深入研究vars()函数，探讨它的用途、示例和适用场景。前言在Python中，对象是一切。对象可以是数字、字符串、列表、字典、函数、类实例等等。每个对象都可
2.4G收发SOC芯片 XL2417D，集成高性能2.4GHz射频收发器、32位MCU
XL2417D芯片是一款低功耗、高性能和高度集成的2.4GSoC芯片，带有蓝牙5.2BLE和2.4G收发器。它集成了高性能2.4GHz射频收发器、丰富的基带功能、32位MCU和各种外围IO。它支持128KB的flash和8KB的RAM，以实现可编程协议和配置文件，支持定制应用程序。XL2417D采用先进的55nmCMOS低泄漏工艺制造，降低BOM成本的同时简化了整个系统设计。丰富的外围设备包括10
[论文阅读] 人工智能 + 软件工程 | 当 LLM 写代码时，它的 “思考过程” 靠谱吗？—— 揭秘 CoT 质量的那些事儿
张较瘦_
前沿技术 论文阅读 人工智能 软件工程
当LLM写代码时，它的“思考过程”靠谱吗？——揭秘CoT质量的那些事儿论文标题：AreTheyAllGood?EvaluatingtheQualityofCoTsinLLM-basedCodeGenerationarXiv:2507.06980[pdf,html,other]AreTheyAllGood?EvaluatingtheQualityofCoTsinLLM-basedCodeGenera
运维工程师发展路线
SZHCI
运维
一、运维工程师发展路线1.传统运维侧重点是解决具体的问题。要求具备扎实的底层的知识储备，如网络、linux、数据库、硬件设备调试、服务部署等。以及一定的故障处理能力和经验，能够快速解决问题，实施变更。能够处理突发故障，顺利完成服务的部署，变更的实施。2.云计算运维侧重点是开源技术方案的使用，为云服务的稳定提供保证。随着业务不断发展，服务器规模扩大，就需要具备大规模服务器的批量管理能力。要求对开源技
如何在 Linux 上使用 cURL 下载文件？| cURL 命令详解
vvw&
开源项目推荐 Linux 技术文章 linux 运维 服务器 ubuntu 开源 curl wget
简介如果你正在寻找快速答案，那么curl-O命令可让你使用curl命令行实用程序下载文件。当然，关于使用curl下载文件，除了-O参数之外，还有很多东西需要学习。我们将展示如何使用curl在Linux上下载文件，并提供多个curl下载命令的示例，你可以使用这些命令来满足不同的要求。如果你不熟悉curl，我们建议你通读本文。如果你熟悉curl但只需要快速回顾一下，请随意跳转到特定部分。什么是curl
想转行网络安全，可以先看看过来人的建议
孤独的汤姆
web安全 安全
在当前就业形势下，不少朋友面临转行的困境。网络安全作为一个热门领域，自然也吸引了许多人的目光。本文将就转行网络安全这一话题，提供一些切实可行的建议。网络安全行业概况网络安全涵盖了从基础的脚本编写到高级的漏洞研究等多个层面。该领域包括但不限于：渗透测试、漏洞评估、恶意软件分析、入侵检测、信息安全管理等。这些内容的复杂性不一，从基础的安全监控到复杂的安全架构设计都涉及其中。这就意味着，尽管有些领域可能
TypeScript
两年半.倸枸
前端 typescript javascript 开发语言
一、简介1、TS是什么？以JS为基础构建的语言，一个JS的超集。可以在任何支持JS的平台中执行；TS扩展了JS，并添加了类型；TS不能被JS解析器直接执行，需要将TS编译为JS；2、TS增加了什么增加了类型、支持ES新特性、添加了ES不具备的新特性、配置选项。二、环境搭建1、安装Node.js2、安装TS：npmi-gtypescript3、创建一个TS文件4、使用TSC对TS文件进行编译：tsc
【线上故障排查】缓存穿透攻击的识别与布隆过滤器（面试题 + 3 步追问应对 + 案例分析）
程序员岳彬
从项目到面试：Java 高频面试题场景化通关指南 缓存 java 后端 spring boot linux redis
一、高频面试题问题1：什么是缓存穿透？它对系统的核心危害是什么？参考答案：缓存穿透指的是用户请求的数据在缓存和数据库中都不存在，导致请求直接绕过缓存打到数据库。核心危害是大量无效请求会耗尽数据库资源，比如CPU、内存或连接数，严重时可能引发数据库宕机，进而导致整个系统崩溃，影响服务可用性。第一步追问：缓存穿透和缓存雪崩有什么本质区别？参考答案：两者本质不同。缓存穿透是请求不存在的数据，攻击或逻辑漏
MySQL事务实现原理
巴里巴气
MySQL知识记录 mysql 数据库
目录MySQL事务介绍事务基础及其实现原理回滚日志MVCC多版本并发控制事务的特性多个事务同时执行出现的三种现象四种隔离级别及其实现原理尽量不要使用长事务MySQL事务介绍要保证⼀组数据库操作，要么全部成功，要么全部失败事务是在存储引擎层实现的,MySQL是支持多存储引擎的系统,不是所有的存储引擎都支持事务,目前最常用的存储引擎InnoDB是支持事务的事务基础及其实现原理回滚日志回滚日志是一种用于
使用 duckdb::arrow 实现表格输出的 DuckDB CLI 代码
试图让DeepSeek编写输出列名、并支持各种数据类型的代码，总是不成功，在duckdb-rs主页看到它的示例代码支持arrow表格，把此示例提交给DeepSeek,并让他删除语法高亮代码，就能正常处理各种查询了。如下所示。usestd::{error::Error,io::{self,BufRead},time::Instant,};useduckdb::{params,Connection,a
在sf=0.1时测试fireducks、duckdb、polars的tpch
l1t
数据库 编程语言 软件工程 python 压力测试
首先，从https://github.1git.de/fireducks-dev/polars-tpch下载源代码包，将其解压缩到/par/fire目录。然后进入此目录，运行SCALE_FACTOR=0.1./run-fireducks.sh，脚本会首先安装所需的包，编译tpch的数据生成器，然后按照sf=0.1生成tbl文件，再转化为parquet格式，最后执行。如下所示：root@DESKTO
CMake基础：条件判断详解
目录1.简介2.核心判断类型及示例2.1.变量相关判断2.2.数值判断2.3.文件/路径判断2.4.目标/组件判断2.5.系统与编译器判断2.6.逻辑组合（与/或/非）2.7.括号分组（优先级控制）2.8.判断某个元素是否在列表中3.常见实用场景4.注意事项相关链接1.简介CMake的条件判断是通过if()/elseif()/else()/endif()结构实现流程控制的核心，常用于根据环境、配置
Rust 智能指针深入浅出
在Rust中，智能指针是管理内存的高级工具，它们不仅提供指针功能，还包含额外的元数据和能力（如所有权管理、引用计数等）。以下是Rust主要智能指针的全面解析：一、智能指针vs普通引用特性普通引用(&T)智能指针所有权只借用数据通常拥有数据所有权功能简单的内存访问附加管理逻辑内存位置可指向栈或堆通常管理堆内存元数据无包含额外元数据二、核心智能指针类型1.Box：堆分配的最简指针作用：在堆上分配值，栈
Coze 实战：如何用自动提示词优化功能提升 AI 应用开发效率？
charles666666
产品经理 人工智能 自然语言处理
在与多家企业合作开发AI应用项目中，我深感团队提示词质量不稳定的困扰。某次为电商客户打造智能客服项目，初期开发团队撰写的提示词繁杂冗长，AI生成的回答时而偏题、时而重复。由于成员对业务理解不一，提示词质量参差不齐，导致产品交付延迟。这个痛点在中小型企业技术团队中尤为突出。模块1：功能定位解析传统提示工程依赖人工反复调试，如开发团队需手动调整提示词结构。而Coze的自动优化功能则不同。Coze能基于
Redis 分布式锁实现与实践
佑瞻
数据库与知识图谱 redis 分布式 数据库
在分布式系统架构中，多个独立进程对共享资源的并发访问控制是常见需求，分布式锁作为解决这一问题的关键技术，在缓存更新、任务调度、库存管理等场景中发挥着重要作用。本文将从基础原理出发，详细阐述基于Redis的分布式锁实现方案，包括单实例模式与Redlock算法，并探讨其在实际应用中的关键考量。分布式锁核心概念分布式锁是一种跨进程、跨机器的同步机制，用于保证多个分布式节点对共享资源的互斥访问。一个可靠的
布隆过滤器详解及使用：解决缓存穿透问题
豪宇刘
缓存 哈希算法 散列表
在现代应用开发中，缓存技术被广泛应用于提升系统性能和响应速度。然而，缓存系统也带来了一些新的挑战，如缓存穿透、缓存击穿和缓存雪崩等问题。一、什么是布隆过滤器？布隆过滤器是一种空间效率很高的概率型数据结构，用于判断一个元素是否在一个集合中。它的优点是高效且占用内存少，但有一定的误判率（即可能会错误地认为某个不在集合中的元素存在于集合中），不过它不会漏报（即如果一个元素确实不在集合中，布隆过滤器一定能
Java实现的基于模板的网页结构化信息精准抽取组件：HtmlExtractor
yangshangchuan
信息抽取 HtmlExtractor 精准抽取 信息采集
HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件，本身并不包含爬虫功能，但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。
HtmlExtractor是为大规模分布式环境设计的，采用主从架构，主节点负责维护抽取规则，从节点向主节点请求抽取规则，当抽取规则发生变化，主节点主动通知从节点，从而能实现抽取规则变化之后的实时动态生效。
如
java编程思想 -- 多态
百合不是茶
java 多态详解
一: 向上转型和向下转型
面向对象中的转型只会发生在有继承关系的子类和父类中（接口的实现也包括在这里）。父类：人 子类：男人向上转型： Person p = new Man() ; //向上转型不需要强制类型转化向下转型： Man man =
[自动数据处理]稳扎稳打,逐步形成自有ADP系统体系
comsci
dp
对于国内的IT行业来讲,虽然我们已经有了"两弹一星",在局部领域形成了自己独有的技术特征,并初步摆脱了国外的控制...但是前面的路还很长....
首先是我们的自动数据处理系统还无法处理很多高级工程...中等规模的拓扑分析系统也没有完成,更加复杂的
storm 自定义 日志文件
商人shang
storm cluster logback
Storm中的日志级级别默认为INFO，并且，日志文件是根据worker号来进行区分的，这样，同一个log文件中的信息不一定是一个业务的，这样就会有以下两个需求出现：
1. 想要进行一些调试信息的输出
2. 调试信息或者业务日志信息想要输出到一些固定的文件中
不要怕，不要烦恼，其实Storm已经提供了这样的支持，可以通过自定义logback 下的 cluster.xml 来输
Extjs3 SpringMVC使用 @RequestBody 标签问题记录
21jhf
springMVC使用 @RequestBody(required = false) UserVO userInfo
传递json对象数据，往往会出现http 415，400,500等错误，总结一下需要使用ajax提交json数据才行，ajax提交使用proxy，参数为jsonData，不能为params；另外，需要设置Content-type属性为json，代码如下：
（由于使用了父类aaa
一些排错方法
文强chu
方法
1、java.lang.IllegalStateException: Class invariant violation
at org.apache.log4j.LogManager.getLoggerRepository(LogManager.java:199)at org.apache.log4j.LogManager.getLogger(LogManager.java:228)
at o
Swing中文件恢复我觉得很难
小桔子
swing
我那个草了！老大怎么回事，怎么做项目评估的？只会说相信你可以做的，试一下，有的是时间！
用java开发一个图文处理工具，类似word，任意位置插入、拖动、删除图片以及文本等。文本框、流程图等，数据保存数据库，其余可保存pdf格式。ok,姐姐千辛万苦，
php 文件操作
aichenglong
PHP 读取文件 写入文件
1 写入文件
@$fp=fopen("$DOCUMENT_ROOT/order.txt", "ab");
if(!$fp){
echo "open file error" ;
exit;
}
$outputstring="date:"." \t tire:".$tire."
MySQL的btree索引和hash索引的区别
AILIKES
数据结构 mysql 算法
Hash 索引结构的特殊性，其 检索效率非常高，索引的检索可以一次定位，不像B-Tree 索引需要从根节点到枝节点，最后才能访问到页节点这样多次的IO访问，所以 Hash 索引的查询效率要远高于 B-Tree 索引。
可能很多人又有疑问了，既然 Hash 索引的效率要比 B-Tree 高很多，为什么大家不都用 Hash 索引而还要使用 B-Tree 索引呢
JAVA的抽象--- 接口 --实现
百合不是茶
抽象 接口 实现接口
//抽象 类 ,方法
//定义一个公共抽象的类 ,并在类中定义一个抽象的方法体
抽象的定义使用abstract
abstract class A 定义一个抽象类 例如：
//定义一个基类
public abstract class A{
//抽象类不能用来实例化，只能用来继承
//
JS变量作用域实例
bijian1013
作用域
<script>
var scope='hello';
function a(){
console.log(scope); //undefined
var scope='world';
console.log(scope); //world
console.log(b);
TDD实践（二）
bijian1013
java TDD
实践题目：分解质因数
Step1：
单元测试：
package com.bijian.study.factor.test;
import java.util.Arrays;
import junit.framework.Assert;
import org.junit.Before;
import org.junit.Test;
import com.bijian.
[MongoDB学习笔记一]MongoDB主从复制
bit1129
mongodb
MongoDB称为分布式数据库，主要原因是1.基于副本集的数据备份， 2.基于切片的数据扩容。副本集解决数据的读写性能问题，切片解决了MongoDB的数据扩容问题。
事实上，MongoDB提供了主从复制和副本复制两种备份方式，在MongoDB的主从复制和副本复制集群环境中，只有一台作为主服务器，另外一台或者多台服务器作为从服务器。 本文介绍MongoDB的主从复制模式，需要指明
【HBase五】Java API操作HBase
bit1129
hbase
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.ha
python调用zabbix api接口实时展示数据
ronin47
zabbix api接口来进行展示。经过思考之后，计划获取如下内容： 1、 获得认证密钥 2、 获取zabbix所有的主机组 3、 获取单个组下的所有主机 4、 获取某个主机下的所有监控项
jsp取得绝对路径
byalias
绝对路径
在JavaWeb开发中，常使用绝对路径的方式来引入JavaScript和CSS文件，这样可以避免因为目录变动导致引入文件找不到的情况，常用的做法如下：
一、使用${pageContext.request.contextPath}
代码” ${pageContext.request.contextPath}”的作用是取出部署的应用程序名，这样不管如何部署，所用路径都是正确的。
Java定时任务调度：用ExecutorService取代Timer
bylijinnan
java
《Java并发编程实战》一书提到的用ExecutorService取代Java Timer有几个理由，我认为其中最重要的理由是：
如果TimerTask抛出未检查的异常，Timer将会产生无法预料的行为。Timer线程并不捕获异常，所以 TimerTask抛出的未检查的异常会终止timer线程。这种情况下，Timer也不会再重新恢复线程的执行了;它错误的认为整个Timer都被取消了。此时，已经被
SQL 优化原则
chicony
sql
一、问题的提出
在应用系统开发初期，由于开发数据库数据比较少，对于查询SQL语句，复杂视图的的编写等体会不出SQL语句各种写法的性能优劣，但是如果将应用系统提交实际应用后，随着数据库中数据的增加，系统的响应速度就成为目前系统需要解决的最主要的问题之一。系统优化中一个很重要的方面就是SQL语句的优化。对于海量数据，劣质SQL语句和优质SQL语句之间的速度差别可以达到上百倍，可见对于一个系统
java 线程弹球小游戏
CrazyMizzz
java 游戏
最近java学到线程，于是做了一个线程弹球的小游戏，不过还没完善
这里是提纲
1.线程弹球游戏实现
1.实现界面需要使用哪些API类
JFrame
JPanel
JButton
FlowLayout
Graphics2D
Thread
Color
ActionListener
ActionEvent
MouseListener
Mouse
hadoop jps出现process information unavailable提示解决办法
daizj
hadoop jps
hadoop jps出现process information unavailable提示解决办法
jps时出现如下信息：
3019 -- process information unavailable3053 -- process information unavailable2985 -- process information unavailable2917 --
PHP图片水印缩放类实现
dcj3sjt126com
PHP
<?php
class Image{
private $path;
function __construct($path='./'){
$this->path=rtrim($path,'/').'/';
}
//水印函数，参数：背景图，水印图，位置，前缀,TMD透明度
public function water($b,$l,$pos
IOS控件学习：UILabel常用属性与用法
dcj3sjt126com
ios UILabel
参考网站：
http://shijue.me/show_text/521c396a8ddf876566000007
http://www.tuicool.com/articles/zquENb
http://blog.csdn.net/a451493485/article/details/9454695
http://wiki.eoe.cn/page/iOS_pptl_artile_281
完全手动建立maven骨架
eksliang
java eclipse Web
建一个 JAVA 项目 ：
mvn archetype:create
-DgroupId=com.demo
-DartifactId=App
[-Dversion=0.0.1-SNAPSHOT]
[-Dpackaging=jar]
建一个 web 项目 ：
mvn archetype:create
-DgroupId=com.demo
-DartifactId=web-a
配置清单
gengzg
配置
1、修改grub启动的内核版本
vi /boot/grub/grub.conf
将default 0改为1
拷贝mt7601Usta.ko到/lib文件夹
拷贝RT2870STA.dat到 /etc/Wireless/RT2870STA/文件夹
拷贝wifiscan到bin文件夹，chmod 775 /bin/wifiscan
拷贝wifiget.sh到bin文件夹，chm
Windows端口被占用处理方法
huqiji
windows
以下文章主要以80端口号为例，如果想知道其他的端口号也可以使用该方法..........................1、在windows下如何查看80端口占用情况?是被哪个进程占用?如何终止等. 这里主要是用到windows下的DOS工具,点击"开始"--"运行",输入&
开源ckplayer 网页播放器， 跨平台(html5, mobile)，flv, f4v, mp4, rtmp协议. webm, ogg, m3u8 ！
天梯梦
mobile
CKplayer，其全称为超酷flv播放器，它是一款用于网页上播放视频的软件，支持的格式有：http协议上的flv,f4v,mp4格式，同时支持rtmp视频流格 式播放，此播放器的特点在于用户可以自己定义播放器的风格，诸如播放/暂停按钮，静音按钮，全屏按钮都是以外部图片接口形式调用，用户根据自己的需要制作 出播放器风格所需要使用的各个按钮图片然后替换掉原始风格里相应的图片就可以制作出自己的风格了，
简单工厂设计模式
hm4123660
java 工厂设计模式 简单工厂模式
简单工厂模式（Simple Factory Pattern）属于类的创新型模式，又叫静态工厂方法模式。是通过专门定义一个类来负责创建其他类的实例，被创建的实例通常都具有共同的父类。简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。简单工厂模式是工厂模式家族中最简单实用的模式，可以理解为是不同工厂模式的一个特殊实现。
maven笔记
zhb8015
maven
跳过测试阶段：
mvn package -DskipTests
临时性跳过测试代码的编译：
mvn package -Dmaven.test.skip=true
maven.test.skip同时控制maven-compiler-plugin和maven-surefire-plugin两个插件的行为，即跳过编译，又跳过测试。
指定测试类
mvn test
非mapreduce生成Hfile，然后导入hbase当中
Stark_Summer
map hbase reduce Hfile path实例
最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，都没有达到理想的那种速度，然后就想到了这种方式，但是网上多是用mapreduce来实现入库，而现在的需求是实时入库，不生成文件了，所以就只能自己用代码实现了，但是网上查了很多资料都没有查到，最后在一个网友的指引下，看了源码，最后找到了生成Hfile
jsp web tomcat 编码问题
王新春
tomcat jsp pageEncode
今天配置jsp项目在tomcat上，windows上正常，而linux上显示乱码，最后定位原因为tomcat 的server.xml 文件的配置，添加 URIEncoding 属性：
<Connector port="8080" protocol="HTTP/1.1"
connectionTi
