- Python通过TCP端口和HTTP端口连接clickhouse的几种方法与报错解决
有好的生发方法记得推荐给我
clickhouse
一、使用request库使用HTTP协议端口,默认为8123这种方法只能获取指定格式的数据importrequestsSSL_VERIFY=Falsehost='http://127.0.0.1:8123'//ip地址及HTTP协议端口query='select*fromdatabase.table_nameslimit5'//SQL语句user=('username','password')//
- python连接clickhouse两种方法
dair6
sql相关问题python数据库sql
1.使用Client类importloggingfromapscheduler.schedulers.blockingimportBlockingSchedulerfromclickhouse_driverimportClientlogger=logging.getLogger(__name__)#操作日志对象classCkClient():"""数据库连接的公共类,初始化连接,自定义查询,删除等
- 使用 Golang 操作 MySQL
yinhezhanshen
golangmysql开发语言
在Go语言中,操作SQL数据库,通常会用到一些第三方库来简化数据库的连接、查询和操作过程。其中原生的database/sql+go-sql-driver/mysql库更符合sql语句使用习惯。安装gogetgithub.com/go-sql-driver/mysql直接上代码来演示基本的创建,插入,更新,删除操作。packagemainimport("database/sql""fmt"_"gi
- python执行cmd命令行异步执行_Python 异步调用命令行工具
weixin_39719732
当你在自己的Python程序中采用了基于事件循环的异步编程方法之后,你就会发现自己不自觉地被其牢牢吸引住,并不是说这一方法多么棒,而是因为你不得不想办法保证程序中的任意环节都不能是阻塞的!例如当前的场景是希望从MongoDB中读取每一条未处理过的数据,下载并保存其中的图片信息,然后更新数据库的内容。Python常用的MongoDB异步驱动是Motor:结合asyncio使用方法如下:importm
- LLM:RMSNorm
微风❤水墨
LLM&AIGC&VLPLLMRMSNorm
importtorchimporttorch.nnasnnclassLayerNorm(nn.Module):def__init__(self,dim:int,eps:float):super(LayerNorm,self).__init__()self.dim=dimself.eps=epsself.weight=nn.Parameter(torch.ones(self.dim))self.bi
- vite配置绝对路径-引入资源的绝对路径
在vite.config.ts中配置import{defineConfig}from"vite";importvuefrom"@vitejs/plugin-vue";importpathfrom"path";//引入pathimport{resolve}from"path";//引入pathexportdefaultdefineConfig(({mode})=>{return{plugins:[v
- 不要再让 import“占领满屏“啦?
常威和来福回忆
react.js前端前端框架
javascript代码解读复制代码//不使用重导importModalfrom'@arco-design/web-react/es/Modal'importCheckboxfrom'@arco-design/web-react/es/Checkbox'importMessagefrom'@arco-design/web-react/es/Message'...//使用模块重导import{Mod
- leetcode hot100【LeetCode 146. LRU缓存】java实现
DataCrafter
LeetCodeHot100leetcode缓存java链表
LeetCode146.LRU缓存题目描述设计和实现一个LRU(LeastRecentlyUsed)缓存机制。它应该支持以下操作:get(key):如果缓存中存在key,则返回value,否则返回-1。put(key,value):如果缓存已满,移除最久未使用的项,然后插入新的key-value对。如果key已存在,则更新其value。Java实现解法解法:使用哈希表和双向链表importjava
- Python常用函数及常用库整理
Nicholson07
python
简单整理一下一些常用函数,方便自己查阅。目录文件操作文件夹/目录文件数据格式链表类特殊函数一些常用函数常用库tqdm进度条库tqdm模块参数说明常用函数使用方法yacs参数配置库简介使用方法logging日志库使用方法文件操作文件夹/目录importos1、os.path.exists(path)判断一个文件/目录是否存在,只要存在相匹配的文件或目录就返回True,因此当目录与文件同名时可能报错2
- java 判断byte[ ]数组是否为空
张彡543
java开发语言
1.使用数组长度进行判断publicstaticbooleanisNullOrEmpty(byte[]array){returnarray==null||array.length==0;}2.使用Arrays工具类进行判断:importjava.util.Arrays;publicstaticbooleanisNullOrEmpty(byte[]array){returnarray==null||
- Python Pandas实现dataframe导出为Excel 2007格式的文件并设置合适的列宽度
weixin_30777913
pandaspython开发语言excel
PythonPandas实现dataframe导出为Excel2007格式的文件,并且针对每一列的数据调整到合适宽度,并封装为函数。此函数能够有效处理大多数情况下的列宽调整需求,确保Excel文件内容清晰易读。将PandasDataFrame导出为Excel2007+格式(.xlsx)并自动调整列宽,可以使用以下函数。该函数会处理索引列和数据列,确保每列宽度适合内容。importpandasasp
- 使用excel4node向excel批量写入图片
weixin_41415820
javascript前端vue.js
importfsfrom'fs';importpathfrom'path';importxlfrom"excel4node";//创建一个新的工作簿constwb=newxl.Workbook();//添加一个工作表constws=wb.addWorksheet('Sheet1');//指定要读取的文件夹路径constdirectoryPath='G://测试';//替换为你的文件夹路径leti=
- React 使用高阶组件封装Context的两种方式
Kevin·Tseng
vuereactjava数据库python
Reac中使用Context共享数据时,可以使用高阶组件做一个封装,方便页面使用方式一:使用高阶组件1.在App.js中添加状态共享ProviderimportHomefrom'./page/Home'import{Provider,Context}from'./AppContext'conststore={user:{isLogin:true,userName:"Kevin"}}function
- Flutter:签名板封装
sunly_
Flutterflutterjavascript开发语言
签名板依赖安装#图片处理image:^4.1.3#签名signature:^5.4.1封装组件import'dart:typed_data';import'package:dogex/common/index.dart';import'package:ducafe_ui_core/ducafe_ui_core.dart';import'package:flutter/material.dart';
- 解决pandas的to_excel方法写入数据被覆盖的问题
hobbies.
pandasexcelpython
1.先用openpyxl读取到了excel文件的数据,载入excel文件的内容到ExcelWriter中,使用ExcelWriter写入保存importpandasaspdfromopenpyxlimportload_workbookdf=pd.DataFrame([66])withpd.ExcelWriter(r'C:\Users\Administrator\Desktop\1.xlsx')as
- python 命令行传参
`北极星
编程学习pythonpython参数
1.简单的写法:通过导入模块sysimportsysif__name__=='__main__':argc=len(sys.argv) arg0=sys.argv[0]#...2.稍微复杂一点的参数可以使用getopt模块:importsysimportgetoptif__name__=='__main__':opt,args=getopt.getopt(sys.argv[1:],"h:p:f:
- 4种方法用Python批量实现多Excel多Sheet合并_excel表格自动合成python
2401_84010702
程序员pythonexcel开发语言
importpandasaspd #读取Excel文件 file_list=['file1.xlsx','file2.xlsx'] dfs=[pd.read_excel(file)forfileinfile_list] #合并多个工作表 result=pd.concat(dfs,ignore_index=True) #保存到新的Excel文件 result.to_excel('merg
- Go语言圣经 - 第1章 入门 - 1.5 & 1.6 & 1.7 & 1.8 获取URL & 并发获取多个URL & Web服务 & 本章要点
shiyivei
#Gogolang开发语言webservice并发
第1章入门1.5获取Url1.编写代码Go语言提供了net包以及其它包,以便我们可以用来构建我们访问网络资源的程序,我们来看一个例子packagemainimport("fmt""io/ioutil""net/http""os")funcmain(){for_,url:=rangeos.Args[1:]{resp,err:=http.Get(url)iferr!=nil{fmt.Fprintf(o
- 在react-native中使用echart绘制图表
milk po
引用自:https://www.jianshu.com/p/6eae23b3ece9.有前辈做好了echart的封装native-echarts.cd到你项目目录,然后通过npminstallnative-echarts--save去安装在需要调用的界面importEchartsfrom'native-echarts’可以调用代码与效果图如下:/***SampleReactNativeApp*ht
- 如何在react中简单应用echart,及echart特性
·港岛妹妹
reactreactjs前端
一分钟学会在react中简单应用echart1.首先安装echart、echarts-for-reactnpminstallecharts--savenpminstall--saveecharts-for-react2、在相应组件中引入模块import*asechartsfrom'echarts';importReactEchartsfrom'echarts-for-react';3、使用的时候非
- Python数据分析NumPy和pandas(十七、pandas 二进制格式文件处理)
FreedomLeo1
Python数据分析python数据分析pandasHDF5PyTablesh5pyExcel
以二进制格式存储(或序列化)数据的一种简单方法是使用Python的内置pickle模块。同时,pandas构造的对象都有一个to_pickle方法,该方法以pickle格式将数据写入磁盘。我们先把之前示例用到的ex1.csv文件加载到pandas对象中,然后将数据以二进制pickle格式写入examples/frame_pickle文件中:importpandasaspdframe=pd.read
- 基于python的手写数字识别knn_用sklearn中的KNN实现Kaggle手写数字识别
普和司
importcsvfromsklearnimportneighbors#导入训练数据和测试数据defloadData(filename1,filename2,trainDataSet,trainTargetSet,testDataSet):withopen(filename1,'r')ascsvfile1:lines1=csv.reader(csvfile1)dataSet=list(lines1
- java八股文之消息中间件
Rverdoser
linqc#
org.apache.kafkakafka-clients3.0.02.创建生产者生产者(Producer)是发送消息到Kafka的一个客户端。以下是一个简单的生产者示例:importorg.apache.kafka.clients.producer.KafkaProducer;importorg.apache.kafka.clients.producer.ProducerRecord;impor
- React学习笔记16
充气大锤
React学习笔记react.js学习笔记javascript前端vue.js
一、useReducer作用:和useState的作用类似,用来管理相对复杂的状态数据使用:1、定义一个reducer函数(根据不同的action返回不同的新状态)2、在组件中调用useReducer,并传入reducer函数的状态和初始值import{useReducer}from"react"functionreducer(state,action){switch(action.type){c
- RocketMQ开发实战篇
Jeremy_1022
RocketMQrocketmq
一、生产者开发指南1.JavaAPI使用详解在使用RocketMQ进行消息生产时,首先需要引入相关的依赖。在Maven项目中,可以在pom.xml文件中添加以下依赖:org.apache.rocketmqrocketmq-client4.9.0接下来,创建一个简单的生产者示例:importorg.apache.rocketmq.client.producer.DefaultMQProducer;i
- python语言字符串练习题
微__凉
习题集python开发语言numpy
第1关:求字符串的长度任务描述本关需要你编写一个程序,输出字符串的长度。相关知识len()方法描述:Python中的len()方法返回对象(字符、列表、元组等)的长度。####编程要求comment:<>(“编程要求”部分说一下本关要解决的问题的具体要求,并给出相应代码的框架,以及要求学生填写的那一块)命令行随机输入一个字符串,输出其长度测试举例:测试输入:1234预期输出:4importmath
- python爬虫网络中断_如何解决Python爬虫中的网络掉线问题?
weixin_39767645
python爬虫网络中断
在学校里的时候,除了上课,还有一大幸福的事情,就是用着学校的网线网络。当然玩的时候很开心,就是没事关键词时刻掉链子。时不时地网络掉线让人非常恼火,什么团战在梦游啊,看剧卡住不动了,相信能引起很多小伙伴的共鸣。所以,为了大家的快乐,小编找到了一个解决办法,分享给大家。以山东大学网络为例,别的话不多说,直接上程序__author__='CQC'#-*-coding:utf-8-*-importurll
- Labelme转Voc、Coco
小慧1024
python
Q:在github找的cv代码基本都是根据现有且流行的公共数据集格式组织的训练数据集,这导致我使用labelme标注好之后需要我们重新组织数据集labelme2coco#!/usr/bin/envpythonimportargparseimportcollectionsimportdatetimeimportglobimportjsonimportosimportos.pathasospimpor
- 搞定python之二----数据类型和程序的控制结构
stars
搞定pythonpython开发语言
本文是《搞定python》的第二篇文章,主要介绍了程序的基本结构的基本的数据类型。1、python代码俯视图先从整体上认识一下python代码是如何组织,咱们先来一段简单的代码。#这是第一个python代码importtime#导入时间模块#定义了三个变量year=time.localtime().tm_yearmonth=time.localtime().tm_monday=time.local
- python爬虫遇到IP被封的情况,怎么办?(2)
2301_82242251
程序员python爬虫开发语言
代理的设置:①urllib的代理设置fromurllib.errorimportURLErrorfromurllib.requestimportProxyHandler,build_opener‘’’更多Python学习资料以及源码教程资料,可以在群1136201545免费获取‘’’proxy=‘127.0.0.1:8888’#需要认证的代理#proxy=‘username:password@12
- apache 安装linux windows
墙头上一根草
apacheinuxwindows
linux安装Apache 有两种方式一种是手动安装通过二进制的文件进行安装,另外一种就是通过yum 安装,此中安装方式,需要物理机联网。以下分别介绍两种的安装方式
通过二进制文件安装Apache需要的软件有apr,apr-util,pcre
1,安装 apr 下载地址:htt
- fill_parent、wrap_content和match_parent的区别
Cb123456
match_parentfill_parent
fill_parent、wrap_content和match_parent的区别:
1)fill_parent
设置一个构件的布局为fill_parent将强制性地使构件扩展,以填充布局单元内尽可能多的空间。这跟Windows控件的dockstyle属性大体一致。设置一个顶部布局或控件为fill_parent将强制性让它布满整个屏幕。
2) wrap_conte
- 网页自适应设计
天子之骄
htmlcss响应式设计页面自适应
网页自适应设计
网页对浏览器窗口的自适应支持变得越来越重要了。自适应响应设计更是异常火爆。再加上移动端的崛起,更是如日中天。以前为了适应不同屏幕分布率和浏览器窗口的扩大和缩小,需要设计几套css样式,用js脚本判断窗口大小,选择加载。结构臃肿,加载负担较大。现笔者经过一定时间的学习,有所心得,故分享于此,加强交流,共同进步。同时希望对大家有所
- [sql server] 分组取最大最小常用sql
一炮送你回车库
SQL Server
--分组取最大最小常用sql--测试环境if OBJECT_ID('tb') is not null drop table tb;gocreate table tb( col1 int, col2 int, Fcount int)insert into tbselect 11,20,1 union allselect 11,22,1 union allselect 1
- ImageIO写图片输出到硬盘
3213213333332132
javaimage
package awt;
import java.awt.Color;
import java.awt.Font;
import java.awt.Graphics;
import java.awt.image.BufferedImage;
import java.io.File;
import java.io.IOException;
import javax.imagei
- 自己的String动态数组
宝剑锋梅花香
java动态数组数组
数组还是好说,学过一两门编程语言的就知道,需要注意的是数组声明时需要把大小给它定下来,比如声明一个字符串类型的数组:String str[]=new String[10]; 但是问题就来了,每次都是大小确定的数组,我需要数组大小不固定随时变化怎么办呢? 动态数组就这样应运而生,龙哥给我们讲的是自己用代码写动态数组,并非用的ArrayList 看看字符
- pinyin4j工具类
darkranger
.net
pinyin4j工具类Java工具类 2010-04-24 00:47:00 阅读69 评论0 字号:大中小
引入pinyin4j-2.5.0.jar包:
pinyin4j是一个功能强悍的汉语拼音工具包,主要是从汉语获取各种格式和需求的拼音,功能强悍,下面看看如何使用pinyin4j。
本人以前用AscII编码提取工具,效果不理想,现在用pinyin4j简单实现了一个。功能还不是很完美,
- StarUML学习笔记----基本概念
aijuans
UML建模
介绍StarUML的基本概念,这些都是有效运用StarUML?所需要的。包括对模型、视图、图、项目、单元、方法、框架、模型块及其差异以及UML轮廓。
模型、视与图(Model, View and Diagram)
&
- Activiti最终总结
avords
Activiti id 工作流
1、流程定义ID:ProcessDefinitionId,当定义一个流程就会产生。
2、流程实例ID:ProcessInstanceId,当开始一个具体的流程时就会产生,也就是不同的流程实例ID可能有相同的流程定义ID。
3、TaskId,每一个userTask都会有一个Id这个是存在于流程实例上的。
4、TaskDefinitionKey和(ActivityImpl activityId
- 从省市区多重级联想到的,react和jquery的差别
bee1314
jqueryUIreact
在我们的前端项目里经常会用到级联的select,比如省市区这样。通常这种级联大多是动态的。比如先加载了省,点击省加载市,点击市加载区。然后数据通常ajax返回。如果没有数据则说明到了叶子节点。 针对这种场景,如果我们使用jquery来实现,要考虑很多的问题,数据部分,以及大量的dom操作。比如这个页面上显示了某个区,这时候我切换省,要把市重新初始化数据,然后区域的部分要从页面
- Eclipse快捷键大全
bijian1013
javaeclipse快捷键
Ctrl+1 快速修复(最经典的快捷键,就不用多说了)Ctrl+D: 删除当前行 Ctrl+Alt+↓ 复制当前行到下一行(复制增加)Ctrl+Alt+↑ 复制当前行到上一行(复制增加)Alt+↓ 当前行和下面一行交互位置(特别实用,可以省去先剪切,再粘贴了)Alt+↑ 当前行和上面一行交互位置(同上)Alt+← 前一个编辑的页面Alt+→ 下一个编辑的页面(当然是针对上面那条来说了)Alt+En
- js 笔记 函数
征客丶
JavaScript
一、函数的使用
1.1、定义函数变量
var vName = funcation(params){
}
1.2、函数的调用
函数变量的调用: vName(params);
函数定义时自发调用:(function(params){})(params);
1.3、函数中变量赋值
var a = 'a';
var ff
- 【Scala四】分析Spark源代码总结的Scala语法二
bit1129
scala
1. Some操作
在下面的代码中,使用了Some操作:if (self.partitioner == Some(partitioner)),那么Some(partitioner)表示什么含义?首先partitioner是方法combineByKey传入的变量,
Some的文档说明:
/** Class `Some[A]` represents existin
- java 匿名内部类
BlueSkator
java匿名内部类
组合优先于继承
Java的匿名类,就是提供了一个快捷方便的手段,令继承关系可以方便地变成组合关系
继承只有一个时候才能用,当你要求子类的实例可以替代父类实例的位置时才可以用继承。
在Java中内部类主要分为成员内部类、局部内部类、匿名内部类、静态内部类。
内部类不是很好理解,但说白了其实也就是一个类中还包含着另外一个类如同一个人是由大脑、肢体、器官等身体结果组成,而内部类相
- 盗版win装在MAC有害发热,苹果的东西不值得买,win应该不用
ljy325
游戏applewindowsXPOS
Mac mini 型号: MC270CH-A RMB:5,688
Apple 对windows的产品支持不好,有以下问题:
1.装完了xp,发现机身很热虽然没有运行任何程序!貌似显卡跑游戏发热一样,按照那样的发热量,那部机子损耗很大,使用寿命受到严重的影响!
2.反观安装了Mac os的展示机,发热量很小,运行了1天温度也没有那么高
&nbs
- 读《研磨设计模式》-代码笔记-生成器模式-Builder
bylijinnan
java设计模式
声明: 本文只为方便我个人查阅和理解,详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/
/**
* 生成器模式的意图在于将一个复杂的构建与其表示相分离,使得同样的构建过程可以创建不同的表示(GoF)
* 个人理解:
* 构建一个复杂的对象,对于创建者(Builder)来说,一是要有数据来源(rawData),二是要返回构
- JIRA与SVN插件安装
chenyu19891124
SVNjira
JIRA安装好后提交代码并要显示在JIRA上,这得需要用SVN的插件才能看见开发人员提交的代码。
1.下载svn与jira插件安装包,解压后在安装包(atlassian-jira-subversion-plugin-0.10.1)
2.解压出来的包里下的lib文件夹下的jar拷贝到(C:\Program Files\Atlassian\JIRA 4.3.4\atlassian-jira\WEB
- 常用数学思想方法
comsci
工作
对于搞工程和技术的朋友来讲,在工作中常常遇到一些实际问题,而采用常规的思维方式无法很好的解决这些问题,那么这个时候我们就需要用数学语言和数学工具,而使用数学工具的前提却是用数学思想的方法来描述问题。。下面转帖几种常用的数学思想方法,仅供学习和参考
函数思想
把某一数学问题用函数表示出来,并且利用函数探究这个问题的一般规律。这是最基本、最常用的数学方法
- pl/sql集合类型
daizj
oracle集合typepl/sql
--集合类型
/*
单行单列的数据,使用标量变量
单行多列数据,使用记录
单列多行数据,使用集合(。。。)
*集合:类似于数组也就是。pl/sql集合类型包括索引表(pl/sql table)、嵌套表(Nested Table)、变长数组(VARRAY)等
*/
/*
--集合方法
&n
- [Ofbiz]ofbiz初用
dinguangx
电商ofbiz
从github下载最新的ofbiz(截止2015-7-13),从源码进行ofbiz的试用
1. 加载测试库
ofbiz内置derby,通过下面的命令初始化测试库
./ant load-demo (与load-seed有一些区别)
2. 启动内置tomcat
./ant start
或
./startofbiz.sh
或
java -jar ofbiz.jar
&
- 结构体中最后一个元素是长度为0的数组
dcj3sjt126com
cgcc
在Linux源代码中,有很多的结构体最后都定义了一个元素个数为0个的数组,如/usr/include/linux/if_pppox.h中有这样一个结构体: struct pppoe_tag { __u16 tag_type; __u16 tag_len; &n
- Linux cp 实现强行覆盖
dcj3sjt126com
linux
发现在Fedora 10 /ubutun 里面用cp -fr src dest,即使加了-f也是不能强行覆盖的,这时怎么回事的呢?一两个文件还好说,就输几个yes吧,但是要是n多文件怎么办,那还不输死人呢?下面提供三种解决办法。 方法一
我们输入alias命令,看看系统给cp起了一个什么别名。
[root@localhost ~]# aliasalias cp=’cp -i’a
- Memcached(一)、HelloWorld
frank1234
memcached
一、简介
高性能的架构离不开缓存,分布式缓存中的佼佼者当属memcached,它通过客户端将不同的key hash到不同的memcached服务器中,而获取的时候也到相同的服务器中获取,由于不需要做集群同步,也就省去了集群间同步的开销和延迟,所以它相对于ehcache等缓存来说能更好的支持分布式应用,具有更强的横向伸缩能力。
二、客户端
选择一个memcached客户端,我这里用的是memc
- Search in Rotated Sorted Array II
hcx2013
search
Follow up for "Search in Rotated Sorted Array":What if duplicates are allowed?
Would this affect the run-time complexity? How and why?
Write a function to determine if a given ta
- Spring4新特性——更好的Java泛型操作API
jinnianshilongnian
spring4generic type
Spring4新特性——泛型限定式依赖注入
Spring4新特性——核心容器的其他改进
Spring4新特性——Web开发的增强
Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC
Spring4新特性——Groovy Bean定义DSL
Spring4新特性——更好的Java泛型操作API
Spring4新
- CentOS安装JDK
liuxingguome
centos
1、行卸载原来的:
[root@localhost opt]# rpm -qa | grep java
tzdata-java-2014g-1.el6.noarch
java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.x86_64
java-1.6.0-openjdk-1.6.0.0-11.1.13.4.el6.x86_64
[root@localhost
- 二分搜索专题2-在有序二维数组中搜索一个元素
OpenMind
二维数组算法二分搜索
1,设二维数组p的每行每列都按照下标递增的顺序递增。
用数学语言描述如下:p满足
(1),对任意的x1,x2,y,如果x1<x2,则p(x1,y)<p(x2,y);
(2),对任意的x,y1,y2, 如果y1<y2,则p(x,y1)<p(x,y2);
2,问题:
给定满足1的数组p和一个整数k,求是否存在x0,y0使得p(x0,y0)=k?
3,算法分析:
(
- java 随机数 Math与Random
SaraWon
javaMathRandom
今天需要在程序中产生随机数,知道有两种方法可以使用,但是使用Math和Random的区别还不是特别清楚,看到一篇文章是关于的,觉得写的还挺不错的,原文地址是
http://www.oschina.net/question/157182_45274?sort=default&p=1#answers
产生1到10之间的随机数的两种实现方式:
//Math
Math.roun
- oracle创建表空间
tugn
oracle
create temporary tablespace TXSJ_TEMP
tempfile 'E:\Oracle\oradata\TXSJ_TEMP.dbf'
size 32m
autoextend on
next 32m maxsize 2048m
extent m
- 使用Java8实现自己的个性化搜索引擎
yangshangchuan
javasuperword搜索引擎java8全文检索
需要对249本软件著作实现句子级别全文检索,这些著作均为PDF文件,不使用现有的框架如lucene,自己实现的方法如下:
1、从PDF文件中提取文本,这里的重点是如何最大可能地还原文本。提取之后的文本,一个句子一行保存为文本文件。
2、将所有文本文件合并为一个单一的文本文件,这样,每一个句子就有一个唯一行号。
3、对每一行文本进行分词,建立倒排表,倒排表的格式为:词=包含该词的总行数N=行号