Oracle模糊查询之（5.3认识全文索引之全文索引的原理）Oracle全文检索方面的研究(全) [主文]
Oracle全文检索方面的研究(全)
2010-10-15 10:13:51| 分类：数据库 |字号 订阅
参考百度文档：
http://wenku.baidu.com/view/c53e9e36a32d7375a417801a.html
1、准备流程
1.1检查和设置数据库角色
首先检查数据库中是否有CTXSYS用户和CTXAPP脚色。如果没有这个用户和角色，意味着你的数据库创建时未安装intermedia功能。你必须修改数据库以安装这项功能。 默认安装情况下，ctxsys用户是被锁定的，因此要先启用ctxsys的用户。
默认ctxsys用户是被锁定的且密码即时失效，所以我们以sys用户进入em，然后修改ctxsys用户的状态和密码。如图：
1.2 赋权
测试用户以之前已经建好的foo用户为例，以该用户下的T_DOCNEWS为例
先以sys用户dba身份登录，对foo赋resource,connect权限
GRANT resource, connect to foo;
再以ctxsys用户登录并对foo用户赋权
GRANT ctxapp TO foo;
GRANT execute ON ctxsys. ctx_cls TO foo;
GRANT execute ON ctxsys. ctx_ddl TO foo;
GRANT execute ON ctxsys. ctx_doc TO foo;
GRANT execute ON ctxsys. ctx_output TO foo;
GRANT execute ON ctxsys. ctx_query TO foo;
GRANT execute ON ctxsys. ctx_report TO foo;
GRANT execute ON ctxsys. ctx_thes TO foo;
GRANT execute ON ctxsys. ctx_ulexer TO foo;
查看系统默认的oracle text 参数
Select pre_name, pre_object from ctx_preferences
2、Oracle Text 索引原理
Oracle text 索引将文本中所有的字符转化成记号（token），如www.taobao.com 会转化
成www,taobao,com 这样的记号。
Oracle10g 里面支持四种类型的索引，context,ctxcat,ctxrule,ctxxpath
2.1 Context 索引
Oracle text 索引把全部的word 转化成记号，context 索引的架构是反向索引（inverted
index）,每个记号都映射着包含它自己的文本位置，如单词dog 可能会有如下的条目
这表示dog 在文档doc1，doc3，doc5 中都出现过。索引建好之后，系统中会自动产生
如下DR$MYINDEX$I,DR$MYINDEX$K,DR$MYINDEX$R,DR$MYINDEX$X,MYTABLE5 个表(假设表为
mytable, 索引为myindx) 。Dml 操作后， context 索引不会自动同步， 需要利用
ctx_ddl.sync_index 手工同步索引。
例子：
Create table docs (id number primary key, text varchar2(200));
Insert into docs values(1, '<html>california is a state in the us.</html>');
Insert into docs values(2, '<html>paris is a city in france.</html>');
Insert into docs values(3, '<html>france is in europe.</html>');
Commit;
/
--建立context 索引
Create index idx_docs on docs(text)
indextype is ctxsys.context parameters
('filter ctxsys.null_filter section group ctxsys.html_section_group');
--查询
Column text format a40; --字符串截为40位显示。
Select id, text from docs where contains(text, 'france') > 0;
id text
---------- -------------------------------
3 <html>france is in europe.</html>
2 <html>paris is a city in france.</html>
--继续插入数据
Insert into docs values(4, '<html>los angeles is a city in california.</html>');
Insert into docs values(5, '<html>mexico city is big.</html>');
commit;
Select id, text from docs where contains(text, 'city') > 0;--新插入的数据没有查询到
id text
--------------------------------------------
2 <html>paris is a city in france.</html>
--索引同步
begin
ctx_ddl.sync_index('idx_docs', '2m'); --使用2M同步索引
end;
--查询
Column text format a50;
Select id, text from docs where contains(text, 'city') > 0; --查到数据
id text
-----------------------------------------------
5 <html>mexico city is big.</html>
4 <html>los angeles is a city in california.</html>
2 <html>paris is a city in france.</html>
-- or 操作符
Select id, text from docs where contains(text, 'city or state ') > 0;
--and 操作符
Select id, text from docs where contains(text, 'city and state ') > 0;
或是
Select id, text from docs where contains(text, 'city state ') > 0;
--score 表示得分，分值越高，表示查到的数据越精确
SELECT SCORE(1), id, text FROM docs WHERE CONTAINS(text, 'oracle', 1) > 0;
Context 类型的索引不会自动同步，这需要在进行Dml 后，需要手工同步索引。与context 索引相对于的查询操作符为contains
2.2 Ctxcat 索引
用在多列混合查询中
Ctxcat 可以利用index set 建立一个索引集，把一些经常与ctxcat 查询组合使用的查询列添加到索引集中。比如你在查询一个商品名时，还需要查询生产日期，价格，描述等，你可可以将这些列添加到索引集中。oracle 将这些查询封装到catsearch 操作中，从而提高全文索引的效率。在一些实时性要求较高的交易上，context 的索引不能自动同步显然是个问题，ctxcat则会自动同步索引
例子：
Create table auction(Item_id number,Title varchar2(100),Category_id number,Price number,Bid_close date);
Insert into auction values(1, 'nikon camera', 1, 400, '24-oct-2002');
Insert into auction values(2, 'olympus camera', 1, 300, '25-oct-2002');
Insert into auction values(3, 'pentax camera', 1, 200, '26-oct-2002');
Insert into auction values(4, 'canon camera', 1, 250, '27-oct-2002');
Commit;
/
--确定你的查询条件(很重要)
--Determine that all queries search the title column for item descriptions
--建立索引集
begin
ctx_ddl.create_index_set('auction_iset');
ctx_ddl.add_index('auction_iset','price'); /* sub-index a*/
end;
--建立索引
Create index auction_titlex on auction(title) indextype is ctxsys.ctxcat
parameters ('index set auction_iset');
Column title format a40;
Select title, price from auction where catsearch(title, 'camera', 'order by price')> 0;
Title price
--------------- ----------
Pentax camera 200
Canon camera 250
Olympus camera 300
Nikon camera 400
Insert into auction values(5, 'aigo camera', 1, 10, '27-oct-2002');
Insert into auction values(6, 'len camera', 1, 23, '27-oct-2002');
commit;
/
--测试索引是否自动同步
Select title, price from auction where catsearch(title, 'camera',
'price <= 100')>0;
Title price
--------------- ----------
aigo camera 10
len camera 23
添加多个子查询到索引集：
begin
ctx_ddl.drop_index_set('auction_iset');
ctx_ddl.create_index_set('auction_iset');
ctx_ddl.add_index('auction_iset','price'); /* sub-index A */
ctx_ddl.add_index('auction_iset','price, bid_close'); /* sub-index B */
end;
drop index auction_titlex;
Create index auction_titlex on auction(title) indextype is ctxsys.ctxcat
parameters ('index set auction_iset');
SELECT * FROM auction WHERE CATSEARCH(title, 'camera','price = 200 order by bid_close')>0;
SELECT * FROM auction WHERE CATSEARCH(title, 'camera','order by price, bid_close')>0;
任何的Dml 操作后，Ctxcat 的索引会自动进行同步，不需要手工去执行，与ctxcat 索引相对应的查询操作符是catsearch.
语法：
Catsearch(
[schema.]column,
Text_query varchar2,
Structured_query varchar2,
Return number;
例子：
catsearch(text, 'dog', 'foo > 15')
catsearch(text, 'dog', 'bar = ''SMITH''')
catsearch(text, 'dog', 'foo between 1 and 15')
catsearch(text, 'dog', 'foo = 1 and abc = 123')
2.3 Ctxrule 索引
The function of a classification application is to perform some action based on document content.
These actions can include assigning a category id to a document or sending the document to a user.
The result is classification of a document.
例子：
Create table queries (query_id number,query_string varchar2(80));
insert into queries values (1, 'oracle');
insert into queries values (2, 'larry or ellison');
insert into queries values (3, 'oracle and text');
insert into queries values (4, 'market share');
commit;
Create index queryx on queries(query_string) indextype is ctxsys.ctxrule;
Column query_string format a35;
Select query_id,query_string from queries
where matches(query_string,
'oracle announced that its market share in databases
increased over the last year.')>0;
query_id query_string
---------- -----------------------------------
1 oracle
4 market share
在一句话中建立索引匹配查询
2.4 Ctxxpath 索引
Create this index when you need to speed up existsNode() queries on an XMLType column
3. 索引的内部处理流程
3.1 Datastore 属性
数据检索负责将数据从数据存储（例如 web 页面、数据库大型对象或本地文件系统）
中取出，然后作为数据流传送到下一个阶段。Datastore 包含的类型有Direct datastore,
Multi_column_datastore, Detail_datastore, File_datastore, Url_datastore, User_datastore,
Nested_datastore。
3.1.1.Direct datastore
支持存储数据库中的数据,单列查询.没有attributes 属性
支持类型：char, varchar, varchar2, blob, clob, bfile,or xmltype.
例子：
Create table mytable(id number primary key, docs clob);
Insert into mytable values(111555,'this text will be indexed');
Insert into mytable values(111556,'this is a direct_datastore example');
Commit;
--建立 direct datastore
Create index myindex on mytable(docs)
indextype is ctxsys.context
parameters ('datastore ctxsys.default_datastore');
Select * from mytable where contains(docs, 'text') > 0;
3.1.2.Multi_column_datastore
适用于索引数据分布在多个列中
the column list is limited to 500 bytes
支持number 和date 类型，在索引之前会先转化成textt
raw and blob columns are directly concatenated as binary data.
不支持long, long raw, nchar, and nclob, nested table
Create table mytable1(id number primary key, doc1 varchar2(400),doc2 clob,doc3
clob);
Insert into mytable1 values(1,'this text will be indexed','following example creates amulti-column ','denotes that the bar column ');
Insert into mytable1 values(2,'this is a direct_datastore example','use this datastore when your text is stored in more than one column','the system concatenates the text columns');
Commit;
/
--建立 multi datastore 类型
Begin
Ctx_ddl.create_preference('my_multi', 'multi_column_datastore');
Ctx_ddl.set_attribute('my_multi', 'columns', 'doc1, doc2, doc3');
End;
--建立索引
Create index idx_mytable on mytable1(doc1)indextype is ctxsys.context
parameters('datastore my_multi')
Select * from mytable1 where contains(doc1,'direct datastore')>0;
Select * from mytable1 where contains(doc1,'example creates')>0;
注意：检索时，检索词对英文，必须是有意义的词，比如，
Select * from mytable1 where contains(doc1,' more than one column ')>0;
可以查出第二条纪录，但你检索more将没有显示，因为more在那句话中不是有意义的一个词。
--只更新从表，看是否能查到更新的信息
Update mytable1 set doc2='adladlhadad this datastore when your text is stored test' where
id=2;
Begin
Ctx_ddl.sync_index('idx_mytable');
End;
Select * from mytable1 where contains(doc1,'adladlhadad')>0; --没有记录
Update mytable1 set doc1='this is a direct_datastore example' where id=2; --更新主表
Begin
Ctx_ddl.sync_index('idx_mytable');--同步索引
End;
Select * from mytable1 where contains(doc1,'adladlhadad')>0; -查到从表的更新
对于多列的全文索引可以建立在任意一列上，但是，在查询时指定的列必须与索引时指定的
列保持一致，只有索引指定的列发生修改，oracle 才会认为被索引数据发生了变化，仅修改
其他列而没有修改索引列，即使同步索引也不会将修改同步到索引中.
也就是说，只有更新了索引列，同步索引才能生效，，要更改其他列的同时也要再写一次即可。
在多列中，对任意一列建立索引即可，更新其他列的同时，在update那个列，同步索引一次即可看到效果了。
3.1.3 Detail_datastore
适用于主从表查询（原文：use the detail_datastore type for text stored directly in the database in
detail tables, with the indexed text column located in the master table）
因为真正被索引的是从表上的列，选择主表的那个列作为索引并不重要，但是选定之后，查
询条件中就必须指明这个列
主表中的被索引列的内容并没有包含在索引中
DETAIL_DATASTORE 属性定义
例子：
create table my_master –建立主表
(article_id number primary key,author varchar2(30),title varchar2(50),body varchar2(1));
create table my_detail –建立从表
(article_id number, seq number, text varchar2(4000),
constraint fr_id foreign key (ARTICLE_ID) references my_master (ARTICLE_ID));
--模拟数据
insert into my_master values(1,'Tom','expert on and on',1);
insert into my_master values(2,'Tom','Expert Oracle Database Architecture',2);
commit;
insert into my_detail values(1,1,'Oracle will find the undo information for this transaction
either in the cached
undo segment blocks (most likely) or on disk ');
insert into my_detail values(1,2,'if they have been flushed (more likely for very large
transactions).');
insert into my_detail values(1,3,'LGWR is writing to a different device, then there is no
contention for
redo logs');
insert into my_detail values(2,1,'Many other databases treat the log files as');
insert into my_detail values(2,2,'For those systems, the act of rolling back can be
disastrous');
commit;
--建立 detail datastore
begin
ctx_ddl.create_preference('my_detail_pref', 'DETAIL_DATASTORE');
ctx_ddl.set_attribute('my_detail_pref', 'binary', 'true');
ctx_ddl.set_attribute('my_detail_pref', 'detail_table', 'my_detail');
ctx_ddl.set_attribute('my_detail_pref', 'detail_key', 'article_id');
ctx_ddl.set_attribute('my_detail_pref', 'detail_lineno', 'seq');
ctx_ddl.set_attribute('my_detail_pref', 'detail_text', 'text');
end;
--创建索引
CREATE INDEX myindex123 on my_master(body) indextype is ctxsys.context
parameters('datastore my_detail_pref');
select * from my_master where contains(body,'databases')>0
--只更新从表信息，看是否还能查到
update my_detail set text='undo is generated as a result of the DELETE, blocks are modified,
and redo is sent over to
the redo log buffer' where article_id=2 and seq=1
begin
ctx_ddl.sync_index('myindex123','2m'); --同步索引
end;
select * from my_master where contains(body,'result of the DELETE')>0 –没有查到刚才的更新
--跟新从表后，更新主表信息
update my_master set body=3 where body=2
begin
ctx_ddl.sync_index('myindex123','2m');
end;
select * from my_master where contains(body,'result of the DELETE')>0 –查到数据
如果更新了子表中的索引列，必须要去更新主表索引列来使oracle 认识到被索引数据发生变
化（这个可以通过触发器来实现）。
3.1.4 File_datastore
适用于检索本地服务器上的文件（原文：The FILE_DATASTORE type is used for text stored in
files accessed through the local file system.）
多个路径标识：Unix 下冒号分隔开如path1:path2:pathn Windows 下用分号;分隔开
create table mytable3(id number primary key, docs varchar2(2000));
insert into mytable3 values(111555,'1.txt');
insert into mytable3 values(111556,'1.doc');
commit;
--建立 file datastore
begin
ctx_ddl.create_preference('COMMON_DIR2','FILE_DATASTORE');
ctx_ddl.set_attribute('COMMON_DIR2','PATH','D:\search');
end;
--建立索引
create index myindex3 on mytable3(docs) indextype is ctxsys.context parameters ('datastore COMMON_DIR2');
select * from mytable3 where contains(docs,'word')>0; --查询
--暂时测试支持doc，txt
3.1.5 Url_datastore
适用于检索internet 上的信息，数据库中只需要存储相应的url 就可以
例子：
create table urls(id number primary key, docs varchar2(2000));
insert into urls values(111555,'http://context.us.oracle.com');
insert into urls values(111556,'http://www.sun.com');
insert into urls values(111557,'http://www.itpub.net');
insert into urls values(111558,'http://www.ixdba.com');
commit;
/
--建立url datastore
begin
ctx_ddl.create_preference('URL_PREF','URL_DATASTORE');
ctx_ddl.set_attribute('URL_PREF','Timeout','300');
end;
--建立索引
create index datastores_text on urls (docs) indextype is ctxsys.context parameters
( 'Datastore URL_PREF' );
select * from urls where contains(docs,'Aix')>0
若相关的url 不存在，oracle 并不会报错，只是查询的时候找不到数据而已。
oracle 中仅仅保存被索引文档的url 地址，如果文档本身发生了变化，必须要通过修改索引
列（url 地址列）的方式来告知oracle，被索引数据已经发生了变化。
3.1.6.User_datastore
Use the USER_DATASTORE type to define stored procedures that synthesize documents during
indexing. For example, a user procedure might synthesize author, date, and text columns into one
document to have the author and date information be part of the indexed text.
3.1.7 Nested_datastore
全文索引支持将数据存储在嵌套表中
3.1.8.参考脚本
--建立direct_store
Create index myindex on mytable(docs)
indextype is ctxsys.context
parameters ('datastore ctxsys.default_datastore');
--建立mutil_column_datastore
Begin
Ctx_ddl.create_preference('my_multi', 'multi_column_datastore');
Ctx_ddl.set_attribute('my_multi', 'columns', 'doc1, doc2, doc3');
End;
Create index idx_mytable on mytable1(doc1)indextype is ctxsys.context
parameters('datastore my_multi')
--建立file_datafilestore
begin
ctx_ddl.create_preference('COMMON_DIR','FILE_DATASTORE');
ctx_ddl.set_attribute('COMMON_DIR','PATH','/opt/tmp');
end;
create index myindex on mytable1(docs) indextype is ctxsys.context parameters ('datastore
COMMON_DIR');
--建立url_datastore
begin
ctx_ddl.create_preference('URL_PREF','URL_DATASTORE');
ctx_ddl.set_attribute('URL_PREF','Timeout','300');
end;
create index datastores_text on urls (docs) indextype is ctxsys.context parameters
( 'Datastore URL_PREF' );
3.2 Filter 属性
过滤器负责将各种文件格式的数据转换为纯文本格式，索引管道中的其他组件只能处理纯文本数据，不能识别 microsoft word 或 excel 等文件格式，filter 有charset_filter、
inso_filter、null_filter、user_filter、procedure_filter 几种类型。(可将文档格式转化为数据库文本格式等。)
3.2.1 CHARSET_FILTER
把文档从非数据库字符转化成数据库字符（原文：Use the CHARSET_FILTER to convert
documents from a non-database character set to the character set used by the database）
例子：
create table hdocs ( id number primary key, fmt varchar2(10), cset varchar2(20),
text varchar2(80)
);
begin
cxt_ddl.create.preference('cs_filter', 'CHARSET_FILTER');
ctx_ddl.set_attribute('cs_filter', 'charset', 'UTF8');
end
insert into hdocs values(1, 'text', 'WE8ISO8859P1', '/docs/iso.txt');
insert into hdocs values (2, 'text', 'UTF8', '/docs/utf8.txt');
commit;
create index hdocsx on hdocs(text) indextype is ctxsys.context
parameters ('datastore ctxsys.file_datastore
filter cs_filter
format column fmt
charset column cset');
3.2.2 NULL_FILTER
默认属性，不进行任何过滤
oracle 不建议对html、xml 和plain text 使用auto_filter 参数，oracle 建议你使用
null_filter 和section group type
--建立null filter
create index myindex on docs(htmlfile) indextype is ctxsys.context
parameters('filter ctxsys.null_filter section group ctxsys.html_section_group');
Filter 的默认值会受到索引字段类型和datastore 的类型的影响，对于存储在数据库中的
varchar2、char 和clob 字段中的数据，oracle 自动选择了null_filtel,若datastore 的属性设置为
file_datastore，oracle 会选择 auto_filter 作为默认值。
3.2.3 AUTO_FILTER
通用的过滤器，适用于大部分文档，包括PDF 和Ms word，过滤器还会自动识别出plain-text, HTML, XHTML,
SGML 和XML 文档
Create table my_filter (id number, docs varchar2(1000));
Insert into my_filter values (1, 'Expert Oracle Database Architecture.pdf');
Insert into my_filter values (2, '1.txt');
Insert into my_filter values (3, '2.doc');
commit;
/
--建立 file datastore
Begin
ctx_ddl.create_preference('test_filter', 'file_datastore');
ctx_ddl.set_attribute('test_filter', 'path', '/opt/tmp');
End;
--错误信息表
select * from CTX_USER_INDEX_ERRORS
--建立 auto filter
Create index idx_m_filter on my_filter (docs) indextype is ctxsys.context
parameters ('datastore test_filter filter ctxsys.auto_filter');
select * from my_filter where contains(docs,'oracle')>0
AUTO_FILTER 能自动识别出大部分格式的文档，我们也可以显示的通过column 来指定文档类型，有text,binary,ignore，设置为binary 的文档使用auto_filter，设置为text 的文档使用null_filter，设置为ignore的文档不进行索引。
create table hdocs (id number primary key,fmt varchar2(10),text varchar2(80));
insert into hdocs values(1, 'binary', '/docs/myword.doc');
insert in hdocs values (2, 'text', '/docs/index.html');
insert in hdocs values (2, 'ignore', '/docs/1.txt');
commit;
create index hdocsx on hdocs(text) indextype is ctxsys.context
parameters ('datastore ctxsys.file_datastore filter ctxsys.auto_filter format column
fmt');
3.2.4 MAIL_FILTER
通过mail_filter 把RFC-822,RFC-2045 信息转化成索引文本
限制：
文档必须是us-ascii
长度不能超过1024bytes
document must be syntactically valid with regard to RFC-822
3.2.5 USER_FILTER
Use the USER_FILTER type to specify an external filter for filtering documents in a column
3.2.6 PROCEDURE_FILTER
Use the PROCEDURE_FILTER type to filter your documents with a stored procedure. The stored procedure is called
each time a document needs to be filtered.
3.2.7 参考脚本
--建立null filter
create index myindex on docs(htmlfile) indextype is ctxsys.context
parameters('filter ctxsys.null_filter section group ctxsys.html_section_group');
--建立 auto filter
Create index idx_m_filter on my_filter (docs) indextype is ctxsys.context
parameters ('datastore test_filter filter ctxsys.auto_filter');
Filter 错误记录表：CTX_USER_INDEX_ERRORS
3.3 Lexer 属性
Oracle 全文检索的lexer 属性用于处理各种不同的语言，最基本的英文使用basic_lexer，
中文则可以使用chinese_vgram_lexer 或chinese_lexer。
3.3.1 Basic_lexer
basic_lexer 属性支持如英语、德语、荷兰语、挪威语、瑞典语等以空格作为界限的语言（原
文：Use the BASIC_LEXER type to identify tokens for creating Text indexes for English and all
other supported whitespace-delimited languages.）
Create table my_lex (id number, docs varchar2(1000));
Insert into my_lex values (1, 'this is a example for the basic_lexer');
Insert into my_lex values (2, 'he following example sets Printjoin characters ');
Insert into my_lex values (3, 'To create the INDEX with no_theme indexing and with printjoins characters');
Insert into my_lex values (4, '中华人民共和国');
Insert into my_lex values (5, '中国淘宝软件');
Insert into my_lex values (6, '测试basic_lexer 是否支持中文');
Commit;
/
--建立basic_lexer
begin
ctx_ddl.create_preference('mylex', 'BASIC_LEXER');
ctx_ddl.set_attribute ('mylex', 'printjoins', '_-'); --保留_ -符号
ctx_ddl.set_attribute ( 'mylex', 'index_themes', 'NO');
ctx_ddl.set_attribute ( 'mylex', 'index_text', 'YES');
ctx_ddl.set_attribute ('mylex','mixed_case','yes'); --区分大小写
end;
create index indx_m_lex on my_lex(docs) indextype is ctxsys.context parameters('lexer
mylex');
Select id from my_lex where contains(docs, 'no_theme') > 0;
select docs from my_lex where contains(docs,'中国')>0
3.3.2 Mutil_lexer
支持多种语言的文档，比如你可以利用这个lexer 来定义包含Endlish,German 和Japanese 的
文档（原文：Use MULTI_LEXER to index text columns that contain documents of different
languages. For example, you can use this lexer to index a text column that stores English, German,
and Japanese documents.）建立一个multi_lexer 属性的索引，并通过language 列设置需要索
引的语言，Oracle 会根据language 列的内容去匹配add_sub_lexer 过程中指定的语言标识符，如果匹配的上，就使用该sub_lexer 作为索引的lexer，如果没有找到匹配的，就使用default语言作为索引的lexer 列，注意客户端nls_language，可能会影响lexer 的选择
Select * from v$nls_parameters where parameter = 'NLS_LANGUAGE';
alter session set nls_language='simplified chinese';
alter session set nls_language='american';
例子：
create table globaldoc ( doc_id number primary key,lang varchar2(3),text clob);
--建立multi_lexer
begin
ctx_ddl.create_preference('english_lexer','basic_lexer');
ctx_ddl.set_attribute('english_lexer','index_themes','yes');
ctx_ddl.set_attribute('english_lexer','theme_language','english');
ctx_ddl.create_preference('german_lexer','basic_lexer');
ctx_ddl.set_attribute('german_lexer','composite','german');
ctx_ddl.set_attribute('german_lexer','mixed_case','yes');
ctx_ddl.set_attribute('german_lexer','alternate_spelling','german');
ctx_ddl.create_preference('japanese_lexer','japanese_vgram_lexer');
ctx_ddl.create_preference('global_lexer', 'multi_lexer');
ctx_ddl.add_sub_lexer('global_lexer','default','english_lexer');
ctx_ddl.add_sub_lexer('global_lexer','german','german_lexer','ger');
ctx_ddl.add_sub_lexer('global_lexer','japanese','japanese_lexer','jpn');
end;
create index globalx on globaldoc(text) indextype is ctxsys.context
parameters ('lexer global_lexer language column lang');
3.3.3 chinese_vgram_lexer 和chinese_lexer
basic_lexer 只能识别出被空格、标点和回车符分隔出来的部分，如果要对中文内容进行索引的话，就必须使用chinese_vgram_lexer 或是chinese_lexer
Chinese_lexer 相比chinese_vgram_lexer 有如下的优点：
产生的索引更小
更好的查询响应时间
产生更接近真实的索引切词，使得查询精度更高
支持停用词
因为chinese_lexer 采用不同的算法来标记tokens, 建立索引的时间要比chinese_vgram_lexer
长.
字符集：支持al32utf8，zhs16cgb231280，zhs16gbk，zhs32gb18030，zht32euc，zht16big5
zht32tris， zht16mswin950，zht16hkscs，utf8
--建立chinese lexer
Begin
ctx_ddl.create_preference('my_chinese_vgram_lexer', 'chinese_vgram_lexer');
ctx_ddl.create_preference('my_chinese_lexer', 'chinese_lexer');
End;
-- chinese_vgram_lexer
Create index ind_m_lex1 on my_lex(docs) indextype is ctxsys.context Parameters ('lexer foo.my_chinese_vgram_lexer');
Select * from my_lex t where contains(docs, '中国') > 0;
-- chinese_lexer
drop index ind_m_lex1 force;
Create index ind_m_lex2 on my_lex(docs) indextype is ctxsys.context
Parameters ('lexer ctxsys.my_chinese_lexer');
Select * from my_lex t where contains(docs, '中国') > 0;
3.3.4 User_lexer
Use USER_LEXER to plug in your own language-specific lexing solution. This enables you to
define lexers for languages that are not supported by Oracle Text. It also enables you to define a
new lexer for a language that is supported but whose lexer is inappropriate for your application.
3.3.5 Default_lexer
如果数据库在建立的时候指定的是中文则default_lexer 为chinese_vgram_lexer，如果是英文，则default_lexer 为basic_lexer
3.3.6 Query_procedure
This callback stored procedure is called by Oracle Text as needed to tokenize words in the query.
A space-delimited group of characters (excluding the query operators) in the query will be
identified by Oracle Text as a word.
3.3.7 参考脚本
--建立basic_lexer
begin
ctx_ddl.create_preference('mylex', 'BASIC_LEXER');
ctx_ddl.set_attribute ('mylex', 'printjoins', '_-'); --保留_ -符号
ctx_ddl.set_attribute ('mylex','mixed_case','yes'); --区分大小写
end;
create index indx_m_lex on my_lex(docs) indextype is ctxsys.context parameters('lexer
mylex');
--建立 chinese_vgram_lexer 或是chinese_lexer
Begin
ctx_ddl.create_preference('my_chinese_vgram_lexer', 'chinese_vgram_lexer');
ctx_ddl.create_preference('my_chinese_lexer', 'chinese_lexer');
End;
-- chinese_vgram_lexer
Create index ind_m_lex1 on my_lex(docs) indextype is ctxsys.context
Parameters ('lexer ctxsys.my_chinese_vgram_lexer');
3.4 Section Group 属性
Section group 支持查询包含内部结构的文档（如html、xml 文档等），可以指定对文档
的某一部分进行查询,你可以将查询范围限定在标题head 中。在html、xml 等类似结构的文
档中，除了用来显示的内容外，还包括了大量用于控制结构的标识，而这些标识可能是不希望被索引的，这就是section group 的一个主要功能(原文：In order to issue WITHIN queries on document sections, you must create a section group before you define your sections)
3.4.1 Null_section_group
系统默认，不进行任何节的过滤
例子：
Create table my_sec (id number, docs varchar2(100));
Insert into my_sec values (1, 'a simple section group, test null_section_group attribute.');
Insert into my_sec values (2, 'this record one, can be query in nornal');
Insert into my_sec values (4, 'this record
are tested for
the query in paragraph');
Commit;
/
--定义null_section_group
Create index ind_m_sec on my_sec(docs) indextype is ctxsys.context
parameters ('section group ctxsys.null_section_group');
Select * from my_sec where contains(docs, 'record and query') > 0;
--要预先定义sentence 或paragraph'，否则查询会出错
Select * from my_sec where contains(docs, '(record and query) within sentence') > 0;
Begin
ctx_ddl.create_section_group('test_null', 'null_section_group');
ctx_ddl.add_special_section('test_null', 'sentence');
ctx_ddl.add_special_section('test_null', 'paragraph');
End;
drop index ind_m_sec;
Create index ind_m_sec on my_sec(docs) indextype is ctxsys.context
parameters ('section group test_null');
Select * from my_sec where contains(docs, '(record and query) within sentence') > 0;
Select * from my_sec where contains(docs, '(record and query) within paragraph') > 0;
3.4.2 Basic_section_group
basic_section_group 才是支持节搜索的最基础的一种属性，但是它只支持以<tag>开头以
</tag>结尾的结构的文档
Create table my_sec1 (id number, docs varchar2(1000));
Insert into my_sec1 values (1, '<heading>title</heading>
<context>this is the contents of the example.
Use this example to test the basic_section_group.</context>');
Insert into my_sec1 values (2, '<heading>example</heading>
<context>this line incluing the word title too.</context>');
Commit;
/
Create index ind_my_sec1 on my_sec1(docs) indextype is ctxsys.context;
Select * from my_sec1 where contains (docs, 'heading') > 0;
--定义basic_section_group
Begin
Ctx_ddl.create_section_group('test_basic', 'basic_section_group');
End;
drop index ind_my_sec1;
Create index ind_my_sec1 on my_sec1(docs) indextype is ctxsys.context
parameters ('section group test_basic');
Select * from my_sec1 where contains (docs, 'heading') > 0;
Select * from my_sec1 where contains (docs, 'context') > 0;
Select * from my_sec1 where contains (docs, 'use') > 0;
节搜索的另一个主要功能就是可以限制查询的范围，上面的文档包含了两部分，标题和正文，
其中标题使用标签<heading>，正文使用标签<context>,我们可以对basic_section_group 添加
区域属性，运行查询在文档的某个范围内进行
Drop index ind_my_sec1;
Begin
ctx_ddl.add_zone_section('test_basic', 'head', 'heading');
End;
Create index ind_my_sec1 on my_sec1(docs) indextype is ctxsys.context
parameters ('section group test_basic');
Select * from my_sec1 where contains (docs, 'title') > 0;
--在head 里面查询
Select * from my_sec1 where contains (docs, 'title within head') > 0;
3.4.3 Html_section_group
Html 文档具有很多不规范的表示方法，oracle 建议使用html_section_group 以便能够得到更
好的识别
--定义html_section_group
begin
ctx_ddl.create_section_group('htmgroup', 'HTML_SECTION_GROUP');
end;
create index myindex on docs(htmlfile) indextype is ctxsys.context
parameters('filter ctxsys.null_filter section group htmgroup');
无论是field_section 还是zone_section，表示文档的tag 标签都是大小写敏感的，其大小写需
要和原文中匹配
3.4.4.Xml_section_group
Xml 文档的格式要求比html 文档严谨、规范， 这也使得xml_section_group 比
html_section_group 具有了更多的功能
例子:
Create table my_sec2 (id number, docs varchar2(1000));
Insert into my_sec2 values (1, 'context.xml');
commit;
/
--定义xml_section_group
Begin
ctx_ddl.create_preference('test_file', 'file_datastore');
ctx_ddl.set_attribute('test_file', 'path', '/opt/tmp');
ctx_ddl.create_section_group('test_html', 'html_section_group');
ctx_ddl.create_section_group('test_xml', 'xml_section_group');
End;
Create index ind_t_docs on my_sec2 (docs) indextype is ctxsys.context
parameters('datastore ctxsys.test_file filter ctxsys.null_filter section group
ctxsys.test_xml')
Begin
ctx_ddl.add_attr_section('test_xml', 'name', 'const@name');
End;
Select * from my_sec2 where contains (docs, 'complete within name') > 0;
3.4.5.Auto_section_group
Xml_section_group 的增强型，对于xml_section_group 用户需要自己添加需要定义的节组，
而使用auto_section_group，则oracle 会自动添加节组以及属性信息
3.4.6 Path_section_group
和auto_section_group 十分类似，path_section_group 比auto_section_group 增加了haspath 和
inpath 操作，但是path_section_group 不支持add_stop_section 属性
3.4.7 参考脚本
--建立null_section_group
Create index ind_m_sec on my_sec(docs) indextype is ctxsys.context
parameters ('section group ctxsys.null_section_group');
--建立basic_section_group
Begin
Ctx_ddl.create_section_group('test_basic', 'basic_section_group');
End;
Begin
ctx_ddl.add_zone_section('test_basic', 'head', 'heading'); --设定节查询
End;
Create index ind_my_sec1 on my_sec1(docs) indextype is ctxsys.context
parameters ('section group test_basic');
--建立Html_section_group
begin
ctx_ddl.create_section_group('htmgroup', 'HTML_SECTION_GROUP');
end;
create index myindex on docs(htmlfile) indextype is ctxsys.context
parameters('filter ctxsys.null_filter section group htmgroup');
--建立Xml_section_group
Begin
ctx_ddl.create_section_group('test_xml', 'xml_section_group');
End;
Create index ind_t_docs on my_sec2 (docs) indextype is ctxsys.context
parameters('filter ctxsys.null_filter section group ctxsys.test_xml')
3.5 Storage 属性
Oracle 全文检索通常会生成一系列的辅助表，生成规则是dr$+索引名+$+表用途标识，
由于这些表是oracle 自动生成的，通常没有办法为这些表指定存储空间。为构造text 索引所
生成的辅助表指定表空间、存储参数（use the storage preference to specify tablespace and
creation parameters for tables associated with a text index），oracle 提供了单一的存储类型
basic_storage。
在mytable1 表中建立了全文索检索myindex，系统中会自动产生如下5 个表：
DR$MYINDEX$I,DR$MYINDEX$K,DR$MYINDEX$R,DR$MYINDEX$X,MYTABLE1
参考脚本
--建立basic storage
Begin
Ctx_ddl.create_preference('mystore', 'basic_storage'); --建立storage
Ctx_ddl.set_attribute('mystore', --设置参数
'i_table_clause',
'tablespace foo storage (initial 1k)');
Ctx_ddl.set_attribute('mystore',
'k_table_clause',
'tablespace foo storage (initial 1k)');
Ctx_ddl.set_attribute('mystore',
'r_table_clause',
'tablespace users storage (initial 1k) lob
(data) store as (disable storage in row cache)');
Ctx_ddl.set_attribute('mystore',
'n_table_clause',
'tablespace foo storage (initial 1k)');
Ctx_ddl.set_attribute('mystore',
'i_index_clause',
'tablespace foo storage (initial 1k) compress 2');
Ctx_ddl.set_attribute('mystore',
'p_table_clause',
'tablespace foo storage (initial 1k)');
End;
--建立索引
Create index indx_m_word on my_word(docs) indextype is ctxsys.context
parameters('storage mystore');
3.6 Wordlist 属性
Oracle 全文检索的wordlist 属性用来设置模糊查询和同词根查询，wordlist 属性还支持
子查询和前缀查询，oracle 的wordlist 属性只有basic_wordlist 一种（原文：Use the wordlist
preference to enable the query options such as stemming, fuzzy matching for your language. You
can also use the wordlist preference to enable substring and prefix indexing, which improves
performance for wildcard queries with CONTAINS and CATSEARCH.）
3.6.1 例子：
Create table my_word (id number, docs varchar2(1000));
Insert into my_word values (1, 'Specify the stemmer used for word stemming in Text queries');
Insert into my_word values (2, 'Specify which fuzzy matching routines are used for the
column');
Insert into my_word values (3, 'Fuzzy matching is currently supported for English');
Insert into my_word values (4, 'Specify a default lower limit of fuzzy score. Specify a
number between 0 and 80');
Insert into my_word values (5, 'Specify TRUE for Oracle Text to create a substring index
matched.');
commit;
/
--建立wordlist
Begin
ctx_ddl.drop_preference('mywordlist');
ctx_ddl.create_preference('mywordlist', 'basic_wordlist');
ctx_ddl.set_attribute('mywordlist','fuzzy_match','english'); --模糊匹配，英语
ctx_ddl.set_attribute('mywordlist','fuzzy_score','0'); --匹配得分
ctx_ddl.set_attribute('mywordlist','fuzzy_numresults','5000');
ctx_ddl.set_attribute('mywordlist','substring_index','true'); --左查询，适用%to,%to%
ctx_ddl.set_attribute('mywordlist','stemmer','english'); --词根
ctx_ddl.set_attribute('mywordlist', 'prefix_index', 'true'); --右查询，适用t0%
End;
Create index indx_m_word on my_word(docs) indextype is ctxsys.context
parameters('wordlist mywordlist');
--例子
Select docs from my_word where contains(docs,'$match')>0 ; --词根查询
Select docs from my_word where contains(docs,'MA%')>0; --匹配查询
3.6.2 document 上的例子
create table quick( quick_id number primary key, text varchar(80) );
--- insert a row with 10 expansions for 'tire%'
insert into quick ( quick_id, text )
values ( 1, 'tire tirea tireb tirec tired tiree tiref tireg tireh tirei tirej');
commit;
/
begin
Ctx_Ddl.Create_Preference('wildcard_pref', 'BASIC_WORDLIST');
ctx_ddl.set_attribute('wildcard_pref', 'wildcard_maxterms', 100) ;
end;
/
create index wildcard_idx on quick(text) indextype is ctxsys.context
parameters ('Wordlist wildcard_pref') ;
select quick_id from quick where contains ( text, 'tire%' ) > 0;
drop index wildcard_idx ;
begin
Ctx_Ddl.Drop_Preference('wildcard_pref');
Ctx_Ddl.Create_Preference('wildcard_pref', 'BASIC_WORDLIST');
ctx_ddl.set_attribute('wildcard_pref', 'wildcard_maxterms', 5) ;--限制最大的匹配数，如
果超过这个数量，查询出现报错
end;
/
create index wildcard_idx on quick(text) indextype is ctxsys.context
parameters ('Wordlist wildcard_pref') ;
select quick_id from quick where contains ( text, 'tire%' ) > 0;
3.6.3.参考脚本
--建立wordlist
begin
ctx_ddl.create_preference('mywordlist', 'BASIC_WORDLIST');
ctx_ddl.set_attribute('mywordlist','PREFIX_INDEX','TRUE'); --定义wordlist 的参数
end;
--删除wordlist
begin
ctx_ddl.drop_preference('mywordlist');
3.7 Stoplist 属性
Stoplist 允许屏蔽某些常用的词，比如is，a，this，对这些词进行索引用处不大，系统
默认会使用和数据库语言相对应的停用词库（原文：Stoplists identify the words in your
language that are not to be indexed. In English, you can also identify stopthemes that are not to be indexed. By default, the system indexes text using the system-supplied stoplist that corresponds to your database language.），Oracle text 提供最常用的停用词库语言包括English, French, German,Spanish, Chinese, Dutch, and Danish
分别有basic_stoplist，empty_stoplist，default_stoplist，multi_stoplist 几种类型
3.7.1 Basic_stoplist
建立用户自定义的停用词库，文档中关于stoplist 的介绍相当少，只有寥寥的数行
例子：
Create table my_stop (id number, docs varchar2(1000));
Insert into my_stop values (1, 'Stoplists identify the words in your language that are not
to be indexed.');
Insert into my_stop values (2, 'ou can also identify stopthemes that are not to be indexed');
Commit;
/
--建立basic stoplist
Begin
Ctx_ddl.create_stoplist('test_stoplist', 'basic_stoplist');
End;
Create index ind_m_stop on my_stop(docs) indextype is ctxsys.context
parameters ('stoplist test_stoplist');
Select * from my_stop where contains(docs, 'words') > 0;
Begin
Ctx_ddl.add_stopword('test_stoplist', 'language'); --添加停用词
ctx_ddl.sync_index('ind_m_stop', '2m'); --同步索引
End;
Select * from my_stop where contains(docs, 'language') > 0; --添加停用词，同步索引后发现还是
能查到，需要重新建立索引才能生效
Drop index ind_m_stop;
Create index ind_m_stop on my_stop(docs) indextype is ctxsys.context
parameters ('stoplist test_stoplist');
Select * from my_stop where contains(docs, 'language') > 0; --停用词生效
添加停用词，同步索引后发现还是能查到，需要重新建立索引才能生效。
3.7.2 Empty_stoplist
停用词库没有任何停用词，适用于不需要过滤的查询中，如不需要过滤is this,a 等
3.7.3 Default_stoplist
建立basic_stoplist 后，里面不包含任何的停用词，而default_stoplist 在basic_stoplist 的基础
上增加了预定义的默认停用词，对于不同的语言，默认的停用词库数据也不一样
例子：
Create table my_stop (id number, docs varchar2(1000));
Insert into my_stop values (1, 'Stoplists identify the words in your language that are not
to be indexed.');
Insert into my_stop values (2, 'ou can also identify stopthemes that are not to be indexed');
Commit;
/
--建立lexer，不同lexer 属性会默认不同的停用词库
Begin
ctx_ddl.create_preference('test_b_lexer', 'basic_lexer');
End;
drop index ind_m_word；
--建立默认停用词default_stoplist
Create index ind_m_word on my_stop(docs) indextype is ctxsys.context
Parameters ('lexer test_b_lexer stoplist ctxsys.default_stoplist');
--检查默认词库中是否存在
Select * from my_stop where contains(docs, 'the') > 0;
Select * from my_stop where contains(docs, 'stopthemes') > 0;
--往默认词库中添加停用词
conn ctxsys/ctxsys;
Begin
ctx_ddl.add_stopword('default_stoplist', 'stopthemes'); --增加停用词
ctx_ddl.add_stopword('default_stoplist', 'words');
ctx_ddl.remove_stopword('default_stoplist', 'words');--删除停用词
End;
--添加后需重新建立索引才能生效
conn oratext/oratext;
drop index ind_m_word;
Create index ind_m_word on my_stop(docs) indextype is ctxsys.context
Parameters ('lexer test_b_lexer stoplist ctxsys.default_stoplist');
Select * from my_stop where contains(docs, 'words') > 0;
Select * from my_stop where contains(docs, 'stopthemes') > 0;
--相关数据字典
Select * from ctx_preferences where pre_name = 'DEFAULT_LEXER';
Select * from ctx_stopwords where spw_stoplist = 'DEFAULT_STOPLIST';
3.7.4 multi_stoplist
多语言停用词，适用在文档中包含不同的语言（A multi-language stoplist is useful when you use
the MULTI_LEXER to index a table that contains documents in different languages, such as
English, German, and Japanese）
增加停用词时，可以为停用词指定某种语言，只对指定的语言生效，默认情况下停用词对任
何语言都是生效的。
--建立multi_stoplist
begin
ctx_ddl.create_stoplist('multistop1', 'MULTI_STOPLIST');
ctx_ddl.add_stopword('multistop1', 'Die', 'german');
ctx_ddl.add_stopword('multistop1', 'Or', 'english');
end;
添加停用词，同步索引后发现还是能查到，需要重新建立索引才能生效。
3.7.5 参考脚本
--建立stoplist：
Begin
Ctx_ddl.create_stoplist('test_stoplist', 'basic_stoplist');
End;
--删除stoplist：
begin
ctx_ddl.drop_stoplist(' test_stoplist ');
end;
--增加停用词
ctx_ddl.add_stopword('default_stoplist', 'stopthemes'); --增加停用词
--删除停用词
ctx_ddl.remove_stopword('default_stoplist', 'words');--删除停用词
3.8 Theme 主题查询
主题查询的概念是根据文档的含义，而不仅仅是根据某个词的匹配程度来返回查询结果
的。比如查询about(’US politics’)可能会返回‘US presidential elections’ 和 ‘US foreign
policy’之类的结果（原文：An ABOUT query is a query on a document theme. A document theme
is a concept that is sufficiently developed in the text. For example, an ABOUT query on US politics
might return documents containing information about US presidential elections and US foreign
policy. Documents need not contain the exact phrase US politics to be returned.）
10g 只支持两种主题查询语言：English，French
例子：
--在context 中启用主题查询
BEGIN
CTX_DDL.CREATE_PREFERENCE('TEST_ABOUT', 'BASIC_LEXER');
CTX_DDL.SET_ATTRIBUTE('TEST_ABOUT', 'INDEX_THEMES', 'YES');
CTX_DDL.SET_ATTRIBUTE('TEST_ABOUT', 'INDEX_TEXT', 'YES');
END;
CREATE INDEX IND_m_about ON my_about(DOCS) INDEXTYPE IS CTXSYS.CONTEXT
PARAMETERS ('LEXER CTXSYS.TEST_ABOUT');
--查询
SELECT * FROM my_about WHERE CONTAINS(DOCS, 'ABOUT(US politics)') > 0;
3.9 Highlighting 高亮显示
并不是说将内容高亮显示，而是返回所有命中词在文档中的位置和命中词本身的长度。
这样用户在得到文档的同时，还得到了需要高亮显示的内容的长度和偏移量，真正的显示工作需要由用户来完成（原文：In Oracle Text query applications, you can present selected
documents with query terms highlighted for text queries or with themes highlighted for ABOUT
queries）
例子：
Create table my_high (id number primary key, docs varchar2(1000));
insert into my_high values (1, 'this is a oracle text example. And oracle is the key word.');
insert into my_high values (2, '<title>oracle text</title>
2 <body>this is a oracle ctx_doc hightlight example.</body>');
commit;
/
--建立索引
create index ind_m_high on my_high(docs) indextype is ctxsys.context;
--返回结果的偏移量
set serverout on
declare
v_restab ctx_doc.highlight_tab;
begin
ctx_doc.highlight('ind_m_high', 1, 'oracle', v_restab, true);
for i in 1..v_restab.count loop
dbms_output.put_line('begin with: ' || v_restab(i).offset || ' length: ' || v_restab(i).length);
end loop;
end;
begin with: 11 length: 6
begin with: 36 length: 6
参考：
http://yangtingkun.itpub.net/post/468/212718
http://download.oracle.com/docs/cd/B19306_01/text.102/b14217/view.htm
3.10常用的脚本
3.10.1.删除preference：
begin
ctx_ddl.drop_preference('my_lexer');
end;
3.10.2.索引重建：
ALTER INDEX newsindex REBUILD PARAMETERS('replace lexer my_lexer');
3.10.3 同步索引
begin
ctx_ddl.sync_index('myindex', '2M');
end;
或通过后台设置同步脚本：
$ORACLE_HOME/ctx/sample/script/drjobdml.sql --后台同步脚本（9i 中有，10g 不知道放哪儿了，文档有问题）
SQL> @drjobdml myindex 360 --表示以周期360 分钟同步索引myindex
或通过创建索引加参数实现
--表示每小时同步一次，内存16m
CREATE INDEX IND_m_high ON my_high(DOCS) INDEXTYPE IS CTXSYS.CONTEXT
parameters ('sync (EVERY "TRUNC(SYSDATE)+ 1/24") memory 16m ') parallel 2 online;
(确认这个时间间隔内索引同步能完成，否则，sync job 将处于挂起状态)
--还可以是
sync (manual) --手工同步，默认
sync (on commit) --dml 后立即同步
--通过job 定义同步
declare
job number;
begin
dbms_job.submit(job,
'ctx_ddl.sync_index(''ind_m_high'');', --索引名
interval => 'SYSDATE+1/1440'); --1 分钟一次
commit;
dbms_output.put_line('job ' || job || ' has been submitted.');
end;
3.10.4.索引碎片：
刚开始建立索引后，DOG 可能是如下的条目
DOG DOC1 DOC3 DOC5
新的文档增加到表后，新行会同步到索引中去，假设新文档中Doc7 中的DOG 被同步到索引中去，DOG
可能变成如下条目
DOG DOC1 DOC3 DOC5
DOG DOC7
随后的DML 操作可能变成：
DOG DOC1 DOC3 DOC5
DOG DOC7
DOG DOC9
DOG DOC11
这就产生了碎片，需要进行索引的优化
查看索引碎片
create table output (result CLOB);
declare
x clob := null;
begin
ctx_report.index_stats('idx_auction', x);
insert into output values (x);
commit;
dbms_lob.freetemporary(x);
end;
select * from output
3.10.5索引优化：
快速fast 优化和全部full 优化的区别是，快速优化不会删除没用的、过期的数据，而full 会删除老的数据(deleted rows)
--快速优化
begin
ctx_ddl.optimize_index('myidx','FAST');
end;
--全部优化
begin
ctx_ddl.optimize_index('myidx','FULL');
end;
--对单个记号进行优化，默认是full 模式
begin
ctx_ddl.optimize_index('myidx','token', TOKEN=>'Oracle');
end;
3.10.6.Online 参数限制：
at the very beginning or very end of this process, dml might fail.
online is supported for context indexes only.
online cannot be used with parallel.
--online 索引的时候后面必须要加parameters，否则会失败
alter index IND_m_high rebuild online parameters ('sync memory 16m' )
3.10.7.更改索引的属性，但不进行索引重建
Replaces the existing preference class settings, including SYNC parameters, of the index with
the settings from new_preference. Only index preferences and attributes are replaced. The index is
not rebuilt.
ALTER INDEX myidx REBUILD PARAMETERS('replace metadata transactional');
alter index idx_auction_db1 rebuild PARAMETERS('REPLACE METADATA SYNC(ON COMMIT)') ;
参考文档：
http://download.oracle.com/docs/cd/B19306_01/text.102/b14218/csql.htm#CIHBFDCE
3.10.8.Score：
--表示得分，分值越高，表示查到的数据越精确
SELECT SCORE(1), id, text FROM docs WHERE CONTAINS(text, 'oracle', 1) > 0;
--根据得分来排序
SELECT SCORE(1), title from news WHERE CONTAINS(text, 'oracle', 1) > 0 AND issue_date >=
('01-OCT-97')
ORDER BY SCORE(1) DESC;
3.10.9.分析表：
ANALYZE TABLE <table_name> COMPUTE STATISTICS;
ANALYZE TABLE <table_name> ESTIMATE STATISTICS 1000 ROWS;
ANALYZE TABLE <table_name> ESTIMATE STATISTICS 50 PERCENT;
ANALYZE TABLE <table_name> DELETE STATISTICS;
3.10.10.数据字典表：
查看系统默认的oracle text 参数
Select pre_name, pre_object from ctx_preferences
查询dml 操作后索引为同步
SELECT pnd_index_name, pnd_rowid, to_char(pnd_timestamp, 'dd-mon-yyyy hh24:mi:ss')
timestamp FROM ctx_user_pending;
查看错误记录表
select * from CTX_USER_INDEX_ERRORS
3.10.11.Php，Jsp 应用oracle text：
http://download.oracle.com/docs/cd/B19306_01/text.102/b14217/acase.htm
3.10.12.逻辑操作符：
-- or 操作符
Select id, text from docs where contains(text, 'city or state ') > 0;
--and 操作符
Select id, text from docs where contains(text, 'city and state ') > 0;
或是
Select id, text from docs where contains(text, 'city state ') > 0;
3.10.13.索引优化问题
--先看个例子
SQL> exec ctx_ddl.optimize_index('idx_auction_db1','FULL');
PL/SQL procedure successfully completed.
Elapsed: 00:16:16.77
索引优化相当的慢，200 万的数据建立context 索引需要不到5 分钟，而优化索引居然要16 分钟，这么慢
的优化速度对一个具有几亿表的数据是很难接受的的。刚开始我以为这是oracle 的一个bug，后来查到了
一些文档。Oracle10g 引进了rebuild 优化参数，速度还是很快的。
SQL> exec ctx_ddl.optimize_index('idx_auction_db1','rebuild') ;
PL/SQL procedure successfully completed.
3.10.14 事务查询
索引可能不是实时进行同步的，但是查询又要求实时的。
--更改索引为事务性，查询再找索引时还会dr$unindexed 表，把满足条件还未索引的记录找出来
alter index idx_auction_db1 rebuild parameters('replace metadata transactional')
例子：
select count(*) from table where contains(text, 'someword') > 0; -- 0 hits
insert into table values ('someword');
select count(*) from table where contains(text, 'someword') > 0; -- 1 hit (the one we just
entered)
rollback;
select count(*) from table where contains(text, 'someword') > 0; -- 0 hit
仅仅是对某个session 启用
exec ctx_query.disable_transactional_query := TRUE;
参考文档：
http://tahiti.oracle.com
http://yangtingkun.itpub.net
http://epub.itpub.net/4/1.htm
http://www.oracle.com/global/cn/oramag/oracle/04-sep/o54text.html
http://www.oracle.com/technology/products/text/x/10g_tech_overview.html
http://forums.oracle.com/forums/thread.jspa?messageID=1958708
4、操作实例
4.1 单列与多列支持中文检索
Create table mytable1(id number primary key, doc1 varchar2(400),doc2 clob,doc3 clob);
Insert into mytable1 values(1,'今天的天气很不错，我想去逛街','今天是星期天，不用上班。天天好心情','明天是星期一，要上班。心情不好');
Insert into mytable1 values(2,'天是蓝色的，万里无云。天气非常好。','天是多云的，天气看起来要下雨了。不适宜出门','天正在下雨，大雨倾盆。不能出门。');
Insert into mytable1 values(3,'this is a text','this is a word','this is a pdf');
Commit;
--先删除引用
begin
ctx_ddl.drop_preference('my_chinese_vgram_lexer');
ctx_ddl.drop_preference('my_chinese_lexer');
end;
--支持中文分词
Begin
ctx_ddl.create_preference('my_chinese_vgram_lexer', 'chinese_vgram_lexer');
ctx_ddl.create_preference('my_chinese_lexer', 'chinese_lexer');
End;
--先删除引用
begin
ctx_ddl.drop_preference('my_multi');
end;
--多列查询，如果仅仅是单列，则不用设置这个类型
Begin
Ctx_ddl.create_preference('my_multi', 'multi_column_datastore');
Ctx_ddl.set_attribute('my_multi', 'columns', 'doc1, doc2, doc3');
End;
drop index myindex;
--单列查询，支持中文的索引建立
Create index myindex on mytable(docs)
indextype is ctxsys.context
parameters ('datastore ctxsys.default_datastore lexer foo.my_chinese_lexer')
drop index idx_mytable;
--多列查询，支持中文的索引的建立
Create index idx_mytable on mytable1(doc1)indextype is ctxsys.context
parameters('datastore my_multi lexer foo.my_chinese_lexer');
--chinese_lexer词法分析器下的结果,三列都可以查询
Select * from mytable1 where contains(doc1, '今天')>0; --检索到第一条数据
Select * from mytable1 where contains(doc1, '不适宜')>0; --检索到第二条数据
Select * from mytable1 where contains(doc1, '适宜')>0; --检索不到数据，他的分词技术太简单，将‘不适宜’作为一个词了
Select * from mytable1 where contains(doc1, '出门')>0; --检索到第二条数据
Select * from mytable1 where contains(doc1, 'this is a word')>0; --检索到第三条数据，中英文适用
--chinese_vgram_lexer词法分析器下的结果,
--chinese_vgram_lexer词法分析器虽然没那么智能，但检索结果往往比较符合我们的要求，
--如：“不适宜”这个词语应该拆分为“不适宜”和“适宜”两个词语，而不是单独的作为一个词语，
--chinese_vgram_lexer可以查询的到，而chinese_lexer不可以。
drop index idx_mytable;
--多列查询，支持中文的索引的建立
Create index idx_mytable on mytable1(doc1)indextype is ctxsys.context
parameters('datastore my_multi lexer foo.my_chinese_vgram_lexer');
--chinese_vgram_lexer词法分析器下的结果,三列都可以查询
Select * from mytable1 where contains(doc1, '今天')>0; --检索到第一条数据
Select * from mytable1 where contains(doc1, '不适宜')>0; --检索到第二条数据
Select * from mytable1 where contains(doc1, '适宜')>0; --检索到第二条数据，这个分词虽然效率低点，但检索结果还可以
Select * from mytable1 where contains(doc1, '出门')>0; --检索到第二条数据
Select * from mytable1 where contains(doc1, 'this is a word')>0; --检索到第三条数据，中英文适用
--对于多列查询，更新列操作
--只更新从表，看是否能查到更新的信息
Update mytable1 set doc2='adladlhadad this datastore when your text is stored test' where id=2;
--同步更新索引
Begin
Ctx_ddl.sync_index('idx_mytable');
End;
--可见，虽然你检索是三个列，但是你更新的不是索引对应的那列（doc1），同步了索引也是不起作用的
Select * from mytable1 where contains(doc1,'adladlhadad')>0; --没有记录
--更新与doc1列原来相同内容（实际内容不变，只有操作而已）
Update mytable1 set doc1='天是蓝色的，万里无云。天气非常好。' where id=2;
--再同步更新索引
Begin
Ctx_ddl.sync_index('idx_mytable');
End;
--再查询一次
Select * from mytable1 where contains(doc1,'adladlhadad')>0; --有结果，可见，对于其他查询的列（非索引对应的列）的更新操作，可以连同索引对应的列一起更新，只是不改变索引的内容即可做到同步索引就可以出现效果了。
4.2 本地磁盘检索
create table mytable3(id number primary key, docs varchar2(2000));
insert into mytable3 values(111555,'1.txt');
insert into mytable3 values(111556,'1.doc');
insert into mytable3 values(111557,'1.xls');
insert into mytable3 values(111558,'1.pdf');
insert into mytable3 values(111559,'2.txt');
insert into mytable3 values(111560,'2.doc');
insert into mytable3 values(111561,'2.xls');
insert into mytable3 values(111562,'2.pdf');
commit;
--先删除引用
begin
ctx_ddl.drop_preference('COMMON_DIR');
end;
--建立 file datastore
begin
ctx_ddl.create_preference('COMMON_DIR','FILE_DATASTORE');
ctx_ddl.set_attribute('COMMON_DIR','PATH','D:\search');
end;
--先删除索引
drop index myindex3;
--建立索引,8个文件，内容简单，耗时1.5s
create index myindex3 on mytable3(docs) indextype is ctxsys.context parameters ('datastore COMMON_DIR lexer foo.my_chinese_lexer');
select * from mytable3 where contains(docs,'text')>0; --查询，支持txt
select * from mytable3 where contains(docs,'pdf')>0; --查询，支持pdf
select * from mytable3 where contains(docs,'excel')>0; --查询，支持excel
select * from mytable3 where contains(docs,'word')>0; --查询，支持doc
select * from mytable3 where contains(docs,'文本')>0; --查询,支持中文
select * from mytable3 where contains(docs,'文档')>0; --查询，支持中文
select * from mytable3 where contains(docs,'阅读')>0; --查询，支持中文pdf
select * from mytable3 where contains(docs,'这是Excel')>0; --查询，支持中文
--暂时测试支持doc，txt,xls,pdf
--更新了文件内容2.txt
select * from mytable3 where contains(docs,'这个测试用的文本')>0; --查询无更新好数据
--不同步索引，无效
--同步更新索引
Begin
Ctx_ddl.sync_index('myindex3');
End;
--再次查询
select * from mytable3 where contains(docs,'测试')>0; --还是无效
--用相同的值取代2.txt然后再同步索引
Update mytable3 set docs='2.txt' where id=111559;
--再同步索引
--同步更新索引
Begin
Ctx_ddl.sync_index('myindex3');
End;
--再次查询
select * from mytable3 where contains(docs,'测试')>0; --结果出现，可见，单更新文件内容，同步索引是无效的，索引认的是数据库纪录，数据库纪录改变，索引才会更新
--新增加文件，结果雷同。关键是要更新数据库纪录，即使改了文件内容，也要用相同的值update数据库纪录一次。
4.3 检索结果高亮显示
Create table my_high (id number primary key, docs varchar2(1000));
insert into my_high values (1, 'this is a oracle text example. And oracle is the key word.');
insert into my_high values (2, '<title>oracle text</title><body>this is a oracle ctx_doc hightlight example.</body>');
commit;
/
--建立索引
create index ind_m_high on my_high(docs) indextype is ctxsys.context;
--返回结果的偏移量
set serverout on
declare
v_restab ctx_doc.highlight_tab;
begin
ctx_doc.highlight('ind_m_high', 1, 'oracle', v_restab, true);
for i in 1..v_restab.count loop
dbms_output.put_line('begin with: ' || v_restab(i).offset || ' length: ' || v_restab(i).length);
end loop;
end;
/
begin with: 11 length: 6
begin with: 36 length: 6
ctx_doc.highlight参数说明：
ctx_doc.highlight(索引,数据库中的ID, 搜索关键字, 指明返回的偏移量是针对纯文本格式还是针对HTML格式, true);
true or false: 对比PLAINTEXT设置为FALSE和TRUE的区别可以发现，对于HTML所有的标识部分，Oracle统一认为长度等于2。
对于True: <title>oracle text</title><body>this is a oracle ctx_doc hightlight example.</body>，<title>认为是2个长度，false的话就全部纪录，认为总共有7个字符长度。
要在sqlplus执行
4.4 具体测试
4.4.1 基本的全文检索
--先删除引用
begin
ctx_ddl.drop_preference('my_chinese_vgram_lexer');
ctx_ddl.drop_preference('my_chinese_lexer');
end;
--支持中文分词
Begin
ctx_ddl.create_preference('my_chinese_vgram_lexer', 'chinese_vgram_lexer');
ctx_ddl.create_preference('my_chinese_lexer', 'chinese_lexer');
End;
Begin
Ctx_ddl.create_preference('F_DOCNEWS_Preference', 'multi_column_datastore');
Ctx_ddl.set_attribute('F_DOCNEWS_Preference', 'columns', 'F_CONTENT,F_DESCRIPTION,F_TITLE');
End;
drop index f_content_index;
Create index f_content_index on T_DOCNEWS(F_CONTENT)
indextype is ctxsys.context
parameters('datastore F_DOCNEWS_Preference lexer foo.my_chinese_lexer');
Select * from T_DOCNEWS where contains(F_CONTENT,'菲律宾')>0; --有结果，
4.4.2 带动态摘要的高亮全文检索
--先删除引用
begin
ctx_ddl.drop_preference('my_chinese_vgram_lexer');
ctx_ddl.drop_preference('my_chinese_lexer');
end;
--支持中文分词
Begin
ctx_ddl.create_preference('my_chinese_vgram_lexer', 'chinese_vgram_lexer');
ctx_ddl.create_preference('my_chinese_lexer', 'chinese_lexer');
End;
--先删除索引
drop index f_content_index;
--新建索引，默认属性，无过滤器，支持中文高级分词
Create index f_content_index on T_DOCNEWS(F_CONTENT)
indextype is ctxsys.context
parameters('datastore ctxsys.default_datastore filter ctxsys.null_filter section group
ctxsys.html_section_group lexer foo.my_chinese_lexer');
--以下开始准备建立存储过程，先定义数组类型
CREATE or replace TYPE f_content_arr AS OBJECT(
id NUMBER ,
url varchar2(255),
title varchar2(255),
abstractcontent varchar2(255)
);
--定义数组变量
CREATE or replace type f_content_arr_re as table of f_content_arr;
--定义存储过程
create or replace procedure f_content_pro (keyword in varchar,v_cfjg out f_content_arr_re) is
v_restab ctx_doc.highlight_tab;
begin
DECLARE
i number;
s clob;
startnum number;
endnum number;
v_res_fun T_DOCNEWS%rowTYPE;
cursor c_fun is
select * from T_DOCNEWS where contains(F_CONTENT,keyword)>0;
BEGIN
i := 0;
v_cfjg := f_content_arr_re();
open c_fun;
LOOP
fetch c_fun
into v_res_fun;
EXIT WHEN c_fun%NOTFOUND;
i := i + 1;
s := v_res_fun.F_CONTENT;
v_cfjg.EXTEND;
ctx_doc.highlight('f_content_index', v_res_fun.F_ID, keyword, v_restab, false);
--只取第一个，没有loop循环
startnum:=v_restab(1).offset;
if v_restab(1).offset > 30 then
begin
startnum := v_restab(1).offset-30 ;
end;
end if;
if v_restab(1).offset <= 30 then
begin
startnum := 1 ;
end;
end if;
if length(s)-v_restab(1).offset > 30 then
begin
endnum := v_restab(1).offset+30 ;
end;
end if;
if length(s)-v_restab(1).offset <= 30 then
begin
endnum := length(s) ;
end;
end if;
v_cfjg(v_cfjg.count) := f_content_arr(v_res_fun.F_ID,v_res_fun.F_URL,v_res_fun.F_TITLE,substr(s,startnum,endnum-startnum));
dbms_output.new_line();
END LOOP;
end;
EXCEPTION
WHEN TOO_MANY_ROWS THEN
DBMS_OUTPUT.PUT_LINE('TOO_MANY_ROWS');
WHEN OTHERS THEN
DBMS_OUTPUT.PUT_LINE(sqlerrm);
end f_content_pro;
--在此，全文检索存储过程定义完毕
--以下是sqlplus调用
declare
s f_content_arr_re;
begin
f_content_pro('菲律宾',s);
END;
Java后台调用存储过程并返回参数代码：
public ArrayList<DocNews> search(String keyword) {
ArrayList<DocNews> list = new ArrayList<DocNews>();
Connection conn = null;
ResultSet rs = null;
CallableStatement stmt = null;
DocNews docnews;
try {
conn = DBPool.getConnection();
stmt = null;
String procName = new StringBuffer().append("{ call f_content_pro(?,?) } ").toString();
stmt = conn.prepareCall(procName);
stmt.setString(1, keyword);
stmt.registerOutParameter(2, Types.ARRAY, "F_CONTENT_ARR_RE");
stmt.execute();
ARRAY arr = (ARRAY) stmt.getArray(2);
rs = arr.getResultSet();
while (rs.next()) {
STRUCT struct = (STRUCT) rs.getObject(2);
Object[] obs = struct.getAttributes();
docnews = new DocNews();
docnews.setId(((BigDecimal)obs[0]).longValue());
docnews.setUrl((String)obs[1]);
docnews.setTitle((String)obs[2]);
docnews.setAbstractcontent((String)obs[3]);
list.add(docnews);
}
if (stmt != null) {
stmt.close();
}
if (conn != null) {
conn.close();
}
} catch (Exception e) {
e.printStackTrace();
}
return list;
}
注：在java中调用方法，除了在项目里加入class12.jar包以外，还需要加入Oracle自带的orai18n.jar包，如果仅仅是执行main方面，则可以，但如果是web项目，则要将orai18n.jar包加入到jdk的%jdk%\jre\lib\ext目录中才行。如果没有orai18n.jar这个包会造成检索调用存储过程返回结果是乱码（？？？三个问号）。
4.4.3 检索简单界面图
5．检索性能
执行以下索引
Create index f_content_index on T_DOCNEWS(F_CONTENT)
indextype is ctxsys.context
parameters('datastore F_DOCNEWS_Preference lexer foo.my_chinese_lexer');
总共5272条新闻，总耗时61s
合计约一分钟5000条
查询仅需200多毫秒
最近读者
评论