下面是一个示例代码,实现了基于倒排索引的关键词搜索:
import hashlib
# 定义全局倒排索引字典
inverted_index = {}
# 加载文本文件并提取关键词
def load_text_file(file_path):
with open(file_path, 'r') as file:
content = file.read()
# 假设关键词是通过空格分隔的
keywords = content.split(' ')
return keywords
# 将文档加入倒排索引
def add_to_index(file_path, keywords):
# 对文件名进行哈希加密
hashed_file_path = hashlib.md5(file_path.encode('utf-8')).hexdigest()
# 如果该文件已经在倒排索引中,则将关键词添加到该文件的关键词列表中,否则创建新项
if hashed_file_path in inverted_index:
inverted_index[hashed_file_path]['keywords'] += keywords
else:
inverted_index[hashed_file_path] = {'file_path': file_path, 'keywords': keywords}
# 根据关键词在倒排索引中检索文档
def search_in_index(keyword):
# 遍历所有倒排索引项,找到包含该关键词的文档
for item in inverted_index.values():
if keyword in item['keywords']:
print("Found in file:", item['file_path'])
# 示例调用代码
# 假设我们有两个文本文件:
# file1.txt: 'apple orange banana'
# file2.txt: 'apple pear peach'
# 加入倒排索引
keywords = load_text_file('file1.txt')
add_to_index('file1.txt', keywords)
keywords = load_text_file('file2.txt')
add_to_index('file2.txt', keywords)
# 检索'apple'
search_in_index('apple') # 结果应该包含'file1.txt'和'file2.txt'
# 检索'orange'
search_in_index('orange') # 结果应该只包含'file1.txt'
在这个示例中,我们首先定义了一个load_text_file
函数,用于加载文本文件并提取关键词。然后,我们通过add_to_index
函数将文件加入到倒排索引中。最后,在search_in_index
函数中,我们遍历所有倒排索引项,找到包含关键词的文档。注意,这里使用空格作为关键词分隔符,你可以根据实际情况修改代码。